例1.禁止所有搜索引擎访问网站的任何部分\x0d\x0aUser-agent:*\x0d\x0aDisallow:/\x0d\x0a实例分析：淘宝网的Robots.txt文件\x0d\x0aUser-agent:baiduspider\x0d\x0aDisallow:/\x0d\x0a很显然淘宝不允许百度的机器人访问其网站下其所有的目录。\x0d\x0a例2.允许所有的robot访问(或者也可以建一个空文件“/robots.txt”file)\x0d\x0aUser-agent:*\x0d\x0aAllow:\x0d\x0a例3.禁止某个搜索引擎的访问\x0d\x0aUser-agent:BadBot\x0d\x0aDisallow:/\x0d\x0a例4.允许某个搜索引擎的访问\x0d\x0aUser-agent:Baiduspider\x0d\x0aallow:/\x0d\x0a例5.一个简单例子\x0d\x0aUser-agent:*\x0d\x0aDisallow:/cgi-bin/\x0d\x0aDisallow:/tmp/\x0d\x0aDisallow:/~joe/\x0d\x0aUser-agent：后的*具有特殊的含义，代表“anyrobot”，所以在该文件中不能有“Disallow:/tmp/*”or“Disallow:*.gif”这样的记录出现。\x0d\x0a在这个例子中，该网站有三个目录对搜索引擎的访问做了限制，即搜索引擎不会访问这三个目录。\x0d\x0a需要注意的是对每一个目录必须分开声明，而不要写成“Disallow:/cgi-bin//tmp/”。
