robots.txt

robots.txt的名字,从字面上来看就是机器人文件,是给机器人看得,所谓机器人就是搜索引擎的蜘蛛。这个文件是一个纯文本的文本文档,采用的是Robots排除标准,这项标准是一个协议,有一小组命令组成。

robots.txt的用处:

告诉搜索引擎,网站的内容那些是可以索引的,哪些是不可以索引的。

注意:robots.txt仅仅只是一项指令,并不能强制阻止各种抓取工具对你的网站进行抓取。如果你的网站上有不希望被公开访问的内容,要采取其他方法来屏蔽(比如用密码,用加密等等)。

robots.txt存放的位置:

必须放在网站的根目录,文件名全部小写。

例子:

User-agent: * 
Disallow:

允许所有的机器人

User-agent: * 
Allow:/

这也是允许所有的机器人,另一种写法

User-agent: googlebot 
Disallow: /images/

禁止Google的搜索蜘蛛访问抓取 /images/ 目录

从上面的这些例子里可以看到有三个重要的关键词:
User-agent: 【蜘蛛的名称,下面的这些指令都应用到这些蜘蛛】
Disallow: 【要屏蔽的网址】
Allow: 【不需要屏蔽的网址,一般是上面 Disallow 中的一个子集】

在网址部分,可以使用通配符以简化指令。通配符包括星号和$符号。
* 星号表示任意长度字符;
$ 表示结束,以特定方式结尾,比如 pdf$ 就表示以 pdf 结尾的网址。

以上为标准协议的指令。下面还有几个被多个搜索引擎支持的非标准扩展协议。

自动发现 sitemap 文件:
Sitemap: 【http://www.example.com/sitemap.xml】

各大搜索引擎的蜘蛛名称(User-agent:

Google vi
Google Web Search: Googlebot
Google News Search: Googlebot-News
Google Images Search: Googlebot-Image
Google Video Search: Googlebot-Video
Google Mobile (feature phone): Googlebot-Mobile
Google Smartphone: Googlebot
Google Mobile AdSense: Mdeiapartners-Google or Mediapartners
Google AdSense: Mediapartners-Google or Mediapartners
Google AdsBot (Landing page quality check): AdsBot-Google

Yahoo vi
Yahoo Search: Slurp
Yahoo Ad Monitoring: Monitoring

Microsoft vi
Bing Search: Bingbot
Bing Search (Old): MSNBot
Bing images and video search: MSNBot-Media
Bing Ads: AdldxBot
Bing snapshots: BingPreviewe

Baidu百度 vi
无线搜索: Baiduspider
图片搜索:Baiduspider-image
视频搜索:Baiduspider-video
新闻搜索:Baiduspider-news
百度搜藏:Baiduspider-favo
百度联盟:Baiduspider-cpro
商务搜索:Baiduspider-ads
网页以及其他搜索:Baiduspider

腾讯 搜狗
搜搜: Sosospider

360 好搜 vi
网页搜索: 360Spider
网页搜索: HaoSouSpider
图片搜索: 360Spider-Image
视频搜索: 360Spider-Video