最近有朋友询问：用谷歌site你的站发现Google没收录你的tag页，我的怎么？有还大部分是 ？倡萌认为，很多新手估计都不明其中的道理，索性就写篇文章吧。
1.为什么Google没收录tag标签页
其实倡萌使用的是Robots.txt限制收录，关于Robots.txt，请看《Robots.txt 是什么/有什么用/怎么写》。你也可以直接查看倡萌的自留地 的Robots.txt：https://www.cmhello.com/robots.txt
注意：
1.由于我自己对Robots.txt不熟悉，所以下面的规则很不规范，也不精简，甚至有错误，如果你看出了错误的地方，希望能指点一下倡萌，感激不尽。
2.每个人的链接样式都不一样，不要复制我的Robots.txt，否则后果自负哦
从我的robots.txt应该可以看出来，我禁止所有的搜索引擎收录tags、分类、评论、feed等多种页面类型，所以搜索引擎就会不收录这些页面，并且逐渐去除上面禁止类型的文章，如下图
很明显的是百度在3月8日的结果中已经基本把我所有的 tag和分类页 去除了，Google目前还没有完全去除(只是把tag和分类页收录结果放到了最后面的几页)，细心的你可以site一下我的站就知道了。
2.该禁止收录哪些页面类型
要知道那些页面该禁止，推荐使用 Google网站管理员工具，这是一个非常好的工具，如果你还没有使用，那赶紧用吧。
注意：倡萌禁止搜索引擎收录tags和分类页，仅仅是SEO测试，请不要一味跟随，否则一切后果自负。
(1)WordPress 通常需要禁止收录的页面，请参考 万戈 老大的写法：http://wange.im/robots.txt
(2)你也可以按规则添加不希望收录的页面，这里还可以通过 Google网站管理员工具的【抓取错误】查看【找不到】和【无法访问】的页面：
3.如何让搜索引擎去除已收录文章
将上图那些【找不到】页面写进robots.txt，提示搜索引擎去除收录。接着，你还可以在【网站配置】>【抓取工具权限】>【删除网址】>添加上面【找不到】的网址，提交删除申请，这样google就会处理的。
注：由上图你还可以看到，可以【测试robots.txt】和【生成robots.txt】
小 结
通过robots.txt可以很方便禁止搜索引擎收录，也可以去除已收录文章，但是写robots.txt的时候一定要注意细节，要记得使用Google网站管理员工具检测robots.txt是否正确有效。今天就说到这里吧，不懂的可以留言，建议多google一下。