本文预估阅读时间：10分钟。部分外部链接需要科学上网才可以访问。
什么是谷歌抓取预算（CRAWL BUDGET）？谷歌抓取预算指的是谷歌抓取目标网站的频率。对于新站来说，谷歌会赋予新站一个固定的抓取频次，然后后续根据你网站的更新情况来定准确的抓取频率。抓取预算并不是一成不变的，它贵根据网站的规模，以及内容的更新而更新。
同时，你还可以通过 Google Search Console 手动调整抓取预算。（一般默认都是最大值。注意：这个数据在旧版本的GSC工具中的Crawl Stats中可以查看）
抓取会对服务器产生一定压力，特殊情况会导致服务器宕机。但是，中小站长可以不用考虑这个因素，因为基本不可能发生。（别再问蜘蛛抓取过多怎么办，新站自然越多越好）
抓取预算会影响谷歌对你网站的判断周期（主要反馈在索引效率，以及排名效率上）
你可以这么理解——抓取预算较高的网站往往新内容的索引效率，以及排名效率要比其它网站要快。
什么因素会决定抓取预算的高低呢？
1、标准的网站地图（Sitemap）
标准的网站地图，都会有一个参数——Last modified（最后修改时间），这个参数是告诉搜索引擎，当前页面最后更新的日期是什么。谷歌蜘蛛会定期抓取你的网站地图，通过最后修改时间，以及网站地图中链接的数量的变化来决定抓取预算。
原理很简单：如果你的最后修改时间不断在更新，说明你的内容变更频率比较快，那么谷歌抓取预算会上升。同理，如果每次抓取网站地图时，最后修改时间、以及链接数量都没有任何变化，那么抓取预算会降低。
事实证明——每当你的网站有大规模的网站内容、页面更新的时候，往往在当天或者是第二天会发现有大量的谷歌蜘蛛涌入你网站的各个页面。我们通过最简单的蜘蛛日志分析就可以得到这样的结果。（蜘蛛日志，其实就就是服务器的日志，我们通过 Screamforg Log Analysis工具就可以分析，这里有一节免费的VIP课程可以听）
如果你的网站地图不标准的话，那么可能会导致你的抓取预算和你的预期会有些差距。你也不用抱怨，为什么网站迟迟不索引、或者是不参与排名，原因有可能就在你的网站地图上。
当然、如果你使用的是大众化的开源程序，比如：Wordpress程序，那么大部分Sitemap插件都是标准的。但是如果你使用的是dede织梦CMS，或者是帝国CMS之类的国产框架开源程序，你的sitemap可能就非常的糟糕。（大部分国产CMS的网站地图的参数都是不会自动变化的，需要手动更新）
2、外部链接的数量
外部链接数量的增加，可以给自己的网站提供更多的蜘蛛入口。（什么是蜘蛛入口？就是谷歌蜘蛛爬进来的地方）更多的蜘蛛入口意味着更多次的抓取。
一般我的套路是，每做完一个新页面，至少保证一条有效的外链存在。让谷歌蜘蛛不管通过网站地图可以抓取到新的信息，同时还可以通过其它路径（入口）获取页面最新的信息。
这样做的另一个好处就是——给自己的新页面少许加些Link Juice的支持，让长尾词越早的参与有效排名。
3、谷歌算法
部分谷歌算法会影响你网站的抓取预算。举个例子，过的重复内容、低质量内容等就会导致抓取预算降低，甚至是不抓取。
优质的内容，自然抓取更频繁。在下方我会详细说明抓取预算优化的若干个注意事项。
希望谷歌能够合理的抓取你的网站需要做到如下这几点
1、合理的网站结构
网站结构这里主要指的是网站目录框架（URL部分）以及网站层级。网站URL采用标准的静态化URL，目录深度不要超过3个目录（首页/分类页/内容页）。同时网站扁平化——即A页面到B页面的距离不要超过2次点击。（做到丰富的内链哦）
2、主机速度
这个不用我多说了把，服务器慢的谷歌自然不会待见。如果你想提高网站的速度，可以考虑优化下图片，或者是减少一些http的请求。
3、Http和Https适配
Https是加分项，做了总比不做好，同时注意http和https是否能够自动实现跳转关系。
4、重复页面
重复页面越多，其实代表的是你的网站体验越差，自然会影响谷歌对你页面的打分。使用301跳转、亦或者是Canonical标签进行页面去重。
5、Robots.txt
你不会蠢到把自己重要的页面用robots.txt协议给屏蔽了吧？同时注意，前端的JS以及CSS样式，也不能屏蔽哦。谷歌对JS和CSS有自己的判断。
6、多语言页面
多语言网站记得使用hreflang标签进行标记哦！（hreflang是meta标记的一种，详细可以看这里）原因和重复页面一样，为了去重。
总结
如果你按照正常白帽SEO优化你的网站，不断的提升网站的用户体验，那么你不会出现抓取预算问题。
所以好好检查一下你的网站地图，以及我上述的所有细节点。相信你能够找到出现抓取预算问题的原因。
同时，抓取预算这块最直接的会反馈在你网站的索引效率以及排名效率上。如果你发现网站排名速度降低，新页面不索引的情况，基本可以考虑是你的抓取预算出了问题。那么你可以根据这篇文章再详细排查