什么是抓取预算？
抓取预算是谷歌蜘蛛在给定时间内在网站上抓取和索引的网页数量。
为什么爬网预算对搜索引擎优化很重要？
简而言之: 如果谷歌不索引一个页面，它将不会为有任何排名。
因此，如果你的页面数量超过了网站的抓取预算，那么你的网站上就会有没有被索引的页面。
其实绝大多数的网站并不需要担心抓取预算。谷歌非常擅长发现和索引页面。
不过在某些情况下，你需要注意缩减抓取预算：
- 你运营着一个大型网站:如果你有一个网站（类似电子商务网站）拥有1万以上的页面，谷歌可能很困难发现所有页面。
- 你只是添加了一堆页面:如果你最近为网站一下添加了几百个页面，想要让谷歌快速索引所有这些页面。
- 大量的重定向:大量的重定向和重定向链条会吞噬你的抓取预算。
所以，这里有一些简单的方法来最大化你站点的抓取预算。
最佳实践
提高网站速度
提高你网站的页面速度可以让 谷歌蜘蛛抓取更多你网站的 url。
事实上，谷歌声称:
“让网站运行得更快可以提高用户体验，同时也提高了抓取速度。”
反之，
缓慢的页面加载耗费了谷歌蜘蛛机器人宝贵的时间。
避免“孤页”
孤立页面是指没有指向它们的内部链接或外部链接的页面。
谷歌很难找到孤儿页面。因此，如果你想最大限度地利用你的抓取预算，确保至少有一个内部或外部的链接指向你的网站上的每一个页面。
限制重复内容
限制重复内容是明智的，原因有很多。
（对于谷歌来讲他们已经为相关内容排名，没有理由再为重复内容排名）
在抓取预算角度，重复的内容会损害你的抓取预算。
因为 Google 不想浪费资源，为同样的内容索引多个页面。
所以要确保你网站的页面100% 是由原创的高质量的内容组成的。
虽然这对于一个拥有10k 以上页面的网站来说并不容易。但是，如果你想从自己的预算中获得最大收益，这是必须的。
了解更多
优化你的抓取和索引: 一个关于谷歌如何找到，抓取和索引页面的有用指南。
网站抓取爬行统计报告 : 一篇来自谷歌关于如何在谷歌搜索控制台阅读和解释抓取报告。
