如果页面需要很长时间才能建立索引 在这两种情况下，您都应该考虑抓取预算问题。 什么是抓取预算？ 什么是“抓取预算”？ 抓取预算是 Google 愿意花费在抓取网站上的时间量。谷歌可能看起来无所不能。但实际上， Google 可用的资源（服务器 CPU 和网络带宽）是有限的。 网络很大 因此，即使是谷歌也必须优先考虑某些事情，并决定分配多少时间或资源来抓取每个网站。 目前，优先级基于两件事（至少谷歌是这么说的）： 您的网站在 Google 用户中有多受欢迎？ 内容的新鲜度 Googlebot 渴望获得以前从未见过的新网址。
如何充分利用可用的抓取预算
在这个视频中， 如何增加抓取预算 我不谈 黎巴嫩数据 这个。相当， 如何充分利用可用的抓取预算 将注意力转向。无论如何，这通常更容易。 抓取预算问题的原因 在什么情况下抓取预算实际上会成为问题？ 多面导航 网站可能导致抓取预算问题的主要问题首先是分面导航。 我想让你想到一个电子商务网站。假设那里有一个笔记本电脑页面。假设可以根据屏幕尺寸进行过滤。如果你缩小到“屏幕是15英寸”或“内存是16GB”，仍然会有很多组合，所以即使它实际上是一页或一个类别（在本例中是笔记本电脑页面），URL也会数量可能很大。
首先是站点搜索的搜索结果页面
分面导航的示例（Yodobashi.com 类别页 印度尼西亚电话号码列表 面，屏幕左侧的侧边栏区域），在放大的图像中可以看到有更多的分面导航。 此外，更改显示顺序将创建不同的 URL。即使页面完全相同，也可能需要抓取每个页面，因为 URL 不同。除了重新排列之外，造成 URL 变化的原因还有无数，例如分页。这可能会导致单个类别页面出现大量 URL。 搜索结果页面 还有其他几个经常出现的问题。首先是站点搜索的搜索结果页面。这可能会导致大量 URL，尤其是在有分页的情况下。
