因此，它应该比URL规范化标签或noindex更能节省爬行预算。 索引问题解决了，PageRank就传承下去了。当然，这是一个权衡，用户将无法再访问该 URL，因此您需要注意这一点。 抓取预算对策的实用要点 现在你已经整理好了所有的策略，那么你应该如何实际使用它们呢？我会向想要尝试实施抓取预算措施的人推荐哪些措施？ 乍一看，我想到了以下七个： 页面加载速度 日志分析 无用 URL 的 301 重定向 指定 rel=”canonical” 或 noindex 不要链接到带有 rel=”canonical” 或 noindex 的页面 谨慎使用 robots.txt 和 nofollow 在站点地图中列出首选 URL 让我们逐一解释一下。
对策是提高页面加载速度
页面加载速度 一种不直观的对策是提高页 韩国数据 面加载速度。如上所述，Google 为网站分配固定量的抓取时间或资源。这意味着， 该网站很贵 服务器响应时间短 HTML 是轻量级的 如果是这样，在相同的时间（资源）内可以爬行的页面数量将会增加。 因此，提高页面加载速度是改善爬行的一个很好的方法。 日志分析 接下来是日志分析（老式方法）。很难直观地了解网站的哪些页面和参数实际上占用了爬行预算。分析大型站点的日志通常会产生令人惊讶的结果，因此我们建议考虑它。
可以了解情况并实际应用本文
这里所说的“日志分析”并不是 拉脱维亚 电话号码列表 指使用Google Analytics等进行访问分析。这是对记录 Googlebot 访问的“网络服务器日志文件”的分析。 通过分析这些日志文件，我们可以了解情况并实际应用本文介绍的对策。 无用 URL 的 301 重定向 301 重定向可用于用户甚至不需要看到的无用 URL。这是一个有效的措施。 指定 rel=”canonical” 或 noindex 301 重定向不能用于需要用户看到的变体。
