穆勒提出了三种方法： 密码保护 拒绝抓取 (robots.txt) 拒绝索引（noindex） 我将简要总结穆勒先生的每一条解释。 密码保护，或者要求输入密码才能访问，是最安全的方法。即使搜索引擎爬虫没有密码也无法访问它。 在搜索结果中显示：可预防 未指定用户的访问：可预防 您还可以使用robots.txt拒绝抓取。 （根据robots.txt）爬虫无法访问它。 然而，这并不是一种理想的方法。在极少数情况下，可能会在不抓取内容的情况下对 URL 建立索引（显示在搜索结果中）*。
可能会显示 未指定用户访问
在搜索结果中显示：可能会显示 未指定用户 加拿大数据 访问：已访问 *网页编辑注：根据Google对robots.txt的官方解释，即使您阻止robots.txt抓取，如果从其他网站发布链接，它仍然可能会出现在搜索结果中（但是，如下图所示）。 ，搜索结果页面几乎不显示任何信息） noindex还有一种方法可以通过在 robots 元标记中指定来拒绝索引。搜索引擎在抓取后可以被告知不要索引（消失在搜索结果中）。用户仍可正常访问。
设为私有或者只需要阻止某些页面
在搜索结果中显示：可预防 未指定 巴西电话号码列表 用户访问：已访问 推荐的方法是密码保护。内容可以安全地对未指定的用户保密。 不过，如果你不需要将内容设为私有或者只需要阻止某些页面出现在搜索结果中，你可以用robots.txt拒绝抓取，或者用noindex索引来拒绝也很方便。 我希望能够设置所有三个。最好根据您想要实现的目的以不同的方式使用它们。 所有网络专业人士必看！告诉懂技术的人 谷歌搜索SEO信息① [SEO Urban Legend] Google 上不存在重复内容惩罚。
