要阻止某个网页出现在 Google 搜索结果中,您可以将 noindex
元标记加入该网页的 HTML 代码中,或在 HTTP 请求中返回“noindex”标头。当 Googlebot 下次抓取该网页并看到相应的标记或标头时,就会完全阻止该网页出现在 Google 搜索结果中(不论是否有其他网站链接到该网页)。
重要提示!要想让 noindex
指令生效,就不得使用 robots.txt 文件屏蔽相应网页。如果该网页被 robots.txt 文件屏蔽了,抓取工具将永远无法看到 noindex
指令,因此该网页可能仍会显示在搜索结果中(例如,如果有其他网页链接到该网页的话)。
如果您不具备对服务器的 root 访问权限,则可借助非常实用的 noindex 工具控制搜索引擎对您网站上各个网页的访问权限。
实施 noindex
您可采用以下两种方法来实施 noindex:将 noindex 用作元标记,或用作 HTTP 响应标头。这两种方法的效果是等同的,但您可根据自己对服务器的控制程度和所用的具体发布流程,从中任选一种对您而言较为便捷的方式。
<meta> 标记
要想阻止大部分搜索引擎网页抓取工具将您网站中的网页编入索引,请将以下元标记放入相应网页的 <head>
部分中:
<meta name="robots" content="noindex">
要仅阻止 Google 网页抓取工具将网页编入索引,请放入以下元标记:
<meta name="googlebot" content="noindex">
请注意,某些搜索引擎网页抓取工具对 noindex
指令可能会有不同的解读,因此,您的网页可能仍会出现在其他搜索引擎的结果中。
帮助我们发现您的元标记
我们只有在抓取您的网页后才能看到元标记。如果您的网页仍出现在搜索结果中,可能是因为在您添加标记之后我们尚未抓取过您的网站。您可以使用 Google 抓取方式工具请求 Google 重新抓取您的网页。此外,也可能是因为您的 robots.txt 文件禁止 Google 网页抓取工具访问该网址,因此我们无法看到此标记。要允许 Google 访问您的网页,您必须修改 robots.txt 文件。您可以使用 robots.txt 测试工具来修改和测试 robots.txt。
HTTP 响应标头
除了使用元标记,您还可在响应中返回一个值为 noindex
或 none
的 X-Robots-Tag
标头。下面的 HTTP 响应示例便含有一个可指示抓取工具不要将某一网页编入索引的 X-Robots-Tag
:
HTTP/1.1 200 OK (…) X-Robots-Tag: noindex (…)