拒绝搜索引擎收录网站的方法:可以在head标签中添加内容

优采云 发布时间: 2021-03-29 00:03

  拒绝搜索引擎收录网站的方法:可以在head标签中添加内容

  拒绝搜索引擎收录 网站的方法:您可以将内容[]添加到head标签中,以禁止搜索引擎获取网站和显示网页快照。

  

  在构建新的网站之后,只要搜索引擎蜘蛛抓取的网站的内容还不错,那么由于某种原因,搜索引擎很有可能会收录我们的网站我不需要搜索引擎收录 网站,该怎么办?以下文章文章将向您解释。

  方法1:设置robots.txt方法

  您可以使用robots.txt阻止搜索引擎蜘蛛,那么robots.txt是什么?

  搜索引擎使用蜘蛛程序自动访问Internet上的网页并获取网页信息。蜘蛛访问网站时,它将首先检查网站的根域下是否存在一个名为robots.txt的纯文本文件。该文件用于在网站上指定蜘蛛的爬行范围。您可以在网站中创建robots.txt,并在文件中声明网站中您不想被搜索引擎收录搜索的部分,或者将搜索引擎指定为仅收录特定部分。

  请注意,如果网站收录不想由搜索引擎收录搜索的内容,则仅需要使用robots.txt文件。如果您想要搜索引擎收录 网站上的所有内容,请不要创建robots.txt文件。

  如何使用robots.txt阻止搜索引擎蜘蛛?

  默认情况下,搜索引擎遵守robots.txt协议,创建robots.txt文本文件并将其放置在网站的根目录中,然后按以下方式编辑代码:

  User-agent: *

Disallow: /

  通过以上代码,您可以告诉搜索引擎不要抓住收录这个网站,并小心使用上述代码:这将禁止所有搜索引擎访问网站的任何部分。

  如果您只想禁止整个百度收录网站,则可以编辑以下代码:

  User-agent: Baiduspider

Disallow: /

  如果您只想禁止整个Google 收录网站,则可以编辑以下代码:

  User-agent: Googlebot

Disallow: /

  方法2:设置网页代码方法

  在网站主页代码之间添加以下代码,以禁止搜索引擎抓取网站和显示网页快照。

  在网站主页代码之间添加以下代码,以禁止百度搜索引擎抓取网站并显示网页快照。

  在网站主页代码之间添加以下代码,以禁止Google搜索引擎抓取网站并显示页面快照。

  以上是如何拒绝搜索引擎收录 网站的详细内容。有关更多详细信息,请注意php中文网站上的其他相关文章!

  

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线