搜索引擎禁止的方式优化网站(如何只禁止百度搜索引擎收录抓取的话，该如何操作？)

　　搜索引擎禁止的方式优化网站(如何只禁止百度搜索引擎收录抓取的话，该如何操作？)

　　如果您的网站涉及个人隐私或非公开网页的保密，您需要禁止搜索引擎收录抓取，您应该怎么做？本文将教你几种屏蔽或禁止搜索引擎收录Grabber网站内容的方法。

　　第一种方法，robots.txt方法

　　搜索引擎默认遵循robots.txt协议。创建一个 robots.txt 文本文件并将其放在网站root 目录中。编辑代码如下：

　　用户代理：*

　　禁止：/

　　通过上面的代码，你可以告诉搜索引擎不要抢收录本网站，并且小心使用上面的代码：这将禁止所有搜索引擎访问网站的任何部分。

　　如何只禁止百度搜索引擎收录抓取网页

　　1、编辑robots.txt文件，设计标志为：

　　用户代理：百度蜘蛛

　　禁止：/

　　以上robots文件将禁止所有来自百度的抓取。

　　在这里，让我们谈谈百度的用户代理。什么是百度蜘蛛的用户代理？

　　百度产品使用不同的用户代理：

　　产品名称对应用户代理

　　无线搜索百度蜘蛛

　　图片搜索Baiduspider-image

　　视频搜索百度蜘蛛视频

　　新闻搜索Baiduspider-news

　　百度采集baiduspider-favo

　　百度联盟Baiduspider-cpro

　　商业搜索百度蜘蛛广告

　　网页和其他搜索百度蜘蛛

　　您可以根据每个产品的不同用户代理设置不同的抓取规则。以下robots实现禁止所有来自百度的抓取，但允许图片搜索抓取/image/目录：

　　用户代理：百度蜘蛛

　　禁止：/

　　用户代理：Baiduspider-image

　　允许：/image/

　　请注意：Baiduspider-cpro和Baiduspider-ads抓取的网页不会被编入索引，只会执行与客户约定的操作。因此，如果您不遵守机器人协议，只能联系百度人员解决。

　　如何只禁止谷歌搜索引擎收录抓取网页，方法如下：

　　编辑robots.txt文件，设计标志为：

　　用户代理：googlebot

　　禁止：/

　　二、网页编码方法

　　在网站homepage 代码之间添加代码。此标签禁止搜索引擎抓取网站 并显示网页快照。

　　在网站homepage代码中添加禁止百度搜索引擎抓取网站并显示网页快照。

　　在网站homepage代码中添加，禁止谷歌搜索引擎抓取网站并显示网页快照。

　　另外，当我们的需求很奇怪的时候，比如以下几种情况：

　　1.网站添加了robots.txt，百度可以搜索到吗？

　　因为更新搜索引擎索引数据库需要时间。虽然百度蜘蛛已经停止访问您在网站上的网页，但清除百度搜索引擎数据库中已建立网页的索引信息可能需要几个月的时间。另请检查您的机器人是否配置正确。如果您被收录需求拒绝非常紧急，您也可以通过投诉平台反馈请求处理。

　　2.我希望网站的内容会被百度收录，但快照不会被保存。我该怎么办？

　　Baiduspider 符合互联网元机器人协议。您可以使用网页元设置使百度显示仅索引网页，而不在搜索结果中显示网页的快照。和robots的更新一样，更新搜索引擎索引库也是需要时间的，所以虽然你在网页中通过meta禁用了百度在搜索结果中显示页面的快照，但是如果网页索引已经在百度搜索引擎数据库信息，可能需要两到四个星期才能在线生效。

　　我想被百度收录，但不保存网站快照，以下代码解决：

　　如果你想禁止所有搜索引擎保存你网页的快照，那么代码如下：

　　一些常用的代码组合：

　　：这个页面可以被抓取，其他链接可以沿着这个页面编入索引。

　　：不允许抓取此页面，但您可以抓取此页面上的其他链接并将其编入索引。

　　：您可以抓取此页面，但不允许抓取此页面上的其他链接并将其编入索引。

　　：您不得抓取此页面，也不得抓取此页面上的其他链接并将其编入索引。