搜索引擎优化高级编程：php版(搜索引擎如何让搜索引擎不收录我们的网站？(图))

　　搜索引擎优化高级编程：php版(搜索引擎如何让搜索引擎不收录我们的网站？(图))

　　您是否曾经担心您的隐私会在强大的搜索引擎面前不可见？想象一下，如果您要让世界上的每个人都可以使用您的私人日记，您会接受吗？这确实是一个非常矛盾的问题。大部分站长都担心“如何让搜索引擎收录我的网站？”，但我们还是要研究“如何让搜索引擎不是收录我们的网站”，也许我们也使用它。

　　站壳_文章/https://mtk-1301787553.cos.ap-guangzhou.myqcloud.com/2020/06/1593320264-3f78b5c3f6f1bad.jpg

　　一、搜索引擎是如何工作的？

　　简而言之，搜索引擎实际上依赖于庞大的网页数据库。按搜索方式可分为全文搜索和目录搜索。

　　所谓全文搜索，就是搜索引擎通过自动从网页中提取信息来构建数据库的过程。至于提取原理，是SEO狂热者研究的算法，理想情况下，网页应该是为搜索引擎设计的，并且有最好的收录结果。当然，不是本文的主题。搜索引擎的自动信息采集功能有两种。一种是常规搜索，即每隔一段时间（比如谷歌一般是28天），搜索引擎主动发出一个“蜘蛛”程序，在一定的IP地址范围内搜索互联网网站 ，一旦找到新的 网站。@网站，它会自动提取网站的信息和URL，并添加到自己的数据库中。另一种是提交网站搜索，即网站的拥有者主动将URL提交给搜索引擎，一定时间内会定向到你的网站时间（从 2 天到几个月不等）。发送一个“蜘蛛”程序扫描你的网站并将相关信息存储在数据库中供用户查询。

　　与全文搜索引擎相比，目录索引有很多不同之处。目录索引完全是手动的。

　　首先，搜索引擎是自动的网站检索，而目录索引完全是手动的。用户提交网站后，目录编辑会亲自浏览你的网站，然后根据一套自定义的标准甚至是用户的主观印象决定是否接受你的网站编辑。

　　其次，当搜索引擎收录网站时，只要网站本身不违反相关规则，一般都可以登录成功。目录索引对网站的要求要高得多，有时甚至多次登录也不一定成功。尤其是雅虎这样的超级索引，登录更是难上加难。

　　最后，搜索引擎中每个网站的相关信息都是自动从用户的网页中提取出来的，所以从用户的角度来看，我们有更多的自主权；而目录索引要求你必须手动填写网站信息，并且有各种各样的限制。更何况，如果工作人员认为你提交的目录和网站信息不合适，他可以随时调整，当然不会提前和你商量。

　　目录索引，顾名思义，就是将网站按类别存储在对应的目录中，用户可以选择关键词进行信息搜索，也可以根据分类目录逐层搜索。如果用关键词搜索，返回的结果和搜索引擎一样，也是按照信息相关程度网站排名，但人为因素较多。

　　站壳_文章/https://mtk-1301787553.cos.ap-guangzhou.myqcloud.com/2020/06/1593320264-6d9f55a99ea794b.jpg

　　二、如何拒绝搜索引擎？

　　事实上，这很简单。只需将一个名为 Robots.txt 的文件放在 网站 的根目录中即可。这个文件的写法很讲究。请务必按要求编写。写法如下：

　　1、什么是 Robots.txt？

　　Robots.txt是一个文本文件，关键是这个文件的位置：网站的根目录。弄错了就不行了！

　　2、Robots.txt 是如何工作的？

　　前面说过，搜索引擎自动提取信息会遵循一定的算法，但不管是什么算法，第一步都是找这个文件。它的意思是，“您的网站对我们的机器人有什么限制？” 所谓Robots就是搜索引擎发送的蜘蛛或机器人。如果你没有得到回应（文件没有找到），没有限制，抓住它。如果有这样的文件，机器人就会读取，如果被拒绝，就会停止爬取过程。

　　3、Robots.txt 文件怎么写？

　　只有符合语法的 Robots.txt 才能被机器人识别。至于语法，介绍起来很复杂。这是一个简单的例子：

　　1）禁止所有搜索引擎访问网站的任何部分（即网站完全拒绝所有搜索引擎收录）

　　  User-agent: * 

  Disallow: /

　　2）允许所有机器人访问（即网站允许所有搜索引擎收录）

　　  User-agent: * 

  Disallow:

　　3）禁止访问某个搜索引擎（比如禁止百度收录，写法如下）

　　  User-agent: baiduspider

  Disallow: /

　　4）允许访问某个搜索引擎（比如允许百度收录，写法如下）

　　  User-agent: baiduspider

  Disallow: 

  User-agent: * 

  Disallow: /

　　5）禁用搜索引擎对某些目录的访问

　　  User-agent: *             

  Disallow: /cgi-bin/

  Disallow: /tmp/

  Disallow: /images/

　　使用方法：很简单，将代码保存为文本文件，命名为Robots.txt，放在网页根目录下。

　　注意：所有语句都是单规则的，即每行只声明一个规则。例如，示例 5 中的三个目录必须分三行列出。