如何让搜索引擎不收录我们的网站？-八维教育
优采云 发布时间: 2021-08-02 02:13如何让搜索引擎不收录我们的网站？-八维教育
您有没有担心过强大的搜索引擎会看不到您的隐私？试想一下，如果你想向全世界所有人公开你的私人日记，你能接受吗？这确实是一个非常矛盾的问题。大多数站长都在担心“如何让搜索引擎收录的我的网站？”，但我们还是要研究“如何让搜索引擎不是收录我们的网站”，也许我们也用
1.搜索引擎是如何工作的？
简单地说，搜索引擎实际上依赖于庞大的网页数据库。按检索方式可分为全文检索和目录检索两种。
所谓全文搜索，就是搜索引擎自动从网页中提取信息，建立数据库的过程。至于提取原理，是SEO爱好者研究的算法。在他们的理想情况下，网页应该是为搜索引擎设计的，具有最好的收录 效果。当然，这不是本文的主题。搜索引擎的自动信息采集功能有两种类型。一种是定时搜索，即每隔一定时间（比如谷歌一般需要28天），搜索引擎会主动发送“蜘蛛”程序在一定IP地址范围内搜索互联网网站。一旦发现新的网站，它会自动提取网站的信息和URL，并将其添加到自己的数据库中。另一种是提交网站search，即网站的拥有者主动向搜索引擎提交网址，它会在一定时间内（不等）向你的网站发送一个“蜘蛛”程序从 2 天到几个月）。扫描您的网站并将相关信息存入数据库，供用户查询。
与全文搜索引擎相比，目录索引有很多不同之处。目录索引完全是手动的。
首先，搜索引擎是自动网站搜索，而目录索引完全依赖人工操作。用户提交网站后，目录编辑会亲自浏览您的网站，然后根据一套自行确定的标准甚至编辑的主观印象来决定是否接受您的网站。
其次，在收录网站搜索引擎中，只要网站不违反相关规则，一般都会登录成功。目录索引对网站的要求要高很多，有时候即使多次登录也不一定成功。尤其是像雅虎这样的超级索引，登录更是难上加难。
最后，搜索引擎中每个网站的相关信息都是自动从用户的网页中提取出来的，所以从用户的角度来说，我们有更多的自主权；而目录索引需要手动附加网站Info，并且有各种限制。另外，如果工作人员认为你提交的网站目录和网站信息不合适，他可以随时调整，当然不会提前和你商量。
目录索引，顾名思义就是将网站存放在不同类别的对应目录中。因此，用户在查询信息时，可以选择关键词进行搜索或分类搜索。比如用关键词搜索，返回的结果和搜索引擎一样，也是按照信息相关度网站进行排名，但人为因素较多。
2.如何拒绝搜索引擎？
其实很简单。只需在网站的根目录下放一个名为Robots.txt的文件即可。文件写得很仔细。一定要按要求写。写成如下：
1)Robots.txt 是什么？
Robots.txt 是一个文本文件。关键是这个文件的位置：在网站的根目录下。如果你犯了一个错误，它就行不通了！
2)Robots.txt 如何工作？
前面提到过，搜索引擎自动提取信息会遵循一定的算法，但不管算法如何，第一步都是寻找这个文件。它的意思是，“你的网站对我们的机器人有什么限制？”所谓Robots，就是搜索引擎发送的蜘蛛或机器人。如果没有得到响应（未找到该文件），则表示没有限制，因此我们抓住它。如果有这样的文件，机器人会读取它，如果它被拒绝，它会停止抓取过程。
3)如何写Robots.txt文件？
符合语法的Robots.txt可以被机器人识别。至于语法，介绍就很繁琐了。一个简单的例子如下：
1)禁止所有搜索引擎访问网站的任何部分（即网站完全拒绝所有搜索引擎收录）
用户代理：*
禁止：/
2)允许所有机器人访问（即网站允许所有搜索引擎收录）
用户代理：*
禁止：
3)禁止访问某个搜索引擎（比如禁止百度收录，写如下）
用户代理：baiduspider
禁止：/
4)允许访问某个搜索引擎（比如允许百度收录，写如下）
用户代理：baiduspider
禁止：
用户代理：*
禁止：/
5)禁止搜索引擎访问某些目录
用户代理：*
禁止：/cgi-bin/
禁止：/tmp/
禁止：/images/
使用方法：很简单，将代码保存为文本文件，命名为Robots.txt，放在网页根目录下。
注意：所有语句都是单规则的，即每行只声明一个规则。例如，例5中的三个目录必须分三行列出。
写笔记！ ！ ！
1. 第一个英文要大写。当冒号是英文时，冒号后面有一个空格。这几点不能错。
2.斜线：/代表整个网站
3.如果“/”后面有多余的空格，整个网站都会被屏蔽。
4.不要禁止正常内容
5.生效时间是几天到两个月
路径末尾有斜线和不带斜线的区别：例如Disallow:/images/带斜线是禁止抓取整个文件夹的图片，Disallow:/images不带斜线表示有路径@的/images关键词会被屏蔽
