搜索引擎如何抓取网页(搜索引擎是怎么爬取数据的？域名怎么爬呀，怎么办？ )

　　搜索引擎如何抓取网页(搜索引擎是怎么爬取数据的？域名怎么爬呀，怎么办？

)

　　乍一看，这个问题的答案是不可能的。不知道怎么抓取域名。我们先来分析一下搜索引擎是如何抓取数据的。

　　首先说一下正常的爬行。

　　一般如果你的网站想要被搜索引擎收录，你会在网站关注目录下放一个robot.txt文件。有了这个文件，就相当于餐厅里的一个列表，上面列出来如果要给搜索引擎输入一些目录，也可以说如果目录检索不到，搜索引擎就不会检索这些目录。文件格式可以在下面的例子中看到

　　#############

　　用户代理：Googlebot

　　不允许： /

　　爬行延迟：5

　　禁止：/bin/

　　禁止：/tmp/

　　网站地图：

　　#############

　　上面说了，谷歌，你单独输入我，其他引擎可以，别看我的bin和tmp目录，检索间隔5s

　　但是我如何让搜索引擎知道我的网站地址？早期，搜索引擎为URL的输入提供了一些入口。如果站长想在搜索引擎上显示他的网站，他会先输入，这样他就可以为他的网站导入流量。现在基本上搜索引擎都会有专门的渠道去获取打开的域名，然后进行统一的拨号测试，可以得到Robot.txt，可以输入网址。

　　你说世界上有上千个域名，不可能爬一次，其实这个验证速度还是很快的，另外，别忘了，搜索引擎基本上每天都维护链接，因为链接可能存在变化和故障条件。

　　当然，还有一些其他技术是由搜索引擎实现的。比如在解析一个网页的时候，如果这个网页有外链地址，爬虫会把这些网址放到URL池中，然后进行深度遍历，继续爬取。挑选。

　　如果你的网站没有域名只有IP，还能输入吗？理论上，IPV4的最大组合是2^8^4，然后去除10172198等非公IP。总共不超过40亿，看起来很多，但对于计算机来说，并不多。然而，这样的检索非常耗费资源，一般不考虑。

　　因此，即使搜索引擎爬虫不知道域名，也可以通过穷举法进行搜索，但不需要那么麻烦。通过注册局的数据，可以知道每天增加多少域名，减少多少域名，然后遍历。一次，找到robot.txt，比较简单。

　　当然，还有一些引擎是搜索不到的。移动互联网的App时代造就了这种信息孤岛。他们不再依赖搜索引擎来吸引流量，因此他们不在乎是否可以被搜索引擎搜索到。