搜索引擎如何抓取网页(暗网要比表面网络大好几个数量级)

　　搜索引擎如何抓取网页(暗网要比表面网络大好几个数量级)

　　根据互联网的说法，暗网是那些隐藏在表面网络深处的隐藏网络。一般来说，暗网的数据量比地表的数据量大几个数量级。特点是隐藏在网络数据库中，一般不能通过超链接直接访问。, 并且需要动态网络技术来采集资源访问，即它不是一个可以被搜索引擎索引的表层网络。比如大型商场、携程网、12306等网站账单数据的搜索内容，这些数据很难直接链接到数据库，都是以查询界面的形式供用户查询，只有当用户需要时，只有通过查询才能看到并得到相关数据。换句话说，暗网，也就是常规爬虫，无法索引这些数据内容，就好像隐藏在背后一样。这也是暗网名称的由来。

　　任何不能通过 GET 或 POST 请求直接下载的页面都可以被认为是在“暗网”上。

　　暗网成因的一个简单例子：

　　1. 由于网络原因无法下载；

　　2. 内部 网站;

　　3. 动态页面需要用户认证，登录后才能访问；

　　4. 相关结果的索引列表只有在搜索词条时才能得到。

　　简单来说，没有入口（链接）或者搜索引擎难以抓取的网页，都属于暗网的范畴。互联网上搜索引擎能够检索到的内容仅占全部内容的千分之二左右。暗网抓取可以为用户提供更丰富的结果，大大提高了搜索引擎的友好度。

　　为了能够对暗网数据进行索引，需要开发一种不同于常规爬虫机制的系统。这种类型的爬虫被称为暗网爬虫。暗网爬虫的目的是从数据库中挖掘出暗网数据并加入到搜索引擎的索引中，以便用户在搜索时可以使用这些数据，以增加信息的覆盖程度。

　　目前，大型搜索引擎服务商将暗网挖掘作为一个重要的研究方向，因为它直接关系到索引的大小。这个领域的技术差异会直接体现在搜索结果的综合性上，这自然是竞争者的战场。谷歌目前将其作为重点研发方向，百度的“阿拉丁计划”也正是针对于此。

　　竖版网站提供的搜索界面，往往需要手动选择或填充内容。例如，航班搜索需要选择出发地、到达地和日期，书籍搜索需要指明书名或作者。为了能够挖掘数据库的记录，暗网爬虫必须模拟人类行为。如果遍历是一一组合，对被访问的网站造成太大的压力，所以如何仔细组合查询选项是一个难点；第二点 重点是：一些查询的文本框，比如书籍搜索，需要输入书名，爬虫如何填写合适的内容？这也是相当具有挑战性的。

　　在暗网上执行 SEO 时需要注意的事项：

　　1. 避免将有用的页面存储在暗网上，并尽可能暴露这些页面。

　　2. 可能会产生大量类似的暗网页面，需要做好搜索引擎的去重工作。

　　3. 将可集成的暗网页面整合到通道中，增加它们之间的相关性，更有利于排名。

　　本文摘要：

　　以上只是对暗网信息采集的简单介绍，目的只是让普通读者对暗网信息采集有一个基本的了解。如果想了解更多关于暗网信息的爬取，可以在网上搜索相关资料！