怎样抓取网页数据(网络爬虫检查robots.txt协议（机器人排除协议）（）)

　　怎样抓取网页数据(网络爬虫检查robots.txt协议（机器人排除协议）（）)

　　互联网在不断发展。不可能知道万维网上有多少页。网络爬虫首先从一个 torrent 或已知 URL 列表开始。他们将找到指向其他 URL 的超链接，并将这些超链接添加到接下来要抓取的页面列表中，然后再抓取这些页面。

　　一个被许多其他网页引用并吸引许多访问者的网页表明它收录权威、高质量的内容，因此搜索引擎需要对其进行索引。

　　随着互联网上的页面数量，搜索索引过程几乎可以无休止地进行。网络爬虫观察的做法使他们对爬取哪些页面以及检查内容更新的顺序和频率更具选择性，以免无限期地爬取。

　　网络爬虫检查 robots.txt 协议（机器人排除协议）来决定要爬取哪些页面。robots.txt 文件由页面的网络服务器托管。它是一个文本文件，用于指定任何机器人访问托管 网站 的应用程序或机器人可以抓取的页面的规则，以及它们可以遵循的链接。

　　这些成分在每个搜索引擎构建到其蜘蛛机器人中的专有算法中具有独特的权重。来自不同搜索引擎的蜘蛛机器人的行为会略有不同。然而，最终目标是从网页下载和索引内容。

　　网络爬虫在爬取万维网时也被称为蜘蛛，大多数用户访问万维网就像真正的蜘蛛在蜘蛛网上一样。

　　来自“ITPUB博客”，链接：如需转载，请注明出处，否则追究法律责任。