htmlparse
　　jsoup
　　HeritrixNutch
　　java 抓取网页内容
　　爬虫
　　java 爬虫比较
　　Nutch
　　开发语言：Java
　　简介：
　　Apache的子项目之一，属于Lucene项目下的子项目。
　　Nutch是一个基于Lucene，类似Google的完整网路搜索引擎解决方案，基于Hadoop的分布式处理模型保证了系统的性能，类似Eclipse的插件机制保证了系统的可客户化，而且很容易集成到自己的应用之中。
　　Larbin
　　开发语言：C++
　　简介
　　larbin是一种开源的网路爬虫/网路蜘蛛，由美国的年轻人 Sébastien Ailleret独立开发。larbin目的是能否跟踪页面的url进行扩充的抓取，最后为搜索引擎提供广泛的数据来源。
　　Larbin只是一个爬虫，也就是说larbin只抓取网页，至于怎样parse的事情则由用户自己完成。另外，如何储存到数据库以及完善索引的事情 larbin也不提供。
　　latbin最初的设计也是根据设计简单而且高度可配置性的原则，因此我们可以看见，一个简单的larbin的爬虫可以每晚获取５００万的网页，非常高效。
　　Heritrix
　　开发语言：Java
　　简介
　　与Nutch比较
　　和 Nutch。二者均为Java开源框架，Heritrix是 SourceForge上的开源产品，Nutch为Apache的一个子项目，它们都叫做网络爬虫/蜘蛛（ Web Crawler），它们实现的原理基本一致：深度遍历网站的资源，将这种资源抓取到本地，使用的技巧都是剖析网站每一个有效的URI，并递交Http请求，从而获得相应结果，生成本地文件及相应的日志信息等。
　　Heritrix是个 “archival crawler” — 用来获取完整的、精确的、站点内容的深度复制。包括获取图象以及其他非文本内容。抓取并储存相关的内容。对内容来者不拒，不对页面进行内容上的更改。重新爬行对相同的URL不针对原先的进行替换。爬虫通过Web用户界面启动、监控、调整，允许弹性的定义要获取的URL。
　　二者的差别：
　　Nutch 只获取并保存可索引的内容。Heritrix则是照单全收。力求保存页面原样
　　Nutch 可以修剪内容，或者对内容格式进行转换。
　　Nutch 保存内容为数据库优化格式以便之后索引；刷新替换旧的内容。而Heritrix是添加(追加)新的内容。
　　Nutch 从命令行运行、控制。Heritrix有 Web 控制管理界面。
　　Nutch 的订制能力不够强，不过现今早已有了一定改进。Heritrix可控制的参数更多。
　　Heritrix提供的功能没有nutch多，有点整站下载的气味。既没有索引又没有解析，甚至对于重复爬取URL都处理不是挺好。
　　Heritrix的功能强悍 但是配置上去却有点麻烦。
　　其他网路爬虫介绍：
　　WebLech
　　WebLech是一个功能强悍的Web站点下载与镜像工具。它支持按功能需求来下载web站点并才能尽可能模仿标准Web浏览器的行为。WebLech有一个功能控制台并采用多线程操作。
　　Arale
　　Arale主要为个人使用而设计，而没有象其它爬虫一样是关注于页面索引。Arale才能下载整个web站点或来自web站点的个别资源。Arale能够够把动态页面映射成静态页面。
　　J-Spider
　　J-Spider:是一个完全可配置和订制的Web Spider引擎.你可以借助它来检测网站的错误(内在的服务器错误等),网站内外部链接检测java爬虫技术，分析网站的结构(可创建一个网站地图),下载整个Web站点，你还可以写一个JSpider插件来扩充你所须要的功能。
　　spindle
　　spindle 是一个建立在Lucene工具包之上的Web索引/搜索工具.它包括一个用于创建索引的HTTP spider和一个用于搜索这种索引的搜索类。spindle项目提供了一组JSP标签库促使这些基于JSP的站点不需要开发任何Java类能够够降低搜索功能。
　　Arachnid
　　Arachnid: 是一个基于Java的web spider框架.它包含一个简单的HTML剖析器才能剖析包含HTML内容的输入流.通过实现Arachnid的泛型才能够开发一个简单的Web spiders并才能在Web站上的每位页面被解析然后降低几行代码调用。 Arachnid的下载包中包含两个spider应用程序事例用于演示怎么使用该框架。
　　LARM
　　LARM才能为Jakarta Lucene搜索引擎框架的用户提供一个纯Java的搜索解决方案。它包含才能为文件，数据库表格构建索引的方式和为Web站点建索引的爬虫。
　　JoBo
　　JoBo 是一个用于下载整个Web站点的简单工具。它本质是一个Web Spider。与其它下载工具相比较它的主要优势是能否手动填充form(如：自动登入)和使用cookies来处理session。JoBo还有灵活的下载规则(如：通过网页的URL，大小，MIME类型等)来限制下载。
　　snoics-reptile
　　snoics-reptile是用纯Java开发的，用来进行网站镜像抓取的工具，可以使用配制文件中提供的URL入口，把这个网站所有的能用浏览器通过GET的方法获取到的资源全部抓取到本地，包括网页和各类类型的文件，如：图片、flash、mp3、zip、rar、exe等文件。可以将整个网站完整地下传至硬碟内，并能保持原有的网站结构精确不变。只须要把抓取出来的网站放到web服务器(如：Apache)中，就可以实现完整的网站镜像。
　　Web-Harvest
　　Web-Harvest是一个Java开源Web数据抽取工具。它就能搜集指定的Web页面并从这种页面中提取有用的数据。Web-Harvest主要是运用了象XSLT,XQuery,正则表达式等这种技术来实现对text/xml的操作。
　　spiderpy
　　spiderpy是一个基于Python编码的一个开源web爬虫工具，允许用户搜集文件和搜索网站，并有一个可配置的界面。
　　The Spider Web Network Xoops Mod Team
　　pider Web Network Xoops Mod是一个Xoops下的模块java爬虫技术，完全由PHP语言实现。
　　HiSpider is a fast and high performance spider with high speed
　　严格说只能是一个spider系统的框架, 没有细化需求, 目前只是能提取URL, URL排重, 异步DNS解析, 队列化任务, 支持N机分布式下载, 支持网站定向下载(需要配置hispiderd.iniwhitelist). 查看全部

　　
　　爬虫工具汇总 Heritrix Heritrix 是一个开源，可扩充的 web爬虫项目。 Heritrix 设计成严格依照 robots.txt 文件的排除指示和 META robots 标签。 WebSPHINX WebSPHIN是X 一个 Java 类包和 Web爬虫的交互式开发环境。 Web爬虫 ( 也叫作 机器人或蜘蛛 ) 是可以手动浏览与处理 Web页面的程序。 WebSPHIN由X 两部份组成 : 爬虫工作平台和 WebSPHIN类X 包。 ~rcm/websphinx/ WebLech WebLech是一个功能强悍的 Web站点下载与镜像工具。它支持按功能需求来下 载 web站点并才能尽可能模仿标准 Web浏览器的行为。 WebLech有一个功能控制台 并采用多线程操作。 Arale Arale 主要为个人使用而设计，而没有象其它爬虫一样是关注于页面索引。 Arale 能够下载整个 web站点或来自 web站点的个别资源。 Arale 还能够把动态页 面映射成静态页面。 J-Spider J-Spider: 是一个完全可配置和订制的 Web Spider 引擎 . 你可以借助它来检测 网站的错误 ( 内在的服务器错误等 ), 网站内外部链接检测，分析网站的结构 ( 可创建 一个网站地图 ), 下载整个 Web站点爬虫软件下载，你还可以写一个 JSpider 插件来扩充你所须要 的功能。
　　 spindle spindle 是一个建立在 Lucene 工具包之上的 Web索引 / 搜索工具 . 它包括一个 用于创建索引的 HTTP spider 和一个用于搜索这种索引的搜索类。 spindle 项目提 供了一组 JSP标签库促使这些基于 JSP 的站点不需要开发任何 Java 类能够够降低 搜索功能。 Arachnid Arachnid: 是一个基于 Java 的 web spider 框架 . 它包含一个简单的 HTML分析 器才能剖析包含 HTML内容的输入流 . 通过实现 Arachnid 的泛型才能够开发一个简 单的 Web spiders 并才能在 Web站上的每位页面被解析然后降低几行代码调用。 Arachnid 的下载包中包含两个 spider 应用程序事例用于演示怎么使用该框架。 LARM LARM才能为 Jakarta Lucene 搜索引擎框架的用户提供一个纯 Java 的搜索解决 方案。它包含才能为文件，数据库表格构建索引的方式和为 Web站点建索引的爬 虫。 JoBo JoBo 是一个用于下载整个 Web站点的简单工具。它本质是一个 Web Spider 。
　　 与其它下载工具相比较它的主要优势是能否手动填充 form( 如: 自动登入 ) 和使用 cookies 来处理 session 。JoBo 还有灵活的下载规则 ( 如: 通过网页的 URL，大小，MIME类型等 ) 来限制下载。 snoics-reptile snoics -reptile 是用纯 Java 开发的爬虫软件下载，用来进行网站镜像抓取的工具，可以让 用配制文件中提供的 URL入口，把这个网站所有的能用浏览器通过 GET的方法获取 到的资源全部抓取到本地，包括网页和各类类型的文件，如 : 图片、 flash 、 mp3、 zip 、 rar 、exe 等文件。可以将整个网站完整地下传至硬碟内，并能保持原有的网 站结构精确不变。只须要把抓取出来的网站放到 web服务器 ( 如:Apache) 中，就可 以实现完整的网站镜像。 Web-Harvest Web-Harvest 是一个 Java 开源 Web数据抽取工具。它还能搜集指定的 Web页面 并从这种页面中提取有用的数据。 Web-Harvest 主要是运用了象 XSLT,XQuery,正则 表达式等这种技术来实现对 text/xml 的操作。
　　 spiderpy spiderpy 是一个基于 Python 编码的一个开源 web爬虫工具，允许用户搜集文 件和搜索网站，并有一个可配置的界面。 The Spider Web Network Xoops Mod Team pider Web Network Xoops Mod 是 一个 Xoops 下的模块，完全由 PHP语言实现。 Fetchgals Fetchgals 是一个基于 perl 多线程的 Web爬虫，通过 Tags 来搜索淫秽图片。 larbin larbin 是个基于 C++的 web爬虫工具，拥有便于操作的界面，不过只能跑在 LINUX下，在一台普通 PC下 larbin 每天可以爬 5 百万个页面 ( 当然啦，需要拥有 良好的网路 ) J-Spider J-Spider: 是一个完全可配置和订制的 Web Spider 引擎 . 你可以借助它来检测 网站的错误 ( 内在的服务器错误等 ), 网站内外部链接检测，分析网站的结构 ( 可创建 一个网站地图 ), 下载整个 Web站点，你还可以写一个 JSpider 插件来扩充你所须要 的功能。 spindle pindle 是一个建立在 Lucene 工具包之上的 Web索引 / 搜索工具 . 它包括一个用 于创建索引的 HTTP spider 和一个用于搜索这种索引的搜索类。
　　 spindle 项目提供 了一组 JSP标签库促使这些基于 JSP的站点不需要开发任何 Java 类能够够降低搜 索功能。 Arachnid Arachnid: 是一个基于 Java 的 web spider 框架 . 它包含一个简单的 HTML分析 器才能剖析包含 HTML内容的输入流 . 通过实现 Arachnid 的泛型才能够开发一个简 单的 Web spiders 并才能在 Web站上的每位页面被解析然后降低几行代码调用。 Arachnid 的下载包中包含两个 spider 应用程序事例用于演示怎么使用该框架。 LARM LARM才能为 Jakarta Lucene 搜索引擎 查看全部

　　网络爬虫早已广泛应用于互联网搜索领域，为网路信息搜集与查询提供了极大的便利爬虫网络，同时也会对网路安全形成一定的负面影响。本文阐述了网路爬虫对网路安全构成的恐吓，并讨论相应的应对方式。
　　网络爬虫与Web安全
　　文/H3C攻守团队
　　网络爬虫概述
　　网络爬虫（Web Crawler），又称网路蜘蛛（Web Spider）或网路机器人（Web Robot），是一种根据一定的规则手动抓取万维网资源的程序或则脚本，已被广泛应用于互联网领域。搜索引擎使用网路爬虫抓取Web网页、文档甚至图片、音频、视频等资源，通过相应的索引技术组织这种信息，提供给搜索用户进行查询。随着网路的迅速发展，万维网成为大量信息的载体，如何有效地提取并借助这种信息成为一个巨大的挑战。不断优化的网路爬虫技术正在有效地应对这些挑战，为高效搜索用户关注的特定领域与主题提供了有力支撑。网络爬虫也为中小站点的推广提供了有效的途径，网站针对搜索引擎爬虫的优化曾风靡一时。
　　传统网路爬虫从一个或若干个初始网页的URL（Universal Resource Locator统一资源定位符）开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL装入队列，直到满足系统的一定条件停止抓取。现阶段网络爬虫已发展为囊括网页数据抽取、机器学习、数据挖掘、语义理解等多种方式综合应用的智能工具。
　　网络爬虫的安全性问题
　　由于网路爬虫的策略是尽可能多的“爬过”网站中的高价值信息，会按照特定策略尽可能多的访问页面，占用网路带宽并降低Web服务器的处理开支，不少大型站点的站长发觉当网路爬虫光顾的时侯，访问流量将会有显著的下降。恶意用户可以借助爬虫程序对Web站点发动DoS攻击，使Web服务在大量爬虫程序的暴力访问下，资源用尽而不能提供正常服务。恶意用户还可能通过网路爬虫抓取各类敏感资料用于不正当用途，主要表现在以下几个方面：
　　1）搜索目录列表
　　互联网中的许多Web服务器在客户端恳求该站点中某个没有默认页面的目录时，会返回一个目录列表。该目录列表一般包括可供用户点击的目录和文件链接，通过这种链接可以访问下一层目录及当前目录中的文件。因而通过抓取目录列表，恶意用户常常可获取大量有用的资料，包括站点的目录结构、敏感文件以及Web服务器设计构架及配置信息等等，比如程序使用的配置文件、日志文件、密码文件、数据库文件等爬虫网络，都有可能被网路爬虫抓取。这些信息可以作为选购功击目标或则直接入侵站点的重要资料。
　　2）搜索测试页面、手册文档、样本程序及可能存在的缺陷程序
　　大多数Web服务器软件附送了测试页面、帮助文档、样本程序及调试用侧门程序等。这些文件常常会泄露大量的系统信息甚至提供绕开认证直接访问Web服务数据的方式，成为恶意用户剖析功击Web服务器的有效情报来源。而且这种文件的存在本身也暗示网站中存在潜在的安全漏洞。
　　3）搜索管理员登入页面
　　许多网路产品提供了基于Web的管理插口，允许管理员在互联网中对其进行远程管理与控制。如果管理员忙于防范，没有更改网路产品默认的管理员名及密码，一旦其管理员登入页面被恶意用户搜索到，网络安全将面临极大的恐吓。
　　4）搜索互联网用户的个人资料
　　互联网用户的个人资料包括姓名、身份证号、电话、Email地址、QQ号、通信地址等个人信息，恶意用户获取后容易借助社会工程学施行功击或盗窃。
　　因此，采取适当的举措限制网路爬虫的访问权限，向网路爬虫开放网站希望推广的页面，屏蔽比较敏感的页面，对于保持网站的安全运行、保护用户的隐私是十分重要的。
　　基于网路爬虫技术的Web漏洞扫描
　　前面提及的网路爬虫对网站的间接安全恐吓，是通过对网路站点的信息搜集为不法份子的非法访问、攻击或盗窃作打算。随着安全技术的发展，利用网路爬虫技术对Web漏洞的直接侦测早已出现，这会直接影响到Web服务器的安全。Web服务器漏洞中，跨站脚本（Cross Site Script）漏洞与SQL注入（SQL Injection）漏洞所占比列很高，这两种漏洞均可以通过对网路爬虫的改进来进行侦测。由于缺少足够的安全知识，相当多的程序员在编撰Web应用程序时对网页的恳求内容缺少足够的检测，使得不少Web应用程序存在安全隐患。用户可以通过递交一段悉心构造的包含SQL句子或脚本的URL恳求，根据程序的返回结果获得有关的敏感信息甚至直接更改后台数据。基于目前的安全现况，网络爬虫技术在Web漏洞扫描上的应用，大大提升了发觉漏洞的效率。
　　基于网路爬虫技术的Web漏洞扫描大至分为如下过程：
　　1）页面过滤：通过自动化的程序抓取网站页面，对包含<frame>、<a>、<image>、<form>等标签的Web页面进行URL提取处理，这些HTML标签中包含URL信息，便于恶意用户进行更深入的Web访问或递交操作。
　　2）URL匹配：对Web页面中的URL进行手动匹配，提取由参数组合而成的动态查询URL或递交URL，进行下一步的漏洞侦测。如动态查询URL“;pic=1”，其中frameset为URL中动态的参数部份，可以进行参数变换。提交URL用于把Web用户的输入递交到服务器进行处理，其参数多为用户输入，同样可以进行参数变换。
　　3）漏洞试探：根据动态查询URL或递交URL，自动在参数部份进行参数变换，插入冒号、分号（SQL注入对其敏感）及script标签（XSS对其敏感）等操作进行试探，并按照Web服务器返回的结果手动判定是否存在漏洞。如“URL匹配”中的动态查询URL可以变换成;script>alert(1) </script>&pic=1进行跨站脚本漏洞侦测。
　　/cn/res/201204/18/20120418_1338726_image001_741991_30008_0.png
　　图 基于网路爬虫技术的WEB漏洞扫描原理图
　　如何应对爬虫的安全恐吓
　　由于网路爬虫带来的安全恐吓，不少网站的管理人员都在考虑对爬虫访问进行限制甚至拒绝爬虫访问。实际上，根据网站内容的安全性及敏感性，区别对待爬虫是比较理想的举措。网站的URL组织应当按照是否为适宜大范围公开，设置不同的URL路径，在同一Web页面中既有须要完全公开信息也有敏感信息时,应通过链接、<frame>标签嵌入网页等方法显示敏感内容，另外尽可能把静态页面等经评估安全性较高的页面与安全性较差的动态页面从URL上分开。当限制爬虫时可以针对URL路径的安全性与敏感性对不同种类的爬虫与代理进行限制。
　　限制爬虫可以通过以下几种方式实现：
　　1） 设置robots.txt文件
　　限制爬虫最简单的方式是设置robots.txt文件。robots.txt文件是搜索引擎爬虫访问网站的时侯要查看的第一个文件，它告诉爬虫程序在服务器上哪些文件是可以被查看的，如设置Disallow: /，则表示所有的路径均不能查看。遗憾的是并不是所有的搜索引擎爬虫会遵循这个规则，因此仅仅设置robots文件是不够的。
　　2） User Agent辨识与限制
　　要对不理会robots.txt文件的爬虫访问进行限制，首先要把爬虫流量与普通用户的访问流量进行分辨，即对其进行辨识。一般的爬虫程序都可以通过其HTTP请求中的User Agent数组进行辨识，该数组让服务器才能辨识顾客使用的操作系统及版本、CPU类型、浏览器及版本、浏览器渲染引擎、浏览器语言、浏览器插件等。爬虫的User Agent数组通常与浏览器的有所不同，如Google搜索引擎爬虫User Agent数组中会有类似Googlebot的字符串，如User-Agent: Googlebot/2.1 ( )，百度搜索引擎爬虫则会有类似Baiduspider的字符串。不少Web服务器软件如Apache，可以设置通过User Agent数组进行访问过滤，可以比较有效的限制大部分爬虫的访问。
　　3） 通过访问行为特点辨识与限制
　　对于在HTTP请求的User Agent数组刻意伪装成浏览器的爬虫，可以通过其访问行为特点进行辨识。爬虫程序的访问通常是有规律性的频度比较高，区别于真实用户浏览时的随意性与低频度。对这类爬虫的限制原理与DDoS攻击的防御原理太相像，都基于统计数据。对于这类爬虫的限制只能通过应用辨识设备、IPS等才能做深度辨识的网路设备来实现。用网路设备限制网路爬虫，不仅比较全面，而且十分适宜在多服务器情况下进行统一的管理，避免多服务器单独管理有可能导致的疏失。
　　结束语
　　网络爬虫及其对应的技术为网站带来了可观访问量的同时，也带来了直接与间接的安全恐吓，越来越多的网站开始关注对网路爬虫的限制问题。随着互联网的高速发展，基于网路爬虫与搜索引擎技术的互联网应用将会越来越多，网站管理员及安全人员，有必要了解爬虫的原理及限制方式，准备好应对各种各样的网路爬虫。 查看全部

　　在大数据浪潮中，最值钱的就是数据，企业为了获得数据，处理数据，理解数据耗费了巨大代价，使用网络爬虫可以最有效的获取数据。
　　什么是爬虫?
　　网络蜘蛛（Web spider）也叫网络爬虫（Web crawler）什么是网络爬虫，蚂蚁（ant），自动检索工具（automatic indexer），或者（在FOAF软件概念中）网络疾走（WEB scutter），是一种“自动化浏览网路”的程序，或者说是一种网路机器人。它们被广泛用于互联网搜索引擎或其他类似网站，以获取或更新那些网站的内容和检索方法。它们可以手动采集所有其才能访问到的页面内容，以供搜索引擎做进一步处理（分检整理下载的页面），而促使用户能更快的检索到她们须要的信息。
　　最常见的就是互联网搜索引擎，它们借助网路爬虫手动采集所有才能访问到的页面内容，以获取或更新那些网站的内容和检索方法。在网路爬虫的系统框架中，主过程由控制器、解析器、资源库三部份组成。控制器的主要工作是负责给多线程中的各个爬虫线程分配工作任务。解析器的主要工作是
　　下载信息，将信息中对用户没有意义的内容（比如网页代码）处理掉。资源库是拿来储存下载到的数据资源，并对其构建索引。
　　假如你想要每小时抓取一次网易新闻，那么你就要访问网易并做一个数据恳求，得到html格式的网页，然后通过网路爬虫的解析器进行过滤，最后保存入库。
　　爬虫能做哪些？
　　可以创建搜索引擎（Google，百度）
　　可以拿来抢火车票
　　带逛
　　简单来讲只要浏览器能打开的，都可以用爬虫实现
　　网络爬虫的分类？
　　网络爬虫可以分为通用网路爬虫（General Purpose Web Crawler）、聚焦网络爬虫（Focused Web Crawler）、增量式网络爬虫（Incremental Web Crawler）和深层网络爬虫（Deep Web Crawler）。通用网路爬虫又称全网爬虫（Scalable Web Crawler），爬行对象从一些种子 URL（网络上每一个文件都有一个地址，即URL） 扩充到整个 Web，主要为门户站点搜索引擎和小型 Web 服务提供商采集数据。 由于商业缘由，它们的技术细节甚少公布下来。
　　聚焦网络爬虫（Focused Crawler），又称主题网路爬虫（Topical Crawler），是只爬行与主题相关网路资源的爬虫。它极大地节约了硬件和网路资源，保存的数据也因为数目少而更新快，还可以挺好地满足一些特定人群对特定领域信息的需求。
　　增量式网络爬虫（Incremental Web Crawler）是指只爬行新形成的或则已然发生变化数据的爬虫，它还能在一定程度上保证所爬行的数据是尽可能新的，并不重新下载没有发生变化的数据，可有效降低数据下载量，及时更新已爬行的数据，减小时间和空间上的花费。
　　深层网络爬虫（Deep Web Crawler）则可以抓取到深层网页的数据。一般网路页面分为表层网页和深层网页。 表层网页是指传统搜索引擎可以索引的页面什么是网络爬虫，而深层页面是只有用户递交一些关键词能够获得的页面，例如这些用户注册后内容才可见的网页就属于深层网页。
　　学习爬虫技术势在必行：在现今竞争的信息化社会中，如何借助数据剖析使自己站在信息不对称的一方，保持竞争优势，是数字工作者的必备技能。不过想飞之前总得先学会慢跑，分析数据之前先首要学会爬数据与处理数据，才有有事半功倍之效。
　　【全文完】 查看全部

　　基于 C++的网路爬虫的设计与实现的研究综述作者：xxx 指导老师：xxx摘要：本文归纳了网路爬虫的设计与实现方面的研究内容，概括了网路爬虫的定 摘要 义与爬取策略、网络爬虫的体系结构、设计网路爬虫的关键问题以及爬虫身分的 识别等方面的观点，并总结了怎样通过一个或多个给定的种子网站，将网站上相 应的网页抓取出来，并将其存入数据库或文本文件中的研究成果。本文也强调了 如何通过解决传统的通用搜索引擎在个别领域的局限性， 帮助人们愈加有效地提 取与借助互联网信息，进而提升人们在检索信息效率方面的研究需求。最后，本 文提出了一个满足用户需求的网路爬虫的开发方案。 关键词：网络爬虫 ；通用搜索引擎 ；互联网 关键词The Design and Implementation of Web Spider Based on C++Author:xxxTutor: xxx Abstract：This paper summarizes the research about the design and implementation of the web spider, summarizesthe view aboutthe definition of web spider, the crawling strategy of the web spider, the architecture of the web spider, the key issues to design the web spider and identification of the web spider ,and summarizes the research about how to catch the web-pages which links to the corresponding web site through one or more given seed site, and then stores it into a database or text file . The paper also points out how to solve the limitations of the Traditional General Search Engine in some areas , help people more effectively extract the information and make use of the Internet, then improve people’sresearch needs in the area of information retrieval. In the end, the paper proposesa web spider development planwhich can meet the user’s needs. Keywords:WebSpiders ;Tradition Universal Search Engine ; Internet随着网路技术的发展，信息的提取与借助在人们的日常生活中越来越重要。
　　搜索 引擎因为才能从广袤的网路资源中给用户提供对用户有用的信息而获得长足的 发展，自诞生以来，搜索引擎获得了越来越多用户的追捧，成为人们日常生活中 检索信息必不可少的搜索工具。 研究背景 随着经济社会的发展，人们对信息搜索提出了更高的要求。传统搜索引擎c++网络爬虫， 例如传统的通用搜索引擎 AltaVista，Yahoo!和 Google 大都是基于关键字的检 索，对按照语义信息提出的查询却无能为力，搜索结果往往包含大量用户并不关 心的网页；随着万维网的数据方式的不断丰富与网路技术的不断发展，图片、数 据库、音频及视频多媒体等不同数据方式大量出现，传统搜索引擎对这种信息含 量密集且具有一定数据结构的数据不能挺好的获取和发觉。另外，传统搜索引擎 有限的搜索引擎服务器资源与无限的网路数据资源之间的矛盾也日渐突出。 为了解决这种问题，人们设计实现一个才能依据用户提供的种子网站，定向抓 取相关网页资源的网路爬虫。网络爬虫是一个手动下载网页的程序，它按照既定 的抓取目标，有选择的访问万维网上的网页与相关的链接，获取所须要的信息。 它并不追求大的覆盖率，而将目标定为抓取与某一特定主题内容相关的网页，为 面向主题的用户查询打算数据资源。
　　 1.网络爬虫的定义及爬行策略 一个网路蜘蛛就是一种机器人，或者软件代理。大体上，它从一组要访问的 URL 链接开始，可以称这种 URL 为种子。爬虫访问那些链接，它分辨出这种页面 的所有超链接，然后添加到这个 URL 列表，可以比作检索前沿。这些 URL 按照一 定的策略反复访问，直到满足一定的条件结束。其工作流程如下：图 1 网络爬虫的工作流程网页爬虫的行为一般是四种策略组合的结果。这四种策略分别是选择策略、 重新访问策略、平衡礼貌策略、并行策略。其中，选择策略，用来决定所要下载 的页面； 重新访问策略， 用来决定什么时候检测页面的更新变化； 平衡礼貌策略， 指出如何防止站点超员；并行策略，指出如何协同达到分布式抓取的疗效。 2.网络爬虫体系结构 网络爬虫的结构主要分为以下几个部份: (1)下载模块,(2)网页剖析模块, (3) URL去重模块,(4) URL分配模块, 如图2所示：图2系统构架图2.1下载模块 下载模块负责抓取网页, 是整个系统的基本与关键部份,直接影响爬行疗效。 该模块通常包含3 个子模块: (1) 下载线程; (2) Host控制子模块; (3) DNS 解 析子模块。
　　 2.2网页剖析模块 网页剖析主要是内容剖析和链接抽取。 网页中有很多不同的编码格式, 这些 格式来自不同的文本( 简体中文、繁体英文、英文等) 。这些不同的文本信息会 影响到后续的正文抽取和副词等模块。网页剖析中须要考虑到这类问题。 HTML,XML网页不仅标题和正文以外, 会有许多版权信息、 广告链接以及公共 的频道链接, 这些链接和文本通常没有很大的价值, 在提取网页内容的时侯,需 要过滤这种无用的链接。对于DOC, PPT, XLS, PDF 等带格式的文件, 网络爬虫 都要提取出文件里的纯文本内容。对于多媒体、图片等文件, 一般是通过链接的 锚文本( 即链接文本) 和相关的文件注释来判定那些文件的内容。 2.3 URL去重模块 在下载的过程中, 不可防止地会碰到重复的链接, 如何去除那些重复的链 接, 是个很复杂的议程。URL的去重可以说是爬虫系统中最重要的一部分, 直接 影响爬行效率和疗效。 目前主流网路爬虫的URL 去重机制主要有两种方法: (1) 完全显存形式； (2) 基于c盘的缓存方法。完全显存形式就是指估算URL 的Hash 值, 一般用4 至6个字节表示, 这样10 亿个网页的URL 就须要5 到8个G的显存。
　　 另一种方法是开一个大链表进行按位验证, 这样只需后者八分之一的显存, 但有可能错判, 且误判率随着爬行规模的减小而提升。 基于c盘的缓存方法则是将大部分数据放 在c盘上, 内存里储存一个缓存, 然后按照策略更新缓存。 由于c盘的速率比内 存慢一个数量级, 一旦所查URL不命中缓存, 就必须在c盘中进行查找, 从而大 大影响效率。 2.4 URL分配模块 抓取的效率主要依赖于硬件资源、网络的带宽以及程序执行效率等。普通单 处理机系统受限于CPU 的处理能力、 磁盘存储的容量, 不可能具备处理海量信息 的能力, 这就要求Crawler 支持分布式协同工作。 URL 分配模块主要考虑两个问题: (1) 在节点间界定URL的策略, 即怎样分 配下载任务；(2) 优化性能, 比如负载均衡、协同工作的开支等。 3.设计网路爬虫的关键问题 3.1 可伸缩性 面对网路上数以万亿计的网页, 使用有限的资源运转一个高性能、 可伸缩的 Crawler 是一个首要任务。完成这项任务一般有3 点要求。首先, 采用的算法和 数据结构要才能支持Crawler 处理海量的网页。 其次, 在有限资源下, 爬行的平 均速率必须维持一个较高的水平。
　　 第三, 在添加硬件的情况下, 性能才能得到线 性下降。 在效率方面, 由于网络爬虫可以看成是一个生产者消费者模型, 如何让 各个模块协调工作, 以达到最佳性能, 也是一个严重的挑战。 3.2 提高下载质量 网络爬虫的目标是抓取互联网上所有有价值的网页。 哪些网页有价值, 如何 抓取这种网页, 这些问题须要对网页的质量有一个较为全面的评价。 而评价标准 主要依赖对互联网和用户需求的理解。其中, 主要包括以下几个方面的问题: ①网页之间的链接关系。 ②URL 本身的质量。 ③网页重复情况。 ④网页内容的评价。 3.3 网页更新 目前网页更新的方法有两种: 一种是周期性进行更新。 Crawler 第一次爬行 到设定好的规模后, 停止爬行, 然后每隔一段( 固定的) 时间对本地的索引数 据库网页进行一次全面的信息更新维护, 即替换掉陈旧的信息, 加入新生成的 网页。更新周期通常以礼拜或月为计量单位。我们称这些为周期性Crawler。另 一种是增量式信息更新方式。 因为互联网中包含的大量网页的更新周期是不一致 的, 有的变化无常, 有的非常稳定。 因此应当以网页的变化周期作为进行有效性 验证的根据。
　　 在每一次网页的更新过程中, 只对这些最有可能发生变化的网页进 行更新, 以不同的频度更新不同的网页。Crawler会仍然不停地爬行, 更新陈旧 的网页, 并用新的更重要的网页替换掉次重要的网页。 我们称采用这些方法的爬虫为增量式Crawler。 从理论上来讲, 增量式Crawler比周期性Crawler 效率更高。 但怎么确定每位网页的更新频度, 是一个难点。 4.爬虫身分辨识 网络爬虫通过使用 http 请求的用户代理数组来向网路服务器表明她们的 身份。网络管理员则通过检测网路服务器的日志，使用用户代理数组来辨别哪一 个爬虫以前访问过以及它访问的频度。 用户代理数组可能会包含一个可以使管理 员获取爬虫更多信息的 URL。邮件抓取器和其他怀有恶意的网路爬虫一般不会留 任何的用户代理数组内容， 或者她们也会将她们的身分伪装成浏览器或则其他的 知名爬虫。 5.开发工具介绍 5.1 Windows .NET Framework 2.0 开发平台 NET Framework 是支持生成和运行下一代应用程序和 XML Web services 的内部 Windows 组件。NET Framework 主要包含一个特别大的代码库，可以在顾客语言 ( 如 C++) 中 通 过 面 向 对 象 编 程 技 术 (OOP) 来 使 用 这 些 代 码 。
　　 这 个 部 分 .NET Framework 库定义了一些基本类型。库分为不同的模块，这样就可以按照希望得 到的结果来选择使用其中的各个部份。 5.2 开发工具 C++ C++是由 C 子语言、 面向对象的 C++、 泛型编程语言和 STL （C++标准模板库， Standard Template Library）组成的程序设计语言。C++支持 C 语言的几乎全部 功能，在句型上与 C 语言仅有极微妙的差异。C++强大（但容易失控的）模板功 能使它能在编译期完成许多工作，从而大大提升运行期效率。随着 STL 的不断发 展，它早已渐渐成为 C++程序设计中不可或缺的部份，其效率可能比通常的 native 代码低些，但是其安全性与规范性让它大受欢迎。 5.3 后台数据库 ACCESS 数据库 Microsoft Office Access（前名 Microsoft Access）是由谷歌发布的关联 式数据库管理系统。它结合了 Microsoft Jet Database Engine 和 图形用户界 面两项特征，是 Microsoft Office 的成员之一。它简单易用，可以胜任小批量 的查询工作。
　　 三、总结 本文分别从目前搜索引擎的发展现况、网络爬虫的定义、爬行策略、爬虫的体系 结构、 设计网路爬虫的关键问题以及爬虫的身分辨识等方面介绍了怎样设计一个 网络爬虫，另外本文也从开发所需的操作系统、开发工具以及所涉及到的数据库 技术等方面简单介绍了怎样实现一个网络爬虫， 并最终确立了使用 Windows .NET Framework 2.0 开发平台、C++与 ACCESS 的开发方案。本文的最终目标是设计实 现一个才能依据用户提供的种子网站， 定向抓取相关网页资源并将其内容存入数 据库或文本文件中的网路爬虫。参考文献：[1] 刘金红，陆余良.主题网路爬虫研究综述[J].计算机应用研究，2007，(10):70-79. [2] 罗刚，王振东. 自己动手写网路爬虫[M].清华大学出版社，2010c++网络爬虫，(10). [3] 大连海事大学计算机科学与技术学院.主题搜索引擎中网路爬虫的搜索策略研究[J].计算 机工程与科学，2008，(03):44-46. [4] 罗刚.自己动手写搜索引擎[M].电子工业出版社，2009，(11). [5] 郑志高，刘庆圣，陈立彬.基于主题网路爬虫的网路学习资源搜集平台的设计[J].中国教 育信息化，2010，(01):55-67. [6] 汪涛，樊孝忠.主题爬虫的设计与实现[J].计算机应用，2004，(S1):110-121. [7] 汪涛，樊孝忠.链接分析对主题爬虫的改进[J].计算机应用，2004，(S2):55-70. [8] 尹江， 尹治本， 黄洪.网络爬虫效率困局的剖析与解决方案[J].计算机应用， 2008， (5):20-31. [9] 汪涛， 樊孝忠， 顾益军， 刘林.基于概念剖析的主题爬虫设计[J].北京理工大学学报， 2004， (10):33-41. [10] 李蕾，王楠，张剑，钟义信，郭祥昊，贾自燕.中文搜索引擎概念检索初探[J]. 计算机 工程与应用，2000，(06):66-75. [11] 潘春华，冯太明，武港山.基于联通爬虫的专用 Web 信息搜集系统的设计[J].计算机工程 与应用，2003，(36):99-109. [12] 赫枫龄， 左万利.利用超链接信息改进网页爬行器的搜索策略[J].吉林大学学报(信息科学 版)，2005，(01):100-108. 查看全部

　　电脑知识与技术 数据库与信息管理 聚焦爬虫常见算法剖析 陈 丽 君 (浙江越秀外国语学院 浙江湖州 312000) [摘 要] 聚焦爬虫收集与特定主题相关的页面，为搜索引擎建立页面集。传统的聚焦爬虫采用向量空间模型和局部搜索算法，精确 率和召回率都比较低。文章分析了聚焦爬虫存在的问题及其相应的解决方式。最后对未来的研究方向进行了展望。 [关键词] 搜索引擎; 聚焦爬虫; 算法 不同于google、百度等通用搜索引擎，聚焦爬虫（也称为主题 爬虫）是一个能下载相关Web页的程序或自动化脚本。随着Web 页面的迅速攀升和特定领域搜索的需求，近年来，聚焦爬虫在工业 和学术界造成了广泛关注。 第一个聚焦爬虫是Chakrabarti于1999提出的[1]。聚焦爬虫一 般由两种算法来保证抓取特定领域的信息，一是Web剖析算法， 依据URL的指向判定Web页面的相关程度和质量；二是Web搜索 算法，它决定着被爬取URL的最佳顺序。 一、常见算法 1．Web页面剖析算法 目前，已出现了许多页面剖析算法，一般可以分为两大类： 基于内容的和基于链接结构的。前者通过剖析一个实际Web页的 HTML文档，来获取关于页面自身的相关性信息。
　　例如，在文档索 引技术的帮助下，可以从文档中抽取关键词或句子，依此确定该 文档是否与指定域相关。另外，也可以用VSM（向量空间模型） 与指定域的标准文档比较。对于前者，相关研究者发觉，Web链 接结构中包含有许多制作者蕴涵的信息，而这种信息对剖析文档 的相关性和质量起着重要作用。例如，当一个页面A指向另一个页 面B时，就意味着A页面的作者暗示着页面B也富含类似的内容。另 外，页面包含的接入链接越多就意味着该页面越重要。基于链接分 析的算法主要有PageRank和HITS。 2．Web搜索算法 该算法的主要目的是确定最优的URL访问顺序。与页面剖析算法 一样，搜索也有许多算法，以Breadth-first和Best-first最为流行。 2.1 Breadth-first搜索 该算法的思想比较简单，所有在当前层中的URL还会根据上一 层中它们被发觉的次序访问，其最大特征是不分辨页面的质量和主 题，所以最适合于通用搜索。但最近也有研究[2]表明，如果假定 当前层中的所有URL都是与主题相关的，那么它们的下一层URL也 会与主题相关。这样，Breadth-first就可用作收集一定质量的主题 相关页面，即聚焦搜索算法。
　　 但是，当抓取相当数目的页面后，该算法会引入许多噪声信息 （非相关信息），或形成主题甩尾现象。已有研究人员提出将此算 法与页面剖析算法相结合[4]，先用Breadth-first收集页面，再用页 面剖析算法过滤掉不相关的页面，这样即使降低了噪声信息，但降 低了算法的效率。 2.2 Best-first搜索 该算法目前比较流行。与Breadth-first不同，该算法不是简单 地根据被发觉的顺序访问，而是采用某种启发式思想（比如页面分 析的结果）来调整URL在队列中的排序，排在后面的被觉得是与主 题更接近的页面，要优先访问，反之，则推后甚至不被访问。因 此，Best-first搜索显著要比Breadth-first搜索更优越。 并且，Best-first是一个局部搜索算法，它只关心以前访问节 点周围的页面空间，因此会丧失许多相关页面，最后收集的页面质 量也不会很高。 二、存在问题 1．页面剖析算法 页面剖析是聚焦爬虫的重要组成部份，如果页面剖析算法对页 面的判定不够确切，将会影响到搜索算法，导致搜集到页面的质量 偏低。因此，实现一个高效的页面剖析算法是做好聚焦爬虫的第一 步。
　　 Web文档一般富含噪声，比如极少数的文本、图像、脚本等 对分类器没用的数据。而且，不同制作者在风格、语言、结构上 存在很大的差别。因此，采用简单的相似性函数（如tf-idf等）的 VSM很难取得令人满意的疗效。 一种解决的方式是，组合各类基于内容的相似性测度方式，可 以提升分类的准确率[4]。比如遗传算法等全局搜索模式也是一种 潜在的解决方案。 2．局部搜索算法 局部搜索算法的特征是，访问当初访问过节点周围的邻居节 点，这样假如一个相关页没有被现有URL所指向，那么聚焦爬虫就 会丧失对这个相关页面的访问。而且，如果在两个相关页面中间隔 有不相关的页面，聚焦爬虫也会舍弃对后一个相关页面的访问。因 此，采用局部搜索算法的聚焦爬虫只能够发觉围绕在起始种子集周 围的相关页面，它们仅仅是整个Web相关页面集的有限子集，而 丧失了该子集外的相关页面。 通过对Web结构的研究，人们发觉了Web社区[3]，也即在线 的Web页自然地按照特定的链接结构分成了不同的组，组内页面 都接近于个别主题或兴趣。聚焦爬虫的目的就是要获取所有的属于 那些相关社区的页面，然而，Web社区的以下三种特点，使得局 部搜索算法不再适用于集聚爬虫。
　　 （1）主题相像的社区之间，采用的不是直接的互相链接，而 是互相引用的关系。在商业领域，这是一个相当普遍现象。例如， Yahoo新闻、MSN新闻、Google新闻都提供相同或相像的新闻信 Algorithm Analysis of Focused Crawler Chen Lijun (Zhejiang Yuexiu University of Foreign Languages, Shaoxing Zhejing 312000, China) Abstract: Focused crawlers can selectively retrieve web documents relevant to a specific domain to build collections for domain- specific search engines. Traditional focused crawlers normally adopting the simple Vector Space Model and local Web search algorithms typically only find relevant Web pages with low precision and recall. This work describes and analyses problems associated with traditional focused crawlers and some potential solutions. The future directions are addressed. Key words: search engine; focused crawler; algorithm 笔记本知识与技术 数据库与信息管理 息，但因为竞争关系，它们并不包含彼此之间的链接。
　　因此，即使 它们都被作为相关Web社区的起始页面种子集，聚焦爬虫还是会 丧失一些相关的页面。 （2）相关页面之间可能被非相关的社区所隔断。有研究表 明，大多数相关域就会被起码1~12个非相关页面所分隔，平均非 相关间隔页面数为5，而聚焦爬虫在碰到非相关页面后不会继续访 问后续的页面，造成了大量相关页面的流失。 （3）虽然链接在相关页面间存在，但不是互相的单向链接， 而是双向的。也即两个相关的社区A和B，A和B之间存在着链接， 并且仅仅是一个方向的，比如只有从A到B的链接，而不存在从B到 A的链接。这样，当爬行顺序从A开始时网络爬虫算法书籍，B社区同样能被发觉，但 若爬行顺序是从B开始时，则A社区就不能从B中被发觉，造成A中 的相关页流失。 三、 解决方式 一种最简单的解决方式是提供更多的起始种子集，但这样也增 加了成本和时间，而且随着Web页面的迅速降低，这种解决方式 并不可取。 另一种解决方式是采用隧道技术[5]，它基于启发式方法解决 简单的全局优化问题。当聚焦爬虫遇见非相关的页面时，不是马上 舍弃继续搜索，而是在一定搜索深度（该值须要事先指定）范围内 继续搜索。
　　相关实验结果表明，隧道技术能发觉更多的相关页面， 并且，由于它没有改变局部搜索的本性，不能从根本上解决问题。 同时，噪音也被引入进来，降低了页面搜集质量。 研究人员通过对Web规模的研究发觉，主要搜索引擎之间索引 的重叠内容极少，因此，可以组合各类不同搜索引擎搜索结果中比 较靠前的结果，也就是元搜索技术，来解决局部搜索导致的问题。 四、未来展望 近些年来，研究人员发觉Web信息的分布存在一定的相似性， 因而考虑先进行训练，使爬虫具备一定的“经验知识”，通过这种 知识预测将来的回报。比如McCallum[6]引入巩固学习过程，先利 用巩固学习算法估算每位链接的回报价值Q，用Q值相同或相仿的 链接文本信息训练一个贝叶斯分类器，再对未知的链接文本，用该 分类器估算链接属于该类的机率，并借此机率为权重估算链接的综 合价值。也可以借助“智能搜索”技术，通过在线学习链接结构特 征，用于指导搜索过程。 五、结语 随着网页呈指数级的快速下降，以及人们对搜索结果精度要求的 不断提升，新的算法不断涌现，如基于机器学习的剖析算法、相似性 判定的遗传算法等。相信在研究人员的继续努力下，还会出现更多更 加确切、更加快速的新算法，不断增强人们对搜索结果的满意度。
　　 参考文献： [1] Chakrabarti, S., Berg, M.V.D., and Dom, B., Focused crawling: A New Approach to Topic-Sepcific Web Resouce Discovery. In Proceedings of the 8th International WWW Conf. 1999.Toronto, Canada. [2] Najork, M. and Wiener, J.L., Breadth-First Search Crawling Yields High-Quality Pages. In Proceedings of the 10th International WWW Conf. 2001. Hong Kong, China. [3] Flake, G.W., Lawrence, S., and Giles, C.L., Efficient Identification of Web Communities. In Proceediings of the 6 th ACM SIGKDD International Conf. 2000. Massachusetts, USA. [4] Qin, J. and Chen, H., Using Genetic Algorithm in Building Domain-Specific Collections: An Experiment in the Nanotechnology Domain. In Proceedings of the 38th Annual Hawaii International Conf. 2005. Hawaii, USA. [5] Bergmark, D., Lagoze, C., and Sbityakov, A., Focused Crawls, Tunneling, and Digital Libraries. In Porceedings of the 6th European Conf. 2002. Rome, Italy. [6] Rennie J, McCallum A. Using Reinforcement Learning to Spider the Web Efficiently. In Proc. of the International Conference on Machine Learning(ICML’99),1999. 取系数绝对值较大法适宜小波变换后的HL频带图象、LH频 带图象、HH频带图象等高频成份较丰富，亮度、对比度较高的图 象；融合图象中基本保留源图象的特点，图像对比度与源图象基本 相同。
　　小波变换的作用是对讯号解相关，并将讯号的全部信息集中 到一部分具有大幅值的小波系数中。这些大的小波系数富含的能量 远比小系数富含的能量大，从而在讯号的构建中，大的系数比小的 系数更重要。 3.3 一致性检查 图象中相邻象素点之间可能存在着空间冗余，因此空间上相邻 的点太可能属于同一图象的特点，因此应当对它们采用同一种方式 进行估算。根据这一思想，H.Li等提出用大多数原则对决策因子d 进行一致性检查。如果融合后的图象C在某个区域的中心点上的系 数来自于源图象A，而该点周围的点的系数均来自于源图象B，则 将中心点的系数替换为图象B的系数。 3.4 综合方式 源图象A，B分别进行小波分解，对小波变换后的LL频带图象 采取加权平均法，为了提升图象的质量，还可以在加权平均后采 用高斯低通滤波。对LH频带、HL频带、HH频带采用取系数绝对值 较大法，即取源图象A，B中小波系数较大的作为C的小波系数。另 外，为了尽量避开引入噪音，还应进行一致性检查，即若C上某点 的小波系数取自源图象A，而其周围的点均取自源图象B，则将该 点的小波系数改为源图象B的小波系数。 4 图像融合的现况及发展前景 近些年来，虽然图象融合技术发展迅速，但这仍是个没有统一理 论框架的新领域。
　　首先，影响图象融合疗效的诱因好多，例如，融 合算法的选定、小波基的选定以及小波分解层数的选择等；其次， 须要构建客观的图象融合技术评价标准；最后，特征级图象融和决 策级图象融合还有待长足的发展。 现有研究结果显示，对不同的频带采用了不同的融合算法结果 表明，对于低频部份采用加权方式较好，对于高频部份采用带一致 性检查的系数绝对值较大法融合疗效较好。 5 结束语 多传感图象融合技术作为信息融合研究领域的一项重要内 容网络爬虫算法书籍，将会在军事、遥感、机器人视觉和医学图象处理等领域得到广 泛应用。 参考文献： [1] 李敏，张小英，毛捷. 基于邻域残差加权平均的小波图象融合 [J]. 理论与技巧，2008，27(1)：5-6 [2] 王攀峰,杜云飞,周海芳,杨学军. 基于复小波变换的遥感图象并行 融合算法 [J]. 计算机工程与科学，2008，30(3)：35-39 [3] 闫敬文. 数字图像处理（MATLAB版）[M]. 国防工业出版社，2007. [4] 曹杰，龚声蓉，刘纯平. 一种新的基于小波变换的多聚焦图象融 合算法[J]. 计算机工程与应用，2007,43(24)：47-50 [5] 任娜，郭敏，胡丽华，张景虎. 基于图象块分割及小波空间频度 的多聚焦图象融合法[J]. 科学技术与工程，2008，8(2)：411-414 [6] 成礼智，王红霞，罗永. 小波的理论与应用[M]. 科学出版社，2006. [7] 蔡娜，姚志强，沙晋明. 基于小波变换的遥感图象融合方式[J]. 莆田学院学报，2008，15(2)：79-82 [8] 胡钢，秦新强，田径. 像素级多传感图象融合技术[J]. 沈阳工 程学院学报，2007，3(2)：148-152 (上接42页) 查看全部

　　[编辑]
　　网络爬虫又名“网络蜘蛛”，是通过网页的链接地址来找寻网页，从网站某一个页面开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这种链接地址找寻下一个网页，这样仍然循环下去，直到根据某种策略把互联网上所有的网页都抓取完为止的技术。
　　[编辑]
　　网络爬虫根据系统结构和实现技术，大致可以分为以下几种类型：通用网路爬虫(General Purpose Web Crawler)、主题网路爬虫(Topical Web Crawler)、深层网络爬虫(Deep Web Crawler)。实际应用中一般是将系统几种爬虫技术互相结合。
　　(一)通用网路爬虫(general purpose web crawler)
　　通用网路爬虫按照预先设定的一个或若干初始种子URL开始，以此获得初始网页上的URL列表，在爬行过程中不断从URL队列中获一个的URL，进而访问并下载该页面。页面下载后页面解析器除去页面上的HTML标记后得到页面内容，将摘要、URL等信息保存到Web数据库中，同时抽取当前页面上新的URL，保存到URL队列，直到满足系统停止条件。其工作流程如图1所示。
　　
　　通用爬虫主要存在以下几方面的局限性：1)由于抓取目标是尽可能大的覆盖网路，所以爬行的结果中包含大量用户不需要的网页；2)不能挺好地搜索和获取信息浓度密集且具有一定结构的数据；3)通用搜索引擎大多是基于关键字的检索，对于支持语义信息的查询和索引擎智能化的要求无法实现。
　　由此可见，通用爬虫想在爬行网页时，既保证网页的质量和数目，又要保证网页的时效性是很难实现的。
　　(二)主题网路爬虫(Topical Web Crawler)
　　1.主题爬虫原理
　　主题爬虫并不追求大的覆盖率，也不是全盘接受所有的网页和URL，它按照既定的抓取目标，有选择的访问万维网上的网页与相关的链接，获取所须要的信息，不仅客服了通用爬虫存在的问题，而H-返回的数据资源更精确。主题爬虫的基本工作原理是根据预先确定的主题，分析超链接和刚才抓取的网页内容，获取下一个要爬行的URL，尽可能保证多爬行与主题相关的网页，因此主题爬虫要解决以下关键问题：1)如何判断一个早已抓取的网页是否与主题相关；2)如何过滤掉海量的网页中与主题不相关的或则相关度较低的网页；3)如何有目的、有控制的抓取与特定主题相关的web页面信息；4)如何决定待访问URL的访问顺序；5)如何提升主题爬虫的覆盖度；6)如何协调抓取目标的描述或定义与网页分析算法及候选URL排序算法之问的关系；7)如何找寻和发觉高质量网页和关键资源。高质量网页和关键资源除了可以大大提升主题爬虫收集Web页面的效率和质量，还可以为主题表示模型的优化等应用提供支持。
　　2.主题爬虫模块设计
　　主题爬虫的目标是尽可能多的发觉和收集与预定主题相关的网页网络爬虫，其最大特征在于具备剖析网页内容和判断主题相关度的能力。根据主题爬虫的工作原理，下面设计了一个主题爬虫系统，主要有页面采集模块、页面剖析模块、相关度估算模块、页面过滤模块和链接排序模块几部份组成网络爬虫，其总体功能模块结构如图2所示。
　　
　　页面采集模块：主要是依据待访问URL队列进行页面下载，再交给网页剖析模型处理以抽取网页主题向量空间模型。该模块是任何爬虫系统都必不可少的模块。页面剖析模块：该模块的功能是对采集到的页面进行剖析，主要用于联接超链接排序模块和页面相关度估算模块。
　　页面相关度估算模块：该模块是整个系统的核心模块，主要用于评估与主题的相关度，并提供相关的爬行策略用以指导爬虫的爬行过程。URL的超链接评价得分越高，爬行的优先级就越高。其主要思想是，在系统爬行之前，页面相关度估算模块按照用户输入的关键字和初始文本信息进行学习，训练一个页面相关度评价模型。当一个被觉得是主题相关的页面爬行出来以后，该页面就被送入页面相关度评价器估算其主题相关度值，若该值小于或等于给定的某俦值，则该页面就被存入页面库，否则遗弃¨。页面过滤模块：过滤掉与主题无关的链接，同时将该URL及其所有蕴涵的子链接一并清除。通过过滤，爬虫就无需遍历与主题不相关的页面，从而保证了爬行效率。排序模块：将过滤后页面根据优先级高低加入到待访问的URL队列里。
　　3.主题爬虫流程设计
　　主题爬虫须要依照一定的网页剖析算法，过滤掉与主题无关的链接，保留有用的链接并将其倒入等待抓取的URL队列。然后，它会依照一定的搜索策略从待抓取的队列中选择下一个要抓取的URL，并重复上述过程，直到满足系统停止条件为止。所有被抓取网页就会被系统储存，经过一定的剖析、过滤，然后构建索引，以便用户查询和检索；这一过程所得到的剖析结果可以对之后的抓取过程提供反馈和指导。其工作流程如图3所示。
　　
　　4.深度网路爬虫(Deep Web Crawler)
　　1994年Dr．jillEllsworth提出DeepWeb(深层页面)的概念，即DeepWeb是指普通搜索引擎无法发觉的信息内容的Web页面¨。DeepWeb中的信息量比普通的网页信息量多，而且质量更高。但是普通的搜索引擎因为技术限制而收集不到这种高质量、高权威的信息。这些信息一般隐藏在深度Web页面的小型动态数据库中，涉及数据集成、中文语义辨识等众多领域。如此庞大的信息资源假如没有合理的、高效的方式去获取，将是巨大的损失。因此，对于深度网爬行技术的研究具有极为重大的现实意义和理论价值。
　　常规的网路爬虫在运行中难以发觉隐藏在普通网页中的信息和规律，缺乏一定的主动性和智能性。比如须要输入用户名和密码的页面，或者包含页脚导航的页面均未能爬行。深度爬虫的设计针对常规网路爬虫的那些不足，将其结构做以改进，增加了表单剖析和页面状态保持两个部份，其结构如图4所示，通过剖析网页的结构并将其归类为普通网页或存在更多信息的深度网页，针对深度网页构造合适的表单参数而且递交，以得到更多的页面。深度爬虫的流程图如图4所示。深度爬虫与常规爬虫的不同是，深度爬虫在下载完成页面然后并没有立刻遍历其中的所有超链接，而是使用一定的算法将其进行分类，对于不同的类别采取不同的方式估算查询参数，并将参数再度递交到服务器。如果递交的查询参数正确，那么将会得到隐藏的页面和链接。深度爬虫的目标是尽可能多地访问和搜集互联网上的网页，由于深度页面是通过递交表单的形式访问，因此爬行深度页面存在以下三个方面的困难：1)深度爬虫须要有高效的算法去应对数目巨大的深层页面数据；2)很多服务器端DeepWeb要求校准表单输入，如用户名、密码、校验码等，如果校准失败，将不能爬到DeepWeb数据；3)需要JavaScript等脚本支持剖析客户端DeepWeb。
　　
　　[编辑]
　　(1)IP地址搜索策略
　　IP地址搜索策略是先给爬虫一个起始的IP地址，然后按照IP地址以递增的形式搜索本IP地址段后的每一个地址中的文档，它完全不考虑各文档中指向其它Web站点的超级链接地址。这种搜索策略的优点是搜索比较全面，因此能否发觉这些没被其它文档引用的新文档的信息源；但是缺点是不适宜大规模搜索。
　　(2)深度优先搜索策略
　　深度优先搜索是一种在开发爬虫初期使用较多的方式。它的目的是要达到被搜索结构的叶结点(即这些不包含任何超链的HTML文件)。例如，在一个HTML文件中，当一个超链被选择后，被链接的HTML文件将执行深度优先搜索，也就是说在搜索其余的超链结果之前必须先完整地搜索单独的一条链。深度优先搜索顺着HTML文件上的超链走到不能再深入为止，然后返回到某一个HTML文件，再继续选择该HTML文件中的其他超链。当不再有其他超链可选择时，说明搜索早已结束。
　　(3)宽度优先搜索策略
　　宽度优先搜索的过程是先搜索完一个Web页面中所有的超级链接，然后再继续搜索下一层，直到底层为止。例如，一个HTML文件中有三个超链，选择其中之一并处理相应的HTML文件，然后不再选择第二个HTML文件中的任何超链，而是返回并选择第二个超链，处理相应的HTML文件，再返回，选择第三个超链并处理相应的HTML文件。当一层上的所有超链都已被选择过，就可以开始在刚刚处理过的HIML文件中搜索其余的超链。
　　宽度优先搜索策略的优点：一个是保证了对浅层的优先处理，当遇见一个无穷尽的深层分支时，不会造成陷进www中的深层文档中出现出不来的情况发生；另一个是它能在两个HTML文件之间找到最短路径。
　　宽度优先搜索策略一般是实现爬虫的最佳策略，因为它容易实现，而且具备大多数期望的功能。但是假如要遍历一个指定的站点或则深层嵌套的HTML文件集，用长度优先搜索策略则须要耗费比较长的时间才会抵达深层的HTML文件。
　　[编辑]
　　于成龙,于洪波.网络爬虫技术研究[J].东莞理工学院学报.2011,5 蔡笑伦.网络爬虫技术的发展趁机[J].科技信息.2010,12
　　来自"https://wiki.mbalib.com/wiki/% ... ot%3B
　　本条目对我有帮助8
　　赏
　　MBA智库APP
　　
　　扫一扫，下载MBA智库APP 查看全部

　　
　　展开全部
　　爬虫就是才能手动访问互联网并将网站内容下载出来的636f70797a686964616f31333366303235的程序或脚本，类似一个机器人，能把他人网站的信息弄到自己的笔记本上，再做一些过滤，筛选，归纳，整理，排序等等。
　　网络爬虫能做哪些：数据采集。
　　网络爬虫是一个手动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL装入队列,直到满足系统的一定停止条件。
　　
　　扩展资料：
　　网络爬虫根据系统结构和实现技术，大致可以分为以下几种类型：通用网路爬虫（General Purpose Web Crawler）、聚焦网络爬虫（Focused Web Crawler）、增量式网络爬虫（Incremental Web Crawler）、深层网络爬虫（Deep Web Crawler）。 实际的网路爬虫系统一般是几种爬虫技术相结合实现的 。
　　通用网路爬虫
　　通用网路爬虫又称全网爬虫（Scalable Web Crawler），爬行对象从一些种子 URL 扩充到整个 Web，主要为门户站点搜索引擎和小型 Web 服务提供商采集数据。 由于商业缘由，它们的技术细节甚少公布下来。 这类网路爬虫的爬行范围和数目巨大，对于爬行速率和储存空间要求较高，对于爬行页面的次序要求相对较低，同时因为待刷新的页面太多，通常采用并行工作方法，但须要较长时间能够刷新一次页面。 虽然存在一定缺陷，通用网路爬虫适用于为搜索引擎搜索广泛的主题，有较强的应用价值 。
　　通用网路爬虫的结构大致可以分为页面爬行模块 、页面剖析模块、链接过滤模块、页面数据库、URL 队列、初始 URL 集合几个部份。为提升工作效率，通用网路爬虫会采取一定的爬行策略。 常用的爬行策略有：深度优先策略、广度优先策略 。
　　1) 深度优先策略：其基本方式是根据深度由低到高的次序，依次访问下一级网页链接，直到不能再深入为止。 爬虫在完成一个爬行分支后返回到上一链接节点进一步搜索其它链接。 当所有链接遍历完后，爬行任务结束。 这种策略比较适宜垂直搜索或站内搜索， 但爬行页面内容层次较深的站点时会导致资源的巨大浪费 。
　　2) 广度优先策略：此策略根据网页内容目录层次深浅来爬行页面，处于较浅目录层次的页面首先被爬行。 当同一层次中的页面爬行完毕后，爬虫再深入下一层继续爬行。 这种策略才能有效控制页面的爬行深度，避免碰到一个无穷深层分支时未能结束爬行的问题，实现便捷，无需储存大量中间节点爬虫软件是什么，不足之处在于需较长时间能够爬行到目录层次较深的页面。
　　聚焦网络爬虫
　　聚焦网络爬虫（Focused Crawler），又称主题网路爬虫（Topical Crawler），是指选择性地爬行这些与预先定义好的主题相关页面的网路爬虫。 和通用网路爬虫相比，聚焦爬虫只须要爬行与主题相关的页面，极大地节约了硬件和网路资源，保存的页面也因为数目少而更新快，还可以挺好地满足一些特定人群对特定领域信息的需求 。
　　聚焦网络爬虫和通用网路爬虫相比，增加了链接评价模块以及内容评价模块。聚焦爬虫爬行策略实现的关键是评价页面内容和链接的重要性，不同的方式估算出的重要性不同，由此引起链接的访问次序也不同 。
　　增量式网络爬虫
　　增量式网络爬虫（Incremental Web Crawler）是 指 对 已 下 载 网 页 采 取 增 量式更新和只爬行新形成的或则早已发生变化网页的爬虫，它还能在一定程度上保证所爬行的页面是尽可能新的页面。 和周期性爬行和刷新页面的网路爬虫相比，增量式爬虫只会在须要的时侯爬行新形成或发生更新的页面 ，并不重新下载没有发生变化的页面，可有效降低数据下载量，及时更新已爬行的网页，减小时间和空间上的花费，但是降低了爬行算法的复杂度和实现难度。增量式网路爬虫的体系结构[包含爬行模块、排序模块、更新模块、本地页面集、待爬行 URL 集以及本地页面URL 集 。
　　增量式爬虫有两个目标：保持本地页面集中储存的页面为最新页面和提升本地页面集中页面的质量。 为实现第一个目标，增量式爬虫须要通过重新访问网页来更新本地页面集中页面内容，常用的方式有：1) 统一更新法：爬虫以相同的频度访问所有网页，不考虑网页的改变频度；2) 个体更新法：爬虫依据个体网页的改变频度来重新访问各页面；3) 基于分类的更新法：爬虫依照网页改变频度将其分为更新较快网页子集和更新较慢网页子集两类，然后以不同的频度访问这两类网页 。
　　为实现第二个目标，增量式爬虫须要对网页的重要性排序，常用的策略有：广度优先策略、PageRank 优先策略等。IBM 开发的 WebFountain是一个功能强悍的增量式网路爬虫，它采用一个优化模型控制爬行过程，并没有对页面变化过程做任何统计假定爬虫软件是什么，而是采用一种自适应的方式按照原先爬行周期里爬行结果和网页实际变化速率对页面更新频度进行调整。北京大学的天网增量爬行系统致力爬行国外 Web，将网页分为变化网页和新网页两类，分别采用不同爬行策略。 为减轻对大量网页变化历史维护造成的性能困局，它依据网页变化时间局部性规律，在短时期内直接爬行多次变化的网页 ，为尽早获取新网页，它借助索引型网页跟踪新出现网页 。
　　Deep Web 爬虫
　　Web 页面按存在形式可以分为表层网页（Surface Web）和深层网页（Deep Web，也称 Invisible Web Pages 或 Hidden Web）。 表层网页是指传统搜索引擎可以索引的页面，以超链接可以抵达的静态网页为主构成的 Web 页面。Deep Web 是这些大部分内容不能通过静态链接获取的、隐藏在搜索表单后的，只有用户递交一些关键词能够获得的 Web 页面。例如这些用户注册后内容才可见的网页就属于 Deep Web。 2000 年 Bright Planet 指出：Deep Web 中可访问信息容量是 Surface Web 的几百倍，是互联网上最大、发展最快的新型信息资源 。
　　参考资料：
　　百度百科-网络爬虫 查看全部

　　
　　要玩大数据，没有数据如何玩？这里推荐一些33款开源爬虫软件给你们。
　　爬虫，即网路爬虫，是一种手动获取网页内容的程序。是搜索引擎的重要组成部份，因此搜索引擎优化很大程度上就是针对爬虫而作出的优化。
　　网络爬虫是一个手动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL装入队列,直到满足系统的一定停止条件。聚焦爬虫的工作流程较为复杂，需要按照一定的网页剖析算法过滤与主题无关的链接，保留有用的链接并将其倒入等待抓取的URL队列。然后，它将按照一定的搜索策略从队列中选择下一步要抓取的网页URL，并重复上述过程，直到达到系统的某一条件时停止。另外，所有被爬虫抓取的网页将会被系统储存，进行一定的剖析、过滤，并构建索引，以便以后的查询和检索；对于聚焦爬虫来说，这一过程所得到的剖析结果还可能对之后的抓取过程给出反馈和指导。
　　世界上已然成形的爬虫软件多达上百种，本文对较为著名及常见的开源爬虫软件进行梳理爬虫程序，按开发语言进行汇总。虽然搜索引擎也有爬虫，但本次我汇总的只是爬虫软件，而非小型、复杂的搜索引擎，因为好多兄弟只是想爬取数据，而非营运一个搜索引擎。
　　
　　Java爬虫
　　1、Arachnid
　　Arachnid是一个基于Java的web spider框架.它包含一个简单的HTML剖析器才能剖析包含HTML内容的输入流.通过实现Arachnid的泛型才能够开发一个简单的Web spiders并才能在Web站上的每位页面被解析然后降低几行代码调用。 Arachnid的下载包中包含两个spider应用程序事例用于演示怎么使用该框架。
　　特点：微型爬虫框架，含有一个大型HTML解析器
　　许可证：GPL
　　2、crawlzilla
　　crawlzilla 是一个帮你轻松构建搜索引擎的自由软件，有了它，你就不用借助商业公司的搜索引擎，也不用再苦恼公司內部网站资料索引的问题。
　　由 nutch 专案为核心，并整合更多相关套件，并卡发设计安装与管理UI，让使用者更方便上手。
　　crawlzilla不仅爬取基本的 html 外，还能剖析网页上的文件，如（ doc、pdf、ppt、ooo、rss ）等多种文件格式，让你的搜索引擎不只是网页搜索引擎，而是网站的完整资料索引库。
　　拥有英文动词能力，让你的搜索更精准。
　　crawlzilla的特色与目标，最主要就是提供使用者一个便捷好用易安裝的搜索平台。
　　授权合同： Apache License 2
　　开发语言： Java SHELL
　　操作系统： Linux
　　项目主页：
　　下载地址：
　　特点：安装简易，拥有英文动词功能
　　3、Ex-Crawler
　　Ex-Crawler 是一个网页爬虫，采用 Java 开发，该项目分成两部份，一个是守护进程，另外一个是灵活可配置的 Web 爬虫。使用数据库储存网页信息。
　　授权合同： GPLv3
　　开发语言： Java
　　操作系统：跨平台
　　特点：由守护进程执行，使用数据库储存网页信息
　　4、Heritrix
　　Heritrix 是一个由 java 开发的、开源的网路爬虫，用户可以使用它来从网上抓取想要的资源。其最出色之处在于它良好的可扩展性，方便用户实现自己的抓取逻辑。
　　Heritrix采用的是模块化的设计，各个模块由一个控制器类（CrawlController类）来协调，控制器是整体的核心。
　　代码托管：
　　授权合同： Apache
　　开发语言： Java
　　操作系统：跨平台
　　特点：严格遵循robots文件的排除指示和META robots标签
　　5、heyDr
　　
　　heyDr是一款基于java的轻量级开源多线程垂直检索爬虫框架，遵循GNU GPL V3合同。
　　用户可以通过heyDr建立自己的垂直资源爬虫，用于搭建垂直搜索引擎前期的数据打算。
　　授权合同： GPLv3
　　开发语言： Java
　　操作系统：跨平台
　　特点：轻量级开源多线程垂直检索爬虫框架
　　6、ItSucks
　　ItSucks是一个java web spider（web机器人，爬虫）开源项目。支持通过下载模板和正则表达式来定义下载规则。提供一个swing GUI操作界面。
　　特点：提供swing GUI操作界面
　　7、jcrawl
　　jcrawl是一款精巧性能优良的的web爬虫,它可以从网页抓取各类类型的文件,基于用户定义的符号，比如email、qq。
　　授权合同： Apache
　　开发语言： Java
　　操作系统：跨平台
　　特点：轻量、性能优良，可以从网页抓取各类类型的文件
　　8、JSpider
　　JSpider是一个用Java实现的WebSpider，JSpider的执行格式如下：
　　jspider [ConfigName]
　　URL一定要加上合同名称，如：，否则会报错。如果市掉ConfigName，则采用默认配置。
　　JSpider的行为是由配置文件具体配置的，比如采用哪些插件，结果储存方法等等都在conf\[ConfigName]\目录下设置。JSpider默认的配置种类极少，用途也不大。但是JSpider十分容易扩充，可以借助它开发强悍的网页抓取与数据剖析工具。要做到这种，需要对JSpider的原理有深入的了解，然后按照自己的需求开发插件，撰写配置文件。
　　授权合同： LGPL
　　开发语言： Java
　　操作系统：跨平台
　　特点：功能强悍，容易扩充
　　9、Leopdo
　　用JAVA编撰的web 搜索和爬虫，包括全文和分类垂直搜索，以及动词系统
　　授权合同： Apache
　　开发语言： Java
　　操作系统：跨平台
　　特点：包括全文和分类垂直搜索，以及动词系统
　　10、MetaSeeker
　　是一套完整的网页内容抓取、格式化、数据集成、存储管理和搜索解决方案。
　　网络爬虫有多种实现方式，如果依照布署在哪里分，可以分成：
　　（1）服务器侧：一般是一个多线程程序，同时下载多个目标HTML，可以用PHP， Java, Python(当前太流行）等做，可以速率做得很快，一般综合搜索引擎的爬虫这样做。但是，如果对方厌恶爬虫，很可能封掉你的IP，服务器IP又不容易改，另外耗损的带宽也是很贵的。建议看一下Beautiful soap。
　　（2）客户端：一般实现定题爬虫，或者是聚焦爬虫，做综合搜索引擎不容易成功，而垂直搜诉或则比价服务或则推荐引擎，相对容易好多，这类爬虫不是哪些页面都取的，而是只取你关系的页面，而且只取页面上关心的内容，例如提取黄页信息，商品价钱信息，还有提取竞争对手广告信息的，搜一下Spyfu，很有趣。这类爬虫可以布署好多，而且可以挺有侵略性，对方很难封锁。
　　MetaSeeker中的网路爬虫就属于前者。
　　MetaSeeker工具包借助Mozilla平台的能力，只要是Firefox见到的东西，它都能提取。
　　MetaSeeker工具包是免费使用的，下载地址：
　　特点：网页抓取、信息提取、数据抽取工具包，操作简单
　　11、Playfish
　　playfish是一个采用java技术，综合应用多个开源java组件实现的网页抓取工具，通过XML配置文件实现高度可定制性与可扩展性的网页抓取工具
　　应用开源jar包包括httpclient(内容读取),dom4j（配置文件解析）,jericho（html解析），已经在 war包的lib下。
　　这个项目目前还挺不成熟，但是功能基本都完成了。要求使用者熟悉XML，熟悉正则表达式。目前通过这个工具可以抓取各种峰会，贴吧，以及各种CMS系统。像Discuz!,phpbb,论坛跟博客的文章，通过本工具都可以轻松抓取。抓取定义完全采用XML，适合Java开发人员使用。
　　使用方式：1.下载一侧的.war包导出到eclipse中， 2.使用WebContent/sql下的wcc.sql文件构建一个范例数据库， 3.修改src包下wcc.core的dbConfig.txt，将用户名与密码设置成你自己的mysql用户名密码。 4.然后运行SystemCore,运行时侯会在控制台，无参数会执行默认的example.xml的配置文件，带参数时侯名称为配置文件名。
　　系统自带了3个事例，分别为baidu.xml抓取百度知道，example.xml抓取我的javaeye的博客，bbs.xml抓取一个采用 discuz峰会的内容。
　　授权合同： MIT
　　开发语言： Java
　　操作系统：跨平台
　　特点：通过XML配置文件实现高度可定制性与可扩展性
　　12、Spiderman
　　Spiderman 是一个基于微内核+插件式构架的网路蜘蛛，它的目标是通过简单的方式能够将复杂的目标网页信息抓取并解析为自己所须要的业务数据。
　　怎么使用？
　　首先，确定好你的目标网站以及目标网页（即某一类你想要获取数据的网页，例如网易新闻的新闻页面）
　　然后，打开目标页面，分析页面的HTML结构，得到你想要数据的XPath，具体XPath如何获取请看下文。
　　最后，在一个xml配置文件里填写好参数，运行Spiderman吧！
　　授权合同： Apache
　　开发语言： Java
　　操作系统：跨平台
　　特点：灵活、扩展性强，微内核+插件式构架，通过简单的配置就可以完成数据抓取，无需编撰一句代码
　　13、webmagic
　　webmagic的是一个无须配置、便于二次开发的爬虫框架，它提供简单灵活的API，只需少量代码即可实现一个爬虫。
　　
　　webmagic采用完全模块化的设计，功能覆盖整个爬虫的生命周期(链接提取、页面下载、内容抽取、持久化)，支持多线程抓取，分布式抓取，并支持手动重试、自定义UA/cookie等功能。
　　
　　webmagic包含强悍的页面抽取功能，开发者可以方便的使用css selector、xpath和正则表达式进行链接和内容的提取，支持多个选择器链式调用。
　　webmagic的使用文档：
　　查看源代码：
　　授权合同： Apache
　　开发语言： Java
　　操作系统：跨平台
　　特点：功能覆盖整个爬虫生命周期，使用Xpath和正则表达式进行链接和内容的提取。
　　备注：这是一款国产开源软件，由黄亿华贡献
　　14、Web-Harvest
　　Web-Harvest是一个Java开源Web数据抽取工具。它就能搜集指定的Web页面并从这种页面中提取有用的数据。Web-Harvest主要是运用了象XSLT,XQuery,正则表达式等这种技术来实现对text/xml的操作。
　　其实现原理是，根据预先定义的配置文件用httpclient获取页面的全部内容（关于httpclient的内容，本博有些文章已介绍），然后运用XPath、XQuery、正则表达式等这种技术来实现对text/xml的内容筛选操作，选取精确的数据。前两年比较火的垂直搜索（比如：酷讯等）也是采用类似的原理实现的。Web-Harvest应用，关键就是理解和定义配置文件，其他的就是考虑如何处理数据的Java代码。当然在爬虫开始前，也可以把Java变量填充到配置文件中，实现动态的配置。
　　授权合同： BSD
　　开发语言： Java
　　特点：运用XSLT、XQuery、正则表达式等技术来实现对Text或XML的操作，具有可视化的界面
　　15、WebSPHINX
　　WebSPHINX是一个Java类包和Web爬虫的交互式开发环境。Web爬虫(也叫作机器人或蜘蛛)是可以手动浏览与处理Web页面的程序。WebSPHINX由两部份组成：爬虫工作平台和WebSPHINX类包。
　　授权合同：Apache
　　开发语言：Java
　　特点：由两部份组成：爬虫工作平台和WebSPHINX类包
　　16、YaCy
　　YaCy基于p2p的分布式Web搜索引擎.同时也是一个Http缓存代理服务器.这个项目是建立基于p2p Web索引网路的一个新技巧.它可以搜索你自己的或全局的索引,也可以Crawl自己的网页或启动分布式Crawling等.
　　授权合同： GPL
　　开发语言： Java Perl
　　操作系统：跨平台
　　特点：基于P2P的分布式Web搜索引擎
　　Python爬虫
　　17、QuickRecon
　　QuickRecon是一个简单的信息搜集工具,它可以帮助你查找子域名名称、perform zone transfe、收集电子邮件地址和使用microformats找寻人际关系等。QuickRecon使用python编撰，支持linux和 windows操作系统。
　　授权合同： GPLv3
　　开发语言： Python
　　操作系统： Windows Linux
　　特点：具有查找子域名名称、收集电子邮件地址并找寻人际关系等功能
　　18、PyRailgun
　　这是一个十分简单易用的抓取工具。支持抓取javascript渲染的页面的简单实用高效的python网页爬虫抓取模块
　　授权合同： MIT
　　开发语言： Python
　　操作系统：跨平台 Windows Linux OS X
　　特点：简洁、轻量、高效的网页抓取框架
　　备注：此软件也是由国人开放
　　github下载：
　　#readme
　　19、Scrapy
　　Scrapy 是一套基于基于Twisted的异步处理框架，纯python实现的爬虫框架，用户只须要订制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各类图片，非常之便捷～
　　授权合同： BSD
　　开发语言： Python
　　操作系统：跨平台
　　github源代码：
　　特点：基于Twisted的异步处理框架，文档齐全
　　C++++爬虫
　　20、hispider
　　HiSpider is a fast and high performance spider with high speed
　　严格说只能是一个spider系统的框架,没有细化需求,目前只是能提取URL, URL排重,异步DNS解析,队列化任务,支持N机分布式下载,支持网站定向下载(需要配置hispiderd.ini whitelist).
　　特征和用法:
　　基于unix/linux系统的开发
　　异步DNS解析
　　URL排重
　　支持HTTP 压缩编码传输 gzip/deflate
　　字符集判定手动转换成UTF-8编码
　　文档压缩储存
　　支持多下载节点分布式下载
　　支持网站定向下载(需要配置 hispiderd.ini whitelist )
　　可通过 :3721/查看下载情况统计,下载任务控制(可停止和恢复任务)
　　依赖基本通讯库libevbase 和 libsbase (安装的时侯须要先安装这个两个库).
　　工作流程:
　　从中心节点取URL(包括URL对应的任务号, IP和port,也可能须要自己解析)
　　连接服务器发送恳求
　　等待数据头判定是否须要的数据(目前主要取text类型的数据)
　　等待完成数据(有length头的直接等待说明宽度的数据否则等待比较大的数字之后设置超时)
　　数据完成或则超时, zlib压缩数据返回给中心服务器,数据可能包括自己解析DNS信息,压缩后数据宽度+压缩后数据,如果出错就直接返回任务号以及相关信息
　　中心服务器收到带有任务号的数据,查看是否包括数据,如果没有数据直接置任务号对应的状态为错误,如果有数据提取数据种link 然后储存数据到文档文件.
　　完成后返回一个新的任务.
　　授权合同： BSD
　　开发语言： C/C++
　　操作系统： Linux
　　特点：支持多机分布式下载,支持网站定向下载
　　21、larbin
　　larbin是一种开源的网路爬虫/网路蜘蛛，由美国的年轻人 Sébastien Ailleret独立开发。larbin目的是能否跟踪页面的url进行扩充的抓取，最后为搜索引擎提供广泛的数据来源。Larbin只是一个爬虫，也就是说larbin只抓取网页，至于怎样parse的事情则由用户自己完成。另外，如何储存到数据库以及完善索引的事情 larbin也不提供。一个简单的larbin的爬虫可以每晚获取５００万的网页。
　　利用larbin，我们可以轻易的获取/确定单个网站的所有链接，甚至可以镜像一个网站；也可以用它构建url 列表群，例如针对所有的网页进行 url retrive后，进行xml的连结的获取。或者是 mp3，或者订制larbin，可以作为搜索引擎的信息的来源。
　　授权合同： GPL
　　开发语言： C/C++
　　操作系统： Linux
　　特点：高性能的爬虫软件，只负责抓取不负责解析
　　22、Methabot
　　Methabot 是一个经过速率优化的高可配置的 WEB、FTP、本地文件系统的爬虫软件。
　　授权合同：未知
　　开发语言： C/C++
　　操作系统： Windows Linux
　　特点：过速率优化、可抓取WEB、FTP及本地文件系统
　　源代码：
　　爬虫
　　23、NWebCrawler
　　NWebCrawler是一款开源，C#开发网路爬虫程序。
　　特性：
　　可配置：线程数，等待时间，连接超时，允许MIME类型和优先级，下载文件夹。
　　统计信息：URL数目，总下载文件，总下载字节数，CPU利用率和可用显存。
　　Preferential crawler：用户可以设置优先级的MIME类型。
　　Robust: 10+ URL normalization rules, crawler trap avoiding rules.
　　授权合同： GPLv2
　　开发语言： C#
　　操作系统： Windows
　　项目主页：
　　特点：统计信息、执行过程可视化
　　24、Sinawler
　　国内第一个针对微博数据的爬虫程序！原名“新浪微博爬虫”。
　　登录后，可以指定用户为起点，以该用户的关注人、粉丝为线索，延人脉关系收集用户基本信息、微博数据、评论数据。
　　该应用获取的数据可作为科研、与新浪微博相关的研制等的数据支持，但切勿用于商业用途。该应用基于.NET2.0框架，需SQL SERVER作为后台数据库，并提供了针对SQL Server的数据库脚本文件。
　　另外爬虫程序，由于新浪微博API的限制，爬取的数据可能不够完整（如获取粉丝数目的限制、获取微博数目的限制等）
　　本程序版权归作者所有。你可以免费:拷贝、分发、呈现和演出当前作品,制作派生作品。你不可将当前作品用于商业目的。
　　5.x版本早已发布！该版本共有6个后台工作线程：爬取用户基本信息的机器人、爬取用户关系的机器人、爬取用户标签的机器人、爬取微博内容的机器人、爬取微博评论的机器人，以及调节恳求频度的机器人。更高的性能！最大限度挖掘爬虫潜力！以现今测试的结果看，已经才能满足自用。
　　本程序的特征：
　　6个后台工作线程，最大限度挖掘爬虫性能潜力！
　　界面上提供参数设置，灵活便捷
　　抛弃app.config配置文件，自己实现配置信息的加密储存，保护数据库账号信息
　　自动调整恳求频度，防止超限，也防止过慢，降低效率
　　任意对爬虫控制，可随时暂停、继续、停止爬虫
　　良好的用户体验
　　授权合同： GPLv3
　　开发语言： C#.NET
　　操作系统： Windows
　　25、spidernet
　　spidernet是一个以递归树为模型的多线程web爬虫程序,支持text/html资源的获取.可以设定爬行深度,最大下载字节数限制,支持gzip解码,支持以gbk(gb2312)和utf8编码的资源;存储于sqlite数据文件.
　　源码中TODO:标记描述了未完成功能,希望递交你的代码.
　　授权合同： MIT
　　开发语言： C#
　　操作系统： Windows
　　github源代码：
　　特点：以递归树为模型的多线程web爬虫程序，支持以GBK (gb2312)和utf8编码的资源，使用sqlite储存数据
　　26、Web Crawler
　　mart and Simple Web Crawler是一个Web爬虫框架。集成Lucene支持。该爬虫可以从单个链接或一个链接字段开始，提供两种遍历模式：最大迭代和最大深度。可以设置过滤器限制爬回去的链接，默认提供三个过滤器ServerFilter、BeginningPathFilter和 RegularExpressionFilter，这三个过滤器可用AND、OR和NOT联合。在解析过程或页面加载前后都可以加监听器。介绍内容来自Open-Open
　　开发语言： Java
　　操作系统：跨平台
　　授权合同： LGPL
　　特点：多线程，支持抓取PDF/DOC/EXCEL等文档来源
　　27、网络矿工
　　网站数据采集软件网路矿工[url=https://www.ucaiyun.com/]采集器（原soukey采摘）
　　Soukey采摘网站数据采集软件是一款基于.Net平台的开源软件，也是网站数据采集软件类型中惟一一款开源软件。尽管Soukey采摘开源，但并不会影响软件功能的提供，甚至要比一些商用软件的功能还要丰富。
　　授权合同： BSD
　　开发语言： C#.NET
　　操作系统： Windows
　　特点：功能丰富，毫不逊色于商业软件
　　PHP爬虫
　　28、OpenWebSpider
　　OpenWebSpider是一个开源多线程Web Spider（robot：机器人，crawler：爬虫)和包含许多有趣功能的搜索引擎。
　　授权合同：未知
　　开发语言： PHP
　　操作系统：跨平台
　　特点：开源多线程网络爬虫，有许多有趣的功能
　　29、PhpDig
　　PhpDig是一个采用PHP开发的Web爬虫和搜索引擎。通过对动态和静态页面进行索引构建一个词汇表。当搜索查询时，它将按一定的排序规则显示包含关键字的搜索结果页面。PhpDig包含一个模板系统并才能索引PDF,Word,Excel,和PowerPoint文档。PHPdig适用于专业化更强、层次更深的个性化搜索引擎，利用它构建针对某一领域的垂直搜索引擎是最好的选择。
　　演示：
　　授权合同： GPL
　　开发语言： PHP
　　操作系统：跨平台
　　特点：具有采集网页内容、提交表单功能
　　30、ThinkUp
　　ThinkUp 是一个可以采集推特，facebook等社交网路数据的社会媒体视角引擎。通过采集个人的社交网络帐号中的数据，对其存档以及处理的交互剖析工具，并将数据图形化便于更直观的查看。
　　
　　
　　授权合同： GPL
　　开发语言： PHP
　　操作系统：跨平台
　　github源码：
　　特点：采集推特、脸谱等社交网路数据的社会媒体视角引擎，可进行交互剖析并将结果以可视化方式诠释
　　31、微购
　　微购社会化购物系统是一款基于ThinkPHP框架开发的开源的购物分享系统，同时它也是一套针对站长、开源的的淘宝客网站程序，它整合了天猫、天猫、淘宝客等300多家商品数据采集接口，为广大的淘宝客站长提供傻瓜式淘客建站服务，会HTML都会做程序模板，免费开放下载，是广大淘客站长的首选。 查看全部

　　Web是一个开放的平台，这也奠定了Web从90年代初诞生直到明日将近30年来蓬勃的发展。然而，正所谓成也萧何败也萧何，开放的特型、搜索引擎以及简单易学的HTML、CSS技术促使Web成为了互联网领域里最为流行和成熟的信息传播媒介；但现在作为商业化软件，Web这个平台上的内容信息的版权却毫无保证，因为相比软件客户端而言，你的网页中的内容可以被太低成本、很低的技术门槛实现出的一些抓取程序获取到，这也就是这一系列文章将要阐述的话题——网络爬虫。
　　
　　有很多人觉得Web应该一直秉持开放的精神，呈现在页面中的信息应该毫无保留地分享给整个互联网。然而我觉得，在IT行业发展至明天，Web早已不再是当初那种和PDF一争高下的所谓“超文本”信息载体了，它早已是以一种轻量级客户端软件的意识形态的存在了。而商业软件发展到明天，Web也不得不面对知识产权保护的问题，试想假如原创的高质量内容得不到保护，抄袭和盗版横行网路世界，这显然对Web生态的良性发展是不利的，也很难鼓励更多的优质原创内容的生产。
　　未授权的爬虫抓取程序是害处Web原创内容生态的一大诱因，因此要保护网站的内容，首先就要考虑怎样反爬虫。
　　从爬虫的攻守角度来讲
　　最简单的爬虫，是几乎所有服务端、客户端编程语言都支持的http恳求，只要向目标页面的url发起一个http get恳求，即可获得到浏览器加载这个页面时的完整html文档，这被我们称之为“同步页”。
　　作为逼抢的一方，服务端可以按照http请求头中的User-Agent来检测客户端是否是一个合法的浏览器程序，亦或是一个脚本编撰的抓取程序，从而决定是否将真实的页面信息内容下发给你。
　　这其实是最小儿科的防御手段，爬虫作为逼抢的一方，完全可以伪造User-Agent数组，甚至，只要你乐意，http的get方式里， request header的 Referrer 、 Cookie 等等所有数组爬虫都可以轻而易举的伪造。
　　此时服务端可以借助浏览器http头指纹，根据你申明的自己的浏览器厂商和版本（来自 User-Agent ），来分辨你的http header中的各个数组是否符合该浏览器的特点，如不符合则作为爬虫程序对待。这个技术有一个典型的应用，就是PhantomJS1.x版本中，由于其底层调用了Qt框架的网路库，因此http头里有显著的Qt框架网路恳求的特点，可以被服务端直接辨识并拦截。
　　除此之外，还有一种愈发变态的服务端爬虫检查机制，就是对所有访问页面的http请求，在 http response 中种下一个 cookie token ，然后在这个页面内异步执行的一些ajax插口里去校准来访恳求是否富含cookie token，将token回传回去则表明这是一个合法的浏览器来访，否则说明刚才被下发了那种token的用户访问了页面html却没有访问html内执行js后调用的ajax恳求，很有可能是一个爬虫程序。
　　如果你不携带token直接访问一个插口，这也就意味着你没恳求过html页面直接向本应由页面内ajax访问的插口发起了网路恳求，这也似乎证明了你是一个可疑的爬虫。知名电商网站amazon就是采用的这些防御策略。
　　以上则是基于服务端校准爬虫程序，可以玩出的一些套路手段。
　　基于客户端js运行时的测量
　　现代浏览器赋于了强悍的能力，因此我们可以把页面的所有核心内容都弄成js异步恳求 ajax 获取数据后渲染在页面中的，这也许提升了爬虫抓取内容的门槛。依靠这些方法，我们把对抓取与反抓取的对抗战场从服务端转移到了客户端浏览器中的js运行时，接下来说一说结合客户端js运行时的爬虫抓取技术。
　　刚刚提到的各类服务端校准，对于普通的python、java语言编撰的http抓取程序而言，具有一定的技术门槛，毕竟一个web应用对于未授权抓取者而言是黑盒的，很多东西须要一点一点去尝试，而耗费大量人力物力开发好的一套抓取程序，web站作为逼抢一方只要轻易调整一些策略，攻击者就须要再度耗费同等的时间去更改爬虫抓取逻辑。
　　此时就须要使用headless browser了，这是哪些技术呢？其实说白了就是，让程序可以操作浏览器去访问网页，这样编撰爬虫的人可以通过调用浏览器曝露下来给程序调用的api去实现复杂的抓取业务逻辑。
　　其实近些年来这早已不算是哪些新鲜的技术了，从前有基于webkit内核的PhantomJS，基于Firefox浏览器内核的SlimerJS，甚至基于IE内核的trifleJS，有兴趣可以瞧瞧这儿和这儿 是两个headless browser的搜集列表。
　　这些headless browser程序实现的原理虽然是把开源的一些浏览器内核C++++代码加以整修和封装，实现一个简易的无GUI界面渲染的browser程序。但这种项目普遍存在的问题是，由于她们的代码基于fork官方webkit等内核的某一个版本的主干代码，因此难以跟进一些最新的css属性和js句型，并且存在一些兼容性的问题，不如真正的release版GUI浏览器。
　　这其中最为成熟、使用率最高的应当当属PhantonJS了，对这些爬虫的辨识我之前曾写过一篇博客，这里不再赘言。PhantomJS存在众多问题，因为是单进程模型，没有必要的沙箱保护，浏览器内核的安全性较差。
　　如今Google Chrome团队在chrome 59 release版本中开放了headless mode api，并开源了一个基于Node.js调用的headless chromium dirver库，我也为这个库贡献了一个centos环境的布署依赖安装列表。
　　headless chrome堪称是headless browser中独树一帜的大杀器，由于其自身就是一个chrome浏览器，因此支持各类新的css渲染特点和js运行时句型。
　　基于这样的手段，爬虫作为逼抢的一方可以绕开几乎所有服务端校准逻辑，但是这种爬虫在客户端的js运行时中仍然存在着一些纰漏，诸如：
　　基于plugin对象的检测
　　
　　基于language的检测
　　
　　基于webgl的检测
　　
　　基于浏览器hairline特点的检测
　　
　　基于错误img src属性生成的img对象的检测
　　
　　基于以上的一些浏览器特点的判定，基本可以通杀市面上大多数headless browser程序。在这一点上，实际上是将网页抓取的门槛提升，要求编撰爬虫程序的开发者不得不更改浏览器内核的C++代码，重新编译一个浏览器，并且，以上几点特点是对浏览器内核的改动虽然并不小。
　　更进一步，我们还可以基于浏览器的UserAgent数组描述的浏览器品牌、版本机型信息，对js运行时、DOM和BOM的各个原生对象的属性及技巧进行检验，观察其特点是否符合该版本的浏览器所应具备的特点。
　　这种方法被称为浏览器指纹检测技术，依托于小型web站对各机型浏览器api信息的搜集。而作为编撰爬虫程序的逼抢一方，则可以在headless browser运行时里预注入一些js逻辑，伪造浏览器的特点。
　　另外，在研究浏览器端借助js api进行robots browser detect时网络爬虫 技术，我们发觉了一个有趣的小技巧，你可以把一个预注入的js函数，伪装成一个native function，来瞧瞧下边代码：
　　
　　爬虫进攻方可能会预注入一些js方式，把原生的一些api外边包装一层proxy function作为hook，然后再用这个假的js api去覆盖原生api。如果防御者在对此做检测判定时是基于把函数toString以后对[native code]的检测，那么都会被绕开。所以须要更严格的检测，因为bind(null)伪造的方式，在toString以后是不带函数名的。
　　反爬虫的手炮
　　目前的反抓取、机器人检测手段，最可靠的还是验证码技术。但验证码并不意味着一定要逼迫用户输入一连串字母数字，也有好多基于用户键盘、触屏（移动端）等行为的行为验证技术，这其中最为成熟的当属Google reCAPTCHA。
　　基于以上众多对用户与爬虫的辨识分辨技术，网站的防御方最终要做的是封禁ip地址或是对这个ip的来访用户施以高硬度的验证码策略。这样一来，进攻方不得不订购ip代理池来抓取网站信息内容，否则单个ip地址很容易被封造成难以抓取。抓取与反抓取的门槛被提升到了ip代理池经济费用的层面。
　　机器人协议
　　除此之外，在爬虫抓取技术领域还有一个“白道”的手段，叫做robots协议。你可以在一个网站的根目录下访问/robots.txt，比如使我们一起来瞧瞧github的机器人合同，Allow和Disallow申明了对各个UA爬虫的抓取授权。
　　不过，这只是一个君子合同，虽具有法律效益，但只能够限制这些商业搜索引擎的蜘蛛程序，你没法对这些“野爬爱好者”加以限制。
　　写在最后
　　对网页内容的抓取与反制，注定是一个魔高一尺道高一丈的猫鼠游戏，你永远不可能以某一种技术彻底封死爬虫程序的街网络爬虫 技术，你能做的只是增强攻击者的抓取成本，并对于未授权的抓取行为做到较为精确的据悉。 查看全部

　　
　　随着的发展壮大，人们获取信息的途径渐渐被网路所代替。互联网发展早期，人们主要通过浏览门户网站的方法获取所需信息，但是随着Web的飞速发展， 用这些方法找寻自己所需信息显得越来越困难。目前，人们大多通过搜索引擎获取有用信息网络爬虫 技术，因此，搜索引擎技术的发展将直接影响人们获取所需信息的速率和质量。
　　1994 年世界上第一个网络检索工具Web Crawler 问世， 目前较流行的搜索引擎有、、Yahoo、Info seek、Inktomi、Teoma、Live Search 等。出于商业机密的考虑，现在各个搜索引擎使用的Crawler 系统的技术黑幕通常都不公开，现有的文献资料也仅限于概要性介绍。随着网路信息资源呈指数级下降及网路信息资源动态变化，传统的搜索引擎提供的信息检索服务已难以满足人们愈加下降的对个性化服务的需求，正面临着巨大的挑战。以何种策略访问网路，提高搜索效率，已成为近些年来专业搜索引擎研究的主要问题之一。
　　1、搜索引擎分类
　　搜索引擎按其形式主要分为全文搜索引擎、目录索引类搜索引擎和元搜索引擎三种。
　　1.1 全文搜索引擎
　　全文搜索引擎是名副其实的搜索引擎，通过从互联网上提取的各个网站信息（以网页文字为主）而构建的中，检索与用户查询条件匹配的相关记录，然后按一定的排列次序将结果返回给用户。
　　全文搜索引擎又可细分为两种：a）拥有自己的检索程序（Indexer），俗称“蜘蛛”（Spider）程序或“机器人”（Robot）程序，自建网页数据库，搜索结果直接从自身的数据库中调用。b）租用其他引擎的数据库，按自定的格式排列搜索结果。
　　1.2 目录索引型搜索引擎
　　与全文搜索引擎不同的是，目录索引型搜索引擎的索引数据库是由编辑人员人工构建上去的，这些编辑人员在访问过某个Web 站点后，根据一套自定的衡量标准及主观印象作出对该站点的描述，并按照站点的内容和性质将其归为一个预先分好的类别，分门别类地储存在相应的目录中。用户在查询时，可以通过关键词搜索，也可以按分类目录逐层检索。
　　因为目录索引型的索引数据库是借助人工来评价一个网站的内容，所以用户从目录搜索到的结果常常比全文检索到的结果更具有参考价值。实际上，目前好多的搜索网站都同时提供目录和全文搜索的搜索服务，尽可能为用户提供全面的查询结果。
　　1.3 元搜索引擎
　　元搜索引擎是将用户递交的检索恳求送到多个独立的搜索引擎搜索，将检索结果集中统一处理，以统一的格式提供给用户，因此有搜索引擎之上的搜索引擎之称。它将主要精力放到提升搜索速率、智能化处理搜索结果、个性搜索功能的设置和用户检索界面的友好性上，其查全率和查准率相对较高。它的特征是本身没有储存网页信息的数据库，当用户查询一个关键词时，它将用户恳求转换成其他搜索引擎能接受的命令格式，并行地访问数个搜索引擎来查询这个关键词，将这种搜索引擎返回的结果经过处理后再返回给用户。在搜索结果排列方面，有的直接按来源引擎排列搜索结果，有的则按自定的规则将结果重新排列组合。
　　2、网络爬虫技术
　　2.1 网络爬虫的工作原理
　　网络爬虫源自Spider（或Crawler、robots、wanderer）等的译音。网络爬虫的定义有广义和狭义之分，狭义的定义为：利用标准的http 协议，根据超级链接和Web 文档检索的方式遍历万维网信息空间的软件程序。广义的定义为：所有能借助http协议检索Web 文档的软件都称之为网路爬虫。
　　网络爬虫是一个功能太强悍的手动提取网页的程序，它为搜索引擎从万维网下载网页，是搜索引擎的重要组成部份。它通过恳求站点上的HTML 文档访问某一站点。它遍历Web 空间，不断从一个站点到另一个站点，自动构建索引，并加入到网页数据库中。网络爬虫步入某个超级文本时，利用HTML 语言的标记结构来搜索信息及获取指向其他超级文本的URL 地址，可以完全不依赖用户干预实现网路上的手动“爬行”和搜索。网络爬虫在搜索时常常采用一定的搜索策略。
　　2.2 网络爬虫的搜索策略
　　1）深度优先搜索策略
　　深度优先搜索是在开发爬虫初期使用较多的方式，它的目的是要达到被搜索结构的叶结点（即这些不包含任何超级链接的HTML文件）。在一个HTML文件中，当一个超级链接被选择后，被链接的HTML文件将执行深度优先搜索，即在搜索其余的超级链接结果之前必须先完整地搜索单独的一条链。深度优先搜索顺着HTML文件上的超级链接走到不能再深入为止，然后返回到某一个HTML文件，再继续选择该HTML文件中的其他超级链接。当不再有其他超级链接可选择时，说明搜索早已结束。其优点是能遍历一个Web站点或深层嵌套的文档集合。缺点是因为Web结构相当深，有可能导致一旦进去再也出不来的情况发生。
　　2）宽度优先搜索策略
　　在长度优先搜索中，先搜索完一个Web页面中所有的超级链接，然后再继续搜索下一层，直到底层为止。例如，一个HTML 文件中有3个超级链接，选择其中之一，处理相应的HTML文件，然后不再选择第二个HTML文件中的任何超级链接，而是返回，选择第二个超级链接，处理相应的HTML文件，再返回，选择第三个超级链接，并处理相应的HTML文件。一旦一层上的所有超级链接都被选择过，就可以开始在刚刚处理过的HIML文件中搜索其余的超级链接。这就保证了对浅层的首先处理。当遇见一个无穷尽的深层分支时网络爬虫 技术，不会造成陷进WWW的深层文档中出不来的情况发生。宽度优先搜索策略还有一个优点，它能在两个HTML文件之间找到最短路径。宽度优先搜索策略一般是实现爬虫的最佳策略，因为它容易实现，而且具备大多数期望的功能。但是假如要遍历一个指定的站点或则深层嵌套的HTML文件集，用长度优先搜索策略则须要耗费较长时间能够抵达深层的HTML文件。
　　综合考虑以上几种策略和国外信息导航系统搜索信息的特性，国内通常采用以长度优先搜索策略为主，线性搜索策略为辅的搜索策略。对于个别不被引用的或极少被引用的HTML文件，宽度优先搜索策略可能会遗漏那些孤立的信息源，可以用线性搜索策略作为它的补充。
　　3）聚焦搜索策略
　　聚焦爬虫的爬行策略只跳出某个特定主题的页面，根据“最好优先原则”进行访问，快速、有效地获得更多的与主题相关的页面，主要通过内容与Web的链接结构指导进一步的页面抓取。聚焦爬虫会给它所下载的页面一个评价分，根据得分排序插入到一个队列中。最好的下一个搜索对弹出队列中的第一个页面进行剖析后执行，这种策略保证爬虫能优先跟踪这些最有可能链接到目标页面的页面。决定网路爬虫搜索策略的关键是怎样评价链接价值，即链接价值的估算方式，不同的价值评价方式估算出的链接的价值不同，表现出的链接的“重要程度”也不同，从而决定了不同的搜索策略。由于链接包含于页面之中，而一般具有较高价值的页面包含的链接也具有较高价值，因而对链接价值的评价有时也转换为对页面价值的评价。这种策略一般运用在专业搜索引擎中，因为这些搜索引擎只关心某一特定主题的页面。
　　【福利】填问卷送精选测试礼包+接口测试课程！为测试行业做点事！ 查看全部

　　精品文档20 款最常使用的网路爬虫工具推荐 （2018）网络爬虫在现今的许多领域得到广泛应用。它的作用是从任何网站获取特定的或 更新的数据并储存出来。网络爬虫工具越来越为人所熟知，因为网路爬虫简化并 自动化了整个爬取过程，使每个人都可以轻松访问网站数据资源。使用网路爬虫 工具可以使人们免予重复打字或复制粘贴，我们可以太轻松的去采集网页上的数 据。此外，这些网路爬虫工具可以使用户就能以有条不紊和快速的抓取网页，而 无需编程并将数据转换为符合其需求的各类格式。在这篇文章中网络爬虫软件下载，我将介绍目前比较流行的 20 款网路爬虫工具供你参考。希望你 能找到最适宜你需求的工具。1. 八爪鱼八爪鱼是一款免费且功能强悍的网站爬虫，用于从网站上提取你须要的几乎所有 类型的数据。你可以使用八爪鱼来采集市面上几乎所有的网站。八爪鱼提供两种精品文档精品文档采集模式 - 简易模式和自定义采集模式，非程序员可以快速习惯使用八爪鱼。 下载免费软件后，其可视化界面容许你从网站上获取所有文本，因此你可以下载 几乎所有网站内容并将其保存为结构化格式，如 EXCEL，TXT，HTML 或你的数 据库。 你可以使用其外置的正则表达式工具从复杂的网站布局中提取许多棘手网站的 数据，并使用 XPath 配置工具精确定位 Web 元素。
　　另外八爪鱼提供手动辨识验 证码以及代理 IP 切换功能，可以有效的防止网站防采集。 总之，八爪鱼可以满足用户最基本或中级的采集需求，而无需任何编程技能。2. HTTrack作为免费的网站爬虫软件，HTTrack 提供的功能十分适宜从互联网下载整个网站 到你的 PC。它提供了适用于 Windows，Linux，Sun Solaris 和其他 Unix 系统 的版本。它可以将一个站点或多个站点镜像在一起（使用共享链接）。你可以在 “设置选项”下下载网页时决定要同时打开的连接数。你可以从整个目录中获取 照片，文件，HTML 代码，更新当前镜像的网站并恢复中断的下载。精品文档精品文档据悉，HTTTrack 还提供代理支持，以通过可选身分验证最大限度地提升速率。 HTTrack 用作命令行程序，或通过 shell 用于私有（捕获）或专业（在线 Web 镜像）使用。 有了这样的说法，HTTrack 应该是首选，并且具有中级编程技能 的人更多地使用它。3、 ScraperScraper 是 Chrome 扩展程序，具有有限的数据提取功能，但它有助于进行在 线研究并将数据导入到 Google sheets。
　　此工具适用于初学者以及可以使用 OAuth 轻松将数据复制到剪贴板或储存到电子表格的专家。Scraper 是一个免 费的网路爬虫工具，可以在你的浏览器中正常工作，并手动生成较小的 XPath 来定义要抓取的 URL。4、OutWit Hub精品文档精品文档Outwit Hub 是一个 Firefox 添加件，它有两个目的：搜集信息和管理信息。它 可以分别用在网站上不同的部份提供不同的窗口条。还提供用户一个快速步入信 息的方式，虚拟移除网站上别的部份。 OutWit Hub 提供单一界面，可依照须要抓取微小或大量数据。OutWit Hub 允许你从浏览器本身抓取任何网页，甚至可以创建手动代理来提取数据并按照设 置对其进行低格。 OutWit Hub 大多功能都是免费的，能够深入剖析网站，自动搜集整理组织互联 网中的各项数据，并将网站信息分割开来，然后提取有效信息，形成可用的集合。 但是要手动提取精确数据就须要付费版本了，同时免费版一次提取的数据量也是 有限制的，如果须要大批量的操作，可以选择订购专业版。 5. ParseHub精品文档精品文档Parsehub 是一个太棒的网路爬虫，支持从使用 AJAX 技术，JavaScript，cookie 等的网站收集数据。
　　它的机器学习技术可以读取，分析之后将 Web 文档转换为 相关数据。 Parsehub 的桌面应用程序支持 Windows，Mac OS X 和 Linux 等系统，或者 你可以使用浏览器中外置的 Web 应用程序。 作为免费软件，你可以在 Parsehub 中设置不超过五个 publice 项目。付费版本 允许你创建起码 20private 项目来抓取网站。6. ScrapinghubScrapinghub 是一种基于云的数据提取工具，可帮助数千名开发人员获取有价 值的数据。它的开源视觉抓取工具，允许用户在没有任何编程知识的情况下抓取 网站。 Scrapinghub 使用 Crawlera，一家代理 IP 第三方平台，支持绕开防采集对策。 它使用户就能从多个 IP 和位置进行网页抓取，而无需通过简单的 HTTP API 进 行代理管理。 Scrapinghub 将整个网页转换为有组织的内容。如果其爬虫工具难以满足你的 要求，其专家团队可以提供帮助。。精品文档精品文档7. Dexi.io作为基于浏览器的网路爬虫，Dexi.io 允许你从任何网站基于浏览器抓取数据， 并提供三种类型的爬虫来创建采集任务。
　　免费软件为你的网路抓取提供匿名 Web 代理服务器，你提取的数据将在存档数据之前在 Dexi.io 的服务器上托管 两周，或者你可以直接将提取的数据导入到 JSON 或 CSV 文件。它提供付费服 务，以满足你获取实时数据的需求。8. Webhose.ioWebhose.io 使用户才能将来自世界各地的在线资源抓取的实时数据转换为各 种标准的格式。通过此 Web 爬网程序，你可以使用囊括各类来源的多个过滤器 来抓取数据并进一步提取多种语言的关键字。 你可以将删掉的数据保存为 XML，JSON 和 RSS 格式。并且容许用户从其存档 访问历史数据。此外，webhose.io 支持最多 80 种语言及其爬行数据结果。用 户可以轻松索引和搜索 Webhose.io 抓取的结构化数据。精品文档精品文档总的来说，Webhose.io 可以满足用户的基本爬行要求。9.Import.io用户只需从特定网页导出数据并将数据导入到 CSV 即可产生自己的数据集。 你可以在几分钟内轻松抓取数千个网页，而无需编撰任何代码，并按照你的要求 构建 1000 多个 API。公共 API 提供了强悍而灵活的功能来以编程方法控制 Import.io 并获得对数据的手动访问，Import.io 通过将 Web 数据集成到你自己 的应用程序或网站中，只需点击几下就可以轻松实现爬网。
　　 为了更好地满足用户的爬行需求，它还提供适用于 Windows，Mac OS X 和 Linux 的免费应用程序，以建立数据提取器和抓取工具，下载数据并与在线账户 同步。此外，用户还可以每周网络爬虫软件下载，每天或每小时安排抓取任务。10.80legs精品文档精品文档80legs 是一个功能强悍的网路抓取工具，可以按照自定义要求进行配置。它支 持获取大量数据以及立刻下载提取数据的选项。80legs 提供高性能的 Web 爬 行，可以快速工作并在几秒钟内获取所需的数据11. Content GraberContent Graber 是一款面向企业的网路爬行软件。它容许你创建独立的 Web 爬网代理。它可以从几乎任何网站中提取内容，并以你选择的格式将其保存为结 构化数据，包括 Excel 报告，XML，CSV 和大多数数据库。它更适宜具有中级编程技能的人，因为它为有须要的人提供了许多强悍的脚本编 辑和调试界面。允许用户使用 C＃或 VB.NET 调试或编撰脚本来编程控制爬网过 程。例如，Content Grabber 可以与 Visual Studio 2013 集成，以便按照用户 的特定需求为中级且机智的自定义爬虫提供最强悍的脚本编辑，调试和单元测 试。
　　精品文档精品文档12. UiPathUiPath 是一款用于免费网路抓取的机器人过程自动化软件。它可以手动从大多 数第三方应用程序中抓取 Web 和桌面数据。如果运行 Windows 系统，则可以 安装机械手过程自动化软件。Uipath 能够跨多个网页提取表格和基于模式的数 据。 Uipath 提供了用于进一步爬行的外置工具。处理复杂的 UI 时，此方式十分有效。 Screen Scraping Tool 可以处理单个文本元素，文本组和文本块，例如表格格 式的数据提取。 此外，创建智能 Web 代理不需要编程，但你内部的.NET 黑客可以完全控制数 据。精品文档精品文档其实，在里面我提及的爬虫可以满足大多数用户的基本爬行需求，这些工具中各 自的功能依然存在好多差别，大家可以按照自己的需求选择合适的。八爪鱼——90 万用户选择的网页数据采集器。 1、操作简单，任何人都可以用：无需技术背景，会上网才能采集。完全可视化 流程，点击滑鼠完成操作，2 分钟即可快速入门。精品文档精品文档2、功能强悍，任何网站都可以采：对于点击、登陆、翻页、识别验证码、瀑布 流、Ajax 脚本异步加载数据的网页，均可经过简单设置进行采集。 3、云采集，关机也可以。配置好采集任务后可死机，任务可在云端执行。庞大 云采集集群 24*7 不间断运行，不用害怕 IP 被封，网络中断。 4、功能免费+增值服务，可按需选择。免费版具备所有功能，能够满足用户的 基本采集需求。同时设置了一些增值服务（如私有云），满足低端付费企业用户 的须要。精品文档 查看全部

　　
　　网络爬虫根据系统结构和实现技术，大致可以分为以下几种类型：通用网路爬
　　虫（General Purpose Web Crawler）、聚焦网络爬虫（Focused Web
　　Crawler）、增量式网络爬虫（Incremental Web Crawler）、深层网络爬虫（Deep Web Crawler）。
　　实际的网路爬虫系统一般是几种爬虫技术相结合实现的[1]
　　。
　　通用网路爬虫
　　通用网路爬虫又称全网爬虫（Scalable Web
　　Crawler），爬行对象从一些种子 URL 扩充到整个 Web，主要为门户站点搜索引擎和小型 Web 服务提供商采集数据。
　　由于商业缘由，它们的技术细节甚少公布下来。
　　这类网路爬虫的爬行范围和数目巨大，对于爬行速率和储存空间要求较高，对于爬行页面的次序要求相对较低，同时因为待刷新的页面太多，通常采用并行工作方
　　式，但须要较长时间能够刷新一次页面。 虽然存在一定缺陷，通用网路爬虫适用于为搜索引擎搜索广泛的主题，有较强的应用价值[1]
　　。
　　通用网路爬虫的结构大致可以分为页面爬行模块 、页面剖析模块、链接过滤模块、页面数据库、URL 队列、初始 URL 集合几个部份。为提升工作效率，通用网路爬虫会采取一定的爬行策略。 常用的爬行策略有：深度优先策略、广度优先策略[1]
　　。
　　1)
　　深度优先策略：其基本方式是根据深度由低到高的次序，依次访问下一级网页链接，直到不能再深入为止。
　　爬虫在完成一个爬行分支后返回到上一链接节点进一步搜索其它链接。 当所有链接遍历完后e799bee5baa6e79fa5e98193e78988e69d8331333361313931，爬行任务结束。 这种策略比较适宜垂直搜索或站内搜索，
　　但爬行页面内容层次较深的站点时会导致资源的巨大浪费[1]
　　。
　　2)
　　广度优先策略：此策略根据网页内容目录层次深浅来爬行页面百度网络爬虫，处于较浅目录层次的页面首先被爬行。
　　当同一层次中的页面爬行完毕后，爬虫再深入下一层继续爬行。
　　这种策略才能有效控制页面的爬行深度，避免碰到一个无穷深层分支时未能结束爬行的问题百度网络爬虫，实现便捷，无需储存大量中间节点，不足之处在于需较长时间能够爬行
　　到目录层次较深的页面[1]
　　。
　　聚焦网络爬虫
　　聚焦网络爬虫（Focused
　　Crawler），又称主题网路爬虫（Topical Crawler），是指选择性地爬行这些与预先定义好的主题相关页面的网路爬虫[8]。
　　和通用网路爬虫相比，聚焦爬虫只须要爬行与主题相关的页面，极大地节约了硬件和网路资源，保存的页面也因为数目少而更新快，还可以挺好地满足一些特定人群
　　对特定领域信息的需求[1]
　　。
　　聚焦网络爬虫和通用网路爬虫相比，增加了链接评价模块以及内容评价模块。聚焦爬虫爬行策略实现的关键是评价页面内容和链接的重要性，不同的方式估算出的重要性不同，由此引起链接的访问次序也不同[1]
　　。
　　1)
　　基于内容评价的爬行策略：DeBra将文本相似度的估算方式引入到网路爬虫中，提出了 Fish Search
　　算法，它将用户输入的查询词作为主题，包含查询词的页面被视为与主题相关，其局限性在于难以评价页面与主题相关 度 的 高 低 。
　　Herseovic对 Fish Search 算 法 进 行 了 改 进 ，提 出 了 Sharksearch
　　算法，利用空间向量模型估算页面与主题的相关度大小[1]
　　。
　　2) 基于链接结构评价的爬行策略 ：Web
　　页面作为一种半结构化文档，包含好多结构信息，可拿来评价链接重要性。 PageRank
　　算法最初用于搜索引擎信息检索中对查询结果进行排序，也可用于评价链接重要性，具体做法就是每次选择 PageRank 值较大页面中的链接来访问。
　　另一个借助 Web结构评价链接价值的方式是 HITS 方法，它通过估算每位已访问页面的 Authority 权重和 Hub
　　权重，并借此决定链接的访问次序[1]
　　。
　　3) 基于提高学习的爬行策略：Rennie 和 McCallum 将提高学习引入聚焦爬虫，利用贝叶斯分类器，根据整个网页文本和链接文本对超链接进行分类，为每位链接估算出重要性，从而决定链接的访问次序[1]
　　。
　　4) 基于语境图的爬行策略：Diligenti
　　等人提出了一种通过构建语境图（Context Graphs）学习网页之间的相关度，训练一个机器学习系统，通过该系统可估算当前页面到相关 Web
　　页面的距离，距离越逾的页面中的链接优先访问。印度理工大学（IIT）和 IBM 研究中心的研究人员开发了一个典型的聚焦网路爬虫。
　　该爬虫对主题的定义既不是采用关键词也不是加权矢量，而是一组具有相同主题的网页。
　　它包含两个重要模块：一个是分类器，用来估算所爬行的页面与主题的相关度，确定是否与主题相关；另一个是净化器，用来辨识通过较少链接联接到大量相关页面
　　的中心页面[1]
　　。
　　增量式网络爬虫
　　增量式网络爬虫（Incremental Web Crawler）是 指
　　对 已 下 载 网 页 采 取 增 量式更新和只爬行新形成的或则早已发生变化网页的爬虫，它还能在一定程度上保证所爬行的页面是尽可能新的页面。
　　和周期性爬行和刷新页面的网路爬虫相比，增量式爬虫只会在须要的时侯爬行新形成或发生更新的页面
　　，并不重新下载没有发生变化的页面，可有效降低数据下载量，及时更新已爬行的网页，减小时间和空间上的花费，但是降低了爬行算法的复杂度和实现难度。增量
　　式网路爬虫的体系结构[包含爬行模块、排序模块、更新模块、本地页面集、待爬行 URL 集以及本地页面URL 集[1]
　　。
　　增量式爬虫有两个目标：保持本地页面集中储存的页面为最新页面和提升本地
　　页面集中页面的质量。 为实现第一个目标，增量式爬虫须要通过重新访问网页来更新本地页面集中页面内容，常用的方式有：1)
　　统一更新法：爬虫以相同的频度访问所有网页，不考虑网页的改变频度；2) 个体更新法：爬虫依据个体网页的改变频度来重新访问各页面；3)
　　基于分类的更新法：爬虫依照网页改变频度将其分为更新较快网页子集和更新较慢网页子集两类，然后以不同的频度访问这两类网页[1]
　　。
　　为实现第二个目标，增量式爬虫须要对网页的重要性排序，常用的策略有：广
　　度优先策略、PageRank 优先策略等。IBM 开发的
　　WebFountain是一个功能强悍的增量式网路爬虫，它采用一个优化模型控制爬行过程，并没有对页面变化过程做任何统计假定，而是采用一种自适应的方
　　法依照当初爬行周期里爬行结果和网页实际变化速率对页面更新频度进行调整。北京大学的天网增量爬行系统致力爬行国外
　　Web，将网页分为变化网页和新网页两类，分别采用不同爬行策略。
　　为减轻对大量网页变化历史维护造成的性能困局，它依据网页变化时间局部性规律，在短时期内直接爬行多次变化的网页
　　，为尽早获取新网页，它借助索引型网页跟踪新出现网页[1]
　　。
　　Deep Web 爬虫
　　Web 页面按存在形式可以分为表层网页（Surface
　　Web）和深层网页（Deep Web，也称 Invisible Web Pages 或 Hidden Web）。
　　表层网页是指传统搜索引擎可以索引的页面，以超链接可以抵达的静态网页为主构成的 Web 页面。Deep Web
　　是这些大部分内容不能通过静态链接获取的、隐藏在搜索表单后的，只有用户递交一些关键词能够获得的 Web
　　页面。例如这些用户注册后内容才可见的网页就属于 Deep Web。 2000 年 Bright Planet 指出：Deep Web
　　中可访问信息容量是 Surface Web 的几百倍，是互联网上最大、发展最快的新型信息资源[1]
　　。
　　Deep Web 爬虫体系结构包含六个基本功能模块
　　（爬行控制器、解析器、表单分析器、表单处理器、响应分析器、LVS 控制器）和两个爬虫内部数据结构（URL 列表、LVS 表）。 其中
　　LVS（Label Value Set）表示标签/数值集合，用来表示填充表单的数据源[1]
　　。
　　Deep Web 爬虫爬行过程中最重要部份就是表单填写，包含两种类型：
　　1)
　　基于领域知识的表单填写：此方式通常会维持一个本体库，通过语义剖析来选定合适的关键词填写表单。 Yiyao Lu[25]等人提出一种获取 Form
　　表单信息的多注解方式，将数据表单按语义分配到各个组中
　　，对每组从多方面注解，结合各类注解结果来预测一个最终的注解标签；郑冬冬等人借助一个预定义的领域本体知识库来辨识 Deep Web 页面内容，
　　同时借助一些来自 Web 站点导航模式来辨识手动填写表单时所需进行的路径导航[1]
　　。
　　2) 基于网页结构剖析的表单填写：
　　此方式通常无领域知识或仅有有限的领域知识，将网页表单表示成 DOM 树，从中提取表单各数组值。 Desouky 等人提出一种 LEHW
　　方法，该方式将 HTML 网页表示为DOM 树方式，将表单分辨为单属性表单和多属性表单，分别进行处理；孙彬等人提出一种基于 XQuery
　　的搜索系统，它就能模拟表单和特殊页面标记切换，把网页关键字切换信息描述为三元组单元，按照一定规则排除无效表单，将 Web 文档构造成 DOM
　　树，利用 XQuery 将文字属性映射到表单数组[1]
　　。
　　Raghavan 等人提出的 HIWE 系统中，爬行管理器负责管理整个爬行过程，分析下载的页面，将包含表单的页面递交表单处理器处理，表单处理器先从页面中提取表单，从预先打算好的数据集中选择数据手动填充并递交表单，由爬行控制器下载相应的结果页面[1]
　　。 查看全部