爬虫工具汇总

　　爬虫工具汇总 Heritrix Heritrix 是一个开源，可扩充的 web爬虫项目。 Heritrix 设计成严格依照 robots.txt 文件的排除指示和 META robots 标签。 WebSPHINX WebSPHIN是X 一个 Java 类包和 Web爬虫的交互式开发环境。 Web爬虫 ( 也叫作 机器人或蜘蛛 ) 是可以手动浏览与处理 Web页面的程序。 WebSPHIN由X 两部份组成 : 爬虫工作平台和 WebSPHIN类X 包。 ~rcm/websphinx/ WebLech WebLech是一个功能强悍的 Web站点下载与镜像工具。它支持按功能需求来下 载 web站点并才能尽可能模仿标准 Web浏览器的行为。 WebLech有一个功能控制台 并采用多线程操作。 Arale Arale 主要为个人使用而设计，而没有象其它爬虫一样是关注于页面索引。 Arale 能够下载整个 web站点或来自 web站点的个别资源。 Arale 还能够把动态页 面映射成静态页面。 J-Spider J-Spider: 是一个完全可配置和订制的 Web Spider 引擎 . 你可以借助它来检测 网站的错误 ( 内在的服务器错误等 ), 网站内外部链接检测，分析网站的结构 ( 可创建 一个网站地图 ), 下载整个 Web站点爬虫软件下载，你还可以写一个 JSpider 插件来扩充你所须要 的功能。

　　 spindle spindle 是一个建立在 Lucene 工具包之上的 Web索引 / 搜索工具 . 它包括一个 用于创建索引的 HTTP spider 和一个用于搜索这种索引的搜索类。 spindle 项目提 供了一组 JSP标签库促使这些基于 JSP 的站点不需要开发任何 Java 类能够够降低 搜索功能。 Arachnid Arachnid: 是一个基于 Java 的 web spider 框架 . 它包含一个简单的 HTML分析 器才能剖析包含 HTML内容的输入流 . 通过实现 Arachnid 的泛型才能够开发一个简 单的 Web spiders 并才能在 Web站上的每位页面被解析然后降低几行代码调用。 Arachnid 的下载包中包含两个 spider 应用程序事例用于演示怎么使用该框架。 LARM LARM才能为 Jakarta Lucene 搜索引擎框架的用户提供一个纯 Java 的搜索解决 方案。它包含才能为文件，数据库表格构建索引的方式和为 Web站点建索引的爬 虫。 JoBo JoBo 是一个用于下载整个 Web站点的简单工具。它本质是一个 Web Spider 。

　　 与其它下载工具相比较它的主要优势是能否手动填充 form( 如: 自动登入 ) 和使用 cookies 来处理 session 。JoBo 还有灵活的下载规则 ( 如: 通过网页的 URL，大小，MIME类型等 ) 来限制下载。 snoics-reptile snoics -reptile 是用纯 Java 开发的爬虫软件下载，用来进行网站镜像抓取的工具，可以让 用配制文件中提供的 URL入口，把这个网站所有的能用浏览器通过 GET的方法获取 到的资源全部抓取到本地，包括网页和各类类型的文件，如 : 图片、 flash 、 mp3、 zip 、 rar 、exe 等文件。可以将整个网站完整地下传至硬碟内，并能保持原有的网 站结构精确不变。只须要把抓取出来的网站放到 web服务器 ( 如:Apache) 中，就可 以实现完整的网站镜像。 Web-Harvest Web-Harvest 是一个 Java 开源 Web数据抽取工具。它还能搜集指定的 Web页面 并从这种页面中提取有用的数据。 Web-Harvest 主要是运用了象 XSLT,XQuery,正则 表达式等这种技术来实现对 text/xml 的操作。

　　 spiderpy spiderpy 是一个基于 Python 编码的一个开源 web爬虫工具，允许用户搜集文 件和搜索网站，并有一个可配置的界面。 The Spider Web Network Xoops Mod Team pider Web Network Xoops Mod 是 一个 Xoops 下的模块，完全由 PHP语言实现。 Fetchgals Fetchgals 是一个基于 perl 多线程的 Web爬虫，通过 Tags 来搜索淫秽图片。 larbin larbin 是个基于 C++的 web爬虫工具，拥有便于操作的界面，不过只能跑在 LINUX下，在一台普通 PC下 larbin 每天可以爬 5 百万个页面 ( 当然啦，需要拥有 良好的网路 ) J-Spider J-Spider: 是一个完全可配置和订制的 Web Spider 引擎 . 你可以借助它来检测 网站的错误 ( 内在的服务器错误等 ), 网站内外部链接检测，分析网站的结构 ( 可创建 一个网站地图 ), 下载整个 Web站点，你还可以写一个 JSpider 插件来扩充你所须要 的功能。 spindle pindle 是一个建立在 Lucene 工具包之上的 Web索引 / 搜索工具 . 它包括一个用 于创建索引的 HTTP spider 和一个用于搜索这种索引的搜索类。

　　 spindle 项目提供 了一组 JSP标签库促使这些基于 JSP的站点不需要开发任何 Java 类能够够降低搜 索功能。 Arachnid Arachnid: 是一个基于 Java 的 web spider 框架 . 它包含一个简单的 HTML分析 器才能剖析包含 HTML内容的输入流 . 通过实现 Arachnid 的泛型才能够开发一个简 单的 Web spiders 并才能在 Web站上的每位页面被解析然后降低几行代码调用。 Arachnid 的下载包中包含两个 spider 应用程序事例用于演示怎么使用该框架。 LARM LARM才能为 Jakarta Lucene 搜索引擎