网络爬虫 | 开源软件 | OSCHINA
优采云 发布时间: 2020-06-04 08:05爬虫简介： WebCollector 是一个无须配置、便于二次开发的 Java 爬虫框架（内核），它提供精简的的 API，只需少量代码即可实现一个功能强悍的爬虫。WebCollector-Had...
SimpleCD是哪些？ 是山寨化VeryCD的全套工具，包括抓取脚本，网站代码等 谁须要使用SimpleCD？ 想保存VeryCD链接资源者：别镜像VeryCD了，用这个吧。 想研究爬虫脚本和...
Nutch 是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。 Nutch的创始人是Doug Cutting，他同时也是Lucene、H...
收藏 962
更新于 2019/10/18
webmagic的是一个无须配置、便于二次开发的爬虫框架，它提供简单灵活的API，只需少量代码即可实现一个爬虫。 以下是爬取oschina博客的一段代码： Spider.create(newS...
收藏 1071
更新于 2017/07/31
Scrapy 是一套基于基于Twisted的异步处理框架，纯python实现的爬虫框架，用户只须要订制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各类图片，非常之便捷～ 示例代码：...
收藏 482
更新于 2020/03/05
Soukey采摘网站数据采集软件是一款基于.Net平台的开源软件，也是网站数据采集软件类型中惟一一款开源软件。尽管Soukey采摘开源，但并不会影响软件功能的提供网络爬虫软件，甚至要比一些商用软件的功能还要...
PySipder 是一个 Python 爬虫程序 演示地址： 使用 Python 编写脚本，提供强悍的 API Python 2&3 强大的 W...
PhpDig是一个采用PHP开发的Web爬虫和搜索引擎。通过对动态和静态页面进行索引构建一个词汇表。当搜索查询时，它将按一定的排序规则显示包含关 键字的搜索结果页面。PhpDig包含一个模板系统...
Heritrix是一个开源，可扩充的web爬虫项目。用户可以使用它来从网上抓取想要的资源。Heritrix设计成严格依照robots.txt文件的排除指示和META robots标签。其最出色之...
Grub Next Generation 是一个分布式的网页爬虫系统，包含客户端和服务器可以拿来维护网页的索引。
收藏 117
更新于 2011/05/26
Snoopy是一个强悍的网站内容采集器（爬虫）。提供获取网页内容，提交表单等功能。
已删掉源码
收藏 881
更新于 2016/09/26
Spiderman - 又一个Java网路蜘蛛/爬虫 Spiderman 是一个基于微内核+插件式构架的网路蜘蛛，它的目标是通过简单的方式能够将复杂的目标网页信息抓取并解析为自己所须要的业务数据...
NWebCrawler是一款开源的C#网路爬虫程序
JSpider是一个用Java实现的WebSpider，JSpider的执行格式如下： jspider [URL] [ConfigName] URL一定要加上合同名称，如：网络爬虫软件，否则会...
开源软件作者
RedisPlus 作者
ACTCMS 作者
静静的风
DBErp 作者
Crawler4j是一个开源的Java泛型提供一个用于抓取Web页面的简单插口。可以借助它来建立一个多线程的Web爬虫。 示例代码： import java.util.ArrayList; im...
收藏 116
更新于 2017/11/28
爬虫软件MetaSeeker，现已全面升级为GooSeeker。 新版本早已发布，在线版免费下载和使用，源代码可阅读。自推出以来，深受喜爱，主要应用领域： 垂直搜索（Vertical Searc...
OpenWebSpider是一个开源多线程Web Spider（robot：机器人，crawler：爬虫)和包含许多有趣功能的搜索引擎。
国内第一个针对微博数据的爬虫程序！原名“新浪微博爬虫”。 登录后，可以指定用户为起点，以该用户的关注人、粉丝为线索，延人脉关系收集用户基本信息、微博数据、评论数据。 该应用获取的数据可作为科研、...
Methanol 是一个模块化的可订制的网页爬虫软件，主要的优点是速度快。
没有更多内容
加载失败，请刷新页面
加载更多
