红叶文章采集器3.6绿色版

优采云 发布时间: 2020-04-18 09:52

  

  超级强悍的网站文章采集器,本软件全名为红叶文章采集器,英文名称Fast_Spider,属于蜘蛛爬虫类程序,用于从指定网站采集海量精华文章,将直接扔掉其中的垃圾网页信息,仅保存具备阅读价值和浏览价值的精华文章,自动执行HTM-TXT转换。本软件为红色软件解压即可使用!

  软件特色

  (1)本软件采用清华天网MD5指纹排重算法,对于相像相同的网页信息,不再重复保存。

  (2)采集信息涵义:[[HT]]表示网页标题,[[HA]]表示文章标题,[[HC]]表示10个权重关键字,[[UR]]表示网页中的图片链接,[[TXT]]之后为正文。

  (3)蜘蛛性能:本软件开启300个线程来保证采集效率。通过采集100万精华文章来执行压力测试,以普通网民的联网计算机为参考标准,单台计算机可以在一天内遍历200万网页、采集20万精华文章,100万精华文章仅需5天就可采集完毕。

  (4) 正式版与免费版的区别在于:正式版准许将采集的精华文章数据手动保存为ACCESS数据库。购买正式版请联系QQ(970093569)。

  操作方法

  (1)使用前,必须确保你的计算机可以连通网路,且防火墙不要拦截本软件。

  (2)运行SETUP.EXE和setup2.exe,以安装操作系统system32支持库。

  (3)运行spider.exe,输入网址入口,先点"人工添加"按钮,再点"启动"按钮,将开始执行采集。

  注意事项

  (1)抓取深度:填写0表示不限制抓取深度;填写3表示抓到第3层。

  (2)通用蜘蛛模式与分类蜘蛛模式的区别:假定网址入口为“;,若选择通用蜘蛛模式,将遍历“baidu.com”里面的每一个网页;若选择分类蜘蛛模式,则只遍历“youxi.baidu.com”里面的每一个网页。

  (3) 按钮“从MDB导出”:网址入口从TASK.MDB中批量导出。

  (4)本软件采集的原则是不越站,例如给的入口是“;,就只在百度站点内部抓取。

  (5)本软件采集过程中,偶尔会弹出一个或数个“错误对话框”,请不予理会,倘若关掉“错误对话框”,采集软件都会死掉。

  (6)使用者怎么选择采集题材:例如你若果采集 “股票类”文章,只需把这些“股票类”站点作为网址入口即可。

  超级强悍的网站文章采集器,本软件全名为红叶文章采集器,英文名称Fast_Spider,属于蜘蛛爬虫类程序,用于从指定网站采集海量精华文章文章采集,将直接扔掉其中的垃圾网页信息,仅保存具备阅读价值和浏览价值的精华文章,自动执行HTM-TXT转换。本软件为红色软件解压即可使用!

  软件特色

  (1)本软件采用清华天网MD5指纹排重算法,对于相像相同的网页信息,不再重复保存。

  (2)采集信息涵义:[[HT]]表示网页标题,[[HA]]表示文章标题文章采集软件下载,[[HC]]表示10个权重关键字,[[UR]]表示网页中的图片链接,[[TXT]]之后为正文。

  (3)蜘蛛性能:本软件开启300个线程来保证采集效率。通过采集100万精华文章来执行压力测试,以普通网民的联网计算机为参考标准,单台计算机可以在一天内遍历200万网页、采集20万精华文章,100万精华文章仅需5天就可采集完毕。

  (4) 正式版与免费版的区别在于:正式版准许将采集的精华文章数据手动保存为ACCESS数据库。购买正式版请联系QQ(970093569)。

  操作方法

  (1)使用前,必须确保你的计算机可以连通网路文章采集软件下载,且防火墙不要拦截本软件。

  (2)运行SETUP.EXE和setup2.exe,以安装操作系统system32支持库。

  (3)运行spider.exe,输入网址入口,先点"人工添加"按钮,再点"启动"按钮,将开始执行采集。

  注意事项

  (1)抓取深度:填写0表示不限制抓取深度;填写3表示抓到第3层。

  (2)通用蜘蛛模式与分类蜘蛛模式的区别:假定网址入口为“;,若选择通用蜘蛛模式,将遍历“baidu.com”里面的每一个网页;若选择分类蜘蛛模式,则只遍历“youxi.baidu.com”里面的每一个网页。

  (3) 按钮“从MDB导出”:网址入口从TASK.MDB中批量导出。

  (4)本软件采集的原则是不越站,例如给的入口是“;,就只在百度站点内部抓取。

  (5)本软件采集过程中,偶尔会弹出一个或数个“错误对话框”,请不予理会,倘若关掉“错误对话框”,采集软件都会死掉。

  (6)使用者怎么选择采集题材:例如你若果采集 “股票类”文章,只需把这些“股票类”站点作为网址入口即可。

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线