网站文章采集器(是不是集搜客网络爬虫软件就采集不了了？(图))

　　网站文章采集器(是不是集搜客网络爬虫软件就采集不了了？(图))

　　注：从V1.5.x 版本开始，下面提到的Jisouke Picking Browser已更名为Jisouke Data Manager

　　一位用户提出了以下问题：

　　阿里巴巴采购网站，在极手客网络爬虫V9.0.5上无法显示。之前制定的规则无法加载和分析，数据无法用DS计数机抓取。之前尝试修改UserAgent，改成火狐45不行，我也清了缓存也没用，好像不是反爬虫封锁。难道只是采集Jisuke 网络爬虫软件不能用了？

　　接下来，我们将针对用户的问题，向采集alioutsourcinginquiry网站讲解如何使用GooSeeker新发布的采摘浏览器。

　　请注意：本文发表于2020年2月29日，吉首客拣货浏览器第一次公开发布，版本号为V1.0.7，软件正在快速迭代中，等你当我看这篇文章晚了，吉首客采摘浏览器的功能可能更强大了。

　　1.采集浏览器在哪里下载

　　目前，吉首客拣货浏览器是作为手动提取软件发布的，爬虫功能相当于批量自动提取，所以也是拣货软件的一部分。

　　2、为什么叫采摘浏览器

　　采集客户拣货浏览器，兼具手动提取和自动采集功能。但是目前没有定义规则的功能，所以必须同时安装吉首客爬虫软件V9.0.5及以上版本和吉首客拣货浏览器。下面解释两个软件如何协同工作来定义爬虫采集规则。

　　3、如何运行采摘浏览器

　　打开吉首客拣货浏览器，登录账号和吉首客爬虫软件是共享的，所以，如果正常，应该是自动登录的，可以看到如下界面

　　从上图可以看出，左侧的工具栏是按键功能的入口，底部是状态栏。绿色表示登录成功。

　　4、开始定义规则

　　在吉首客拣货浏览器中加载样例页面，这是旧的网络爬虫软件无法显示的阿里巴巴外包查询页面。在吉首客拣货浏览器中可以看到这个页面加载成功。手动滚动到最后，等到所有内容显示完毕，然后点击左栏工具栏上的绿色+按钮，如下图。

　　点击上图所示的按钮后，我要等待10秒钟。 MS 移动数据终端运行有点慢。可以看到手客爬虫软件的MS手机端被调出，加载样例页面，自动进入定义规则状态。

　　5、定义MS计算平台上的规则

　　与定义通用规则相同。在大多数情况下，从采集和挑选浏览器传输的网页是完全相同的。少数情况下可能会显示乱码，但不影响采集规则的定义。

　　如上图，定义好规则后，使用红色箭头指向的按钮保存规则，但不要使用蓝色箭头指向的“爬取数据”，因为直接爬取的数据实际上是一个快照，你需要去集合在访客拣货浏览器上运行这个爬虫任务。

　　6、如何抓取数据

　　返回采集浏览器，点击左侧栏的任务管理按钮，进入任务管理页面，如下图

　　以下是任务管理页面的完整视图

　　如上图所示，在任务管理面板上，在左箭头位置，鼠标悬停时出现的菜单有“Start采集”，即之前的单次搜索/采集搜索，新版本无关紧要，我想跑几个爬虫Windows就行。右边的两个箭头可以用来设置爬虫组和运行爬虫组。

　　7、观察爬虫状态

　　在极手客拣货浏览器上，DS计数器控制面板不再静态显示，而是缩小为右下角的圆形图标。鼠标悬停在这个图标上，可以看到爬虫状态，显示的内容和之前的DS电脑控制面板一样。

　　8、设置爬虫参数

　　如上图所示，点击左栏中的这个设置按钮。大部分参数与旧版爬虫相同，即滚动次数暂时不同。新版本的卷轴数量是卷轴数量，而旧版本的卷轴数量是卷轴后的附加卷轴数量。以后会和老版本保持一致（注意：这是一个临时状态）。

　　9、其他功能介绍

　　从上到下依次是定义规则、任务管理、数据管理、文本分析、内容摘录、配置、帮助、账号管理

　　10、已经实现的爬虫功能：

　　a、内容爬取：包括，普通html和iframe中的内容爬取

　　b、翻页：目前还不支持iframe中翻页按钮的功能

　　c、连续点击：目前还不支持在 iframe 中点击

　　d、附件下载

　　11、老版本爬虫所没有的功能

　　a、生成html快照

　　b、拦截并保存ajax消息，包括post、get等各种http消息

　　c、模拟post拦截json数据

　　12、总结

　　由于还在测试阶段，可能有很多问题，请大家指出。另外，mac版在发布前还没有做logo标记工作，需要单独向管理员申请试用。 Windows 版本目前只有 64 位操作系统。如需 32 位操作系统支持，请联系管理员。以上功能是2020年2月29日看到的，很快随着新版本的发布，网络爬虫功能会更加全面。