自动采集子系统视频教程,很多老板咨询使用方法。
优采云 发布时间: 2021-06-06 07:02自动采集子系统视频教程,很多老板咨询使用方法。
自动采集子系统视频教程,很多老板咨询使用方法。首先要解决以下3个问题:1.判断爬虫是否是正常爬取,要将子系统采集规则和正常采集规则打开,如果两种规则均不正常采集,则将子系统规则信息丢弃,请慎重使用!2.要对子系统采集规则相应规则进行手动标注,看是否匹配,比如遇到一个规则要抓取100条。没有匹配,则不做处理,就没有检测到。
3.子系统规则标注不断采集完毕后,需对子系统采集规则手动检测否定不用,也可以判断子系统是否和正常系统一样,如果不一样,则丢弃!遇到上面这3个问题后,可以尝试替换原系统采集规则,取其中的n条规则,加入子系统规则中。或者从其他专门采集站采集规则放入子系统中,替换原采集规则,只是重新进行子系统规则标注!先准备几个常用子系统规则:1.quantumbot:利用矿工库直接抓取多元素数据,不需要自定义采集规则2.withoutfile:自动采集文本数据,抓取规则包括“异步发送邮件地址”等3.cije:自动抓取等商品详情页数据,抓取规则包括“名称,价格,总价”等4.addins:自动抓取美团之类站点短链接数据5.at/fn/gg:自动抓取站外导航类网站数据6.market:自动抓取商品详情页和详情页商品数据7.impression:自动抓取站外导航类网站数据az:自动抓取站外导航类网站数据9.silkcup:自动抓取各种网站内容抓取规则还可以根据实际情况自行做相应规则,这里教大家在ue规则中直接替换:开启ue规则时候,会默认开启自动抓取规则,只需将规则中的所有条件输入到ue规则中即可。同时要查看规则,是否正常会采集!。