没准用java的话，支持前端采集试试看gitbash-extractors

　　没准用java的话，支持前端采集试试看gitbash-extractors

　　网页文章自动采集的话，可以用云采集，支持多语言采集，自动双十一、双十二的订单、链接等数据采集。2、自动批量采集网页文章的话，可以通过爬虫工具来实现，如果网站没有对爬虫做限制，是可以采集大部分网站的文章的。

　　哈喽，每次我都是靠selenium的其实呢，采集网页文章应该不难，

　　github上面有好多蛮不错的接口了，

　　可以考虑用selenium+lxml

　　danmaku/scrapy+pyqt5

　　我这边在做一个，后台redis管理采集数据，本地直接实现，

　　v5公众号提供开发者服务，

　　可以用易开发的selenium，

　　平时我是用danmaku/scrapy-extractors·github和。非常可靠和简单。

　　没准用java的话，

　　支持前端采集

　　试试看gitbash-extractors?/root·githubissues·github

　　我发现一个好用的网页爬虫都是用python写的，并且不需要任何额外的gui工具。

　　阿里云采集日志python版_文章爬虫工具_云采集?/

　　可以使用daocloud采集服务，除了能够爬取自己的网站外，还支持天猫等商家店铺的数据。有免费和高级版可供选择，根据需要选择~在提供的免费服务中，针对所涉及的商家或店铺提供以下三方面的免费服务：web前端自动化、自动化测试、商家店铺运营数据分析等内容。对于web前端自动化，还有优秀的python爬虫框架tornado的模块：官网：、自动化测试框架ui自动化脚本、有高级模块自动化测试框架unittest等。