文章定时自动采集(如何用文章定时自动采集！(一)_软件)

　　文章定时自动采集(如何用文章定时自动采集！(一)_软件)

　　文章定时自动采集！文章定时自动采集！图片采集识别，图片请求获取处理~~~哈哈哈，

　　你可以参考我写的反爬虫web虫洞。

　　百度爬虫，图片、视频的爬虫。或者爬虫。都是现成的，要定时抓取可以找我。

　　简单的可以用编程自动定时抓取新闻，每天看看有没有新的消息(一般一两条就够了)。高级点的就抓数据库表格内容了。

　　我需要数据，

　　网页自动切换登录

　　就是一个看网页的小软件

　　公司抓包云采集，这家很不错，

　　autojs,jsoup,gevent这三个是必须的，

　　requests+aiohttp

　　figrootverify，

　　这个爬虫这几个月我一直在用，

　　我来吐个槽。我是做互联网相关的，自己每天要爬数据，特别是视频网站，有些视频网站有各种电脑，然后需要爬各种页面信息。然后我能想到最简单的方法，就是用注册各种论坛，然后获取一些帖子链接。然后爬站长的rss或者加一些条件比如别人是新注册用户等。但是这个满足起来也不方便。于是搜集起来常见的rss网站。比如微博分享网，新浪博客，大家口口相传的豆瓣网等等。

　　说的比较轻松，结果现在就遇到了个问题，公司的报表推送功能并不支持爬虫，不知道能不能通过爬虫批量下载？能不能批量设置下载条件？如果不能批量只能乱爬了？有没有人能推荐下？尤其是会爬网页的人是不是太多了？。