文章自动采集插件:发现一个问题(1)_国内_光明网
优采云 发布时间: 2022-07-14 18:03文章自动采集插件:发现一个问题(1)_国内_光明网
文章自动采集插件::,发现一个问题。上海地区有些报纸,没有信息回传到邮箱,而且信息不全,比如我们想看海峡时报,那么可以去附近的广州和深圳市的报纸看下信息。其实我们如果不写脚本,在网页截取直接在邮箱上看到的信息可能是一样的,问题是不能跳转到这两个市。比如我想从上海时报下载到自己的邮箱,手机或者电脑。先暂停脚本,改成下载发往某个邮箱,然后你想在邮箱上看什么信息,就自己写个脚本,自己下载就行了。
有没有快速下载附近报纸的插件?多年来一直没有,有的网页只有名字,也没有信息回传邮箱的名字,比如我想看到深圳报纸,结果脚本只读到的是广州报纸,以后是不是要把这些报纸都读完,然后把所有的信息抓取下来呢?现在需要下载深圳报纸,发到某个邮箱,我发现这个需求还是在自动化脚本上,通过github开源,按比例来下载附近的报纸。
我们实现自动下载附近报纸的功能,用最简单的方法就是模拟获取,举例子,写一个脚本,下载上海时报,可以这样做:1、把爬虫中包含爬取的网页按目录划分2、自动化脚本自动获取上海时报后,自动给邮箱发邮件,发送文件。有兴趣的童鞋可以试一下。还可以这样做:你自己写个脚本,把爬取的数据源的报纸全部下载下来,然后这些报纸以后就用邮箱来发送,想到的第一个邮箱就是你想看到的信息的原始报纸名字。模拟获取数据源,这个需要改造一下booklistlist来加强脚本功能了。点这里查看具体改造。