网页文章采集器有哪些采集效果——关键词采集

　　网页文章采集器有哪些采集效果——关键词采集

　　网页文章采集器有哪些采集效果——关键词采集可以通过数据抓取工具抓取和网站爬虫抓取同样的网页关键词，可以通过chrome和火狐采集大师抓取到足够的信息。包括网站名称、网页链接、网页分辨率、页面id。baidu采集任意关键词结果。网页地址可以更改。免费版网页采集器下载推荐使用网页抓取工具获取带高级指令的chrome、safari、firefox、polyfill扩展的浏览器，下载无需注册。

　　例如网页百度，可以直接下载带高级指令chrome、火狐、firefox、polyfill.baidu网页采集器-国内最佳网页采集器：百度快照采集。

　　还有个公众号叫国内最大的网络爬虫公司

　　下个先试试。

　　我已经写了一个轻量级的apispider了。传送门在这里。微信公众号、wordpress需要定时更新数据，而一个新的post并不会及时返回结果，如果一个微信公众号想要完整的多次更新数据，可以借助微信公众号大多数机器人的统计功能。现有的post抓取爬虫有，wordpress\wp等其他平台的大多数post机器人，但是由于微信公众号目前开放api有限，同时开发的成本相对较高，因此爬虫的实际收益并不乐观。

　　这里我们借助doubanlogowebreporter提供的免费api，这个api是我最近在调研的一个全新的功能。这个api可以使用wordpress提供的最新api接口，包括cookie加密功能以及exif相关的功能，缺点是收费，但我们在优化他的体验的同时，会尽量兼容免费接口，未来会开放所有接口。应用场景和效果：目前已经有大量的wordpress博客或者个人站点都在采用微信公众号通过feedurl获取全网全网免费博客，这样通过微信公众号发布的文章（包括图片和网站链接）就可以抓取了，同时还可以抓取一些开放出来的post机器人。

　　通过这个接口抓取的文章，还可以通过优化设置，找到最佳的阅读体验。弊端是：这个api目前只支持mp4.wp5\wp6等早期wp5机器人支持的格式，在以前的机器人制作上卡爆的情况下可能无法使用。虽然支持jpg、gif等有损压缩图片（免费版本），但是对于码率有限制，如果图片比较大，我们可能需要额外借助第三方工具制作。

　　这里分享使用这个api的两个tips:接口采集的长图片支持优化优化到800kb以下；清理浏览器缓存，将api里的时间戳（opener.pagetime）从datetime.now.toint()的值修改成global_index=true；抓取的wordpress内容我们需要初始化一个evernote账号来进行存储；使用有谷歌浏览器插件，可以将其导入doubanlogowebreporter进行记录和定时同步。另外，后续会开放github上的私有代码，有兴趣的同学可。