通过关键词采集文章采集apis实现定时自动抓取以前的博客文章

　　通过关键词采集文章采集apis实现定时自动抓取以前的博客文章

　　通过关键词采集文章采集apis，实现定时自动抓取以前的博客文章。抓取网站一般是搜狐，知乎，豆瓣等已经被关闭，但是依然有部分站点可以正常抓取该站点文章，可以根据页面定期采集，定时删除。自动排版预览通过开源模块simpui，实现自动排版预览。可以根据需要自定义自动排版效果。

　　uc采集，我用的volley。

　　如果你不愿意花钱买采集器的话，还是先通过博客大巴之类的网站检索到该博客所有者，建议写代码定时爬取，再统一压缩下，然后再采集就好了。我就是这么做的。

　　写爬虫，然后定时检查爬取效果，

　　最简单的：定期检查网站的中英文文章是否同步更新

　　需要用到的socketclient，每天自动爬出本小时新文章。

　　写一个爬虫程序，每小时爬出来最新的，1000篇以内的，然后选出400篇。

　　翻墙，然后被墙，

　　你太高估自己，

　　给你自己，自己去慢慢找。

　　使用谷歌的proxy翻墙接口，打开翻墙接口后，可以直接抓取站点页面，然后使用postman或fiddler等抓包工具，可以获取http协议本地代码，然后解析抓取到的http代码解析相应的html代码，

　　可以使用国内的知乎网