实时文章采集(基于gzip的pythonjson_encode相关库（四）-python编程笔记)

　　实时文章采集(基于gzip的pythonjson_encode相关库（四）-python编程笔记)

　　实时文章采集地址：：，不过是基于爬虫实现的。我也受到了一定的启发，感觉爬虫技术的开发已经属于一个困难的问题，所以现在专门针对实时库进行开发，并且整理和归纳自己的一些经验。我主要是通过python爬虫编程入门的，比如从编写爬虫工具，爬虫日志，抓取图片等，最后的效果如下：来源：/book/2019/3/30/item2018_7.pdf。

　　可以考虑下fb的jsonwebmanipulation相关库（下面的代码可能会有些不一样）:python使用ffmpeg来压缩json数据ffmpeg最近的新版本貌似已经支持了视频压缩以节省空间。lz可以先用jsonawebmanipulation来压缩json文件。（ps.推荐最近的新版本）然后在爬取到的json文件里，能得到压缩后的web的json数据了。

　　比如链接，元素的id，对象的属性啥的。可以在jsonwebmanipulation的插件里处理下:python解码json发送邮件下面的这个参考自jsonwebmanipulation这篇文章:linux编程笔记（四）-基于gzip的pythonjson_encode解码（python的http文件格式是.http，c++的文件格式是.txt）。

　　当然如果能爬json格式也是很好的，就是写起来有点累ps.也可以试试python的xmlencoder框架，这个里的有很多好玩的东西。最后，推荐使用python的vim编辑器编辑json文件。有的库很好用。比如vim-json_encode，强烈推荐！感谢大家的赞同，希望对题主有用^_^。