python实现基于mongodb的数据库-gracefulthink博客python的json

　　python实现基于mongodb的数据库-gracefulthink博客python的json

　　实时文章采集本地实时就可以完成了，没有网络采集了就用web抓包工具抓取吧实时文章采集就是抓取文章来源地址，大多需要写爬虫，用python来操作网页的源代码就行当然，也有用java来写，python和java都可以抓取文章！不过python相对更简单易学，而且比较灵活，相对抓取成功率更高网上有大量的相关内容，可以搜一下，我做这个不是为了把它变成python插件，而是基于telegram平台的librem来实现实时文章采集。后端，实时文章采集对后端的要求不高，主要是使用librem抓取网页就行。

　　其实我觉得难点主要在于viplive。

　　我倒是觉得不是很难，用通俗易懂的话说吧，抓取实时信息，不再是机器浏览网页，而是在电脑和手机里通过屏幕采集，让机器无需下载浏览器，直接可以实现抓取和定位。

　　用.net架个框架，

　　尝试过用v6解析图片得到json然后转php然后再放到php页面上模拟浏览器访问来抓取，我觉得这种抓取方式的性能下降非常严重，

　　python实现基于mongodb的数据库抓取-gracefulthink的博客-csdn博客

　　python的json也是有markdown解析器的：;toc=true

　　使用框架

　　可以从html+xml+json得到xml文件，然后在mongo数据库或者自己的数据库下获取。主要是tags，规则都写死在json里面了。你还可以用xpath。