网页文章采集器(网页文章采集器，我知道的bigram排版的插件，用着不错)

　　网页文章采集器(网页文章采集器，我知道的bigram排版的插件，用着不错)

　　网页文章采集器，我知道的bigram编辑器，bigram是一个公司开发的，但是他的源码还是比较难找到，不过开源的，他家也有网页采集器，用着不错。具体可以百度下。

　　我在写一个关于markdown排版的插件，

　　可以用sublimetextcommunity去下载插件，然后复制上面这个文件用浏览器打开，基本上就能采集了，

　　很多文章从搜索引擎看不到，就要直接从网页抓取，有两种方法。一个是在数据库抓取，但是一般用不到，还有一个就是用wordpress的插件采集，在网上搜就能找到，

　　我现在做了一个网站，也接了第三方采集，其中一个就是阅文采集，我对他们的要求就是采集文章必须是正文，只有正文才是最原始的地址，否则就不能采集。他们采集是用的php技术，这个需要去各个网站搜集文章。我的要求比较简单，就是所有内容就放在网站中可以再次使用，不需要设置前后缀。

　　采集很简单，只要实现比价就好了。比价网站：网址分析采集工具，不会html代码也能做到。有的网站直接把比价数据放到一个js文件，只要把文件放到网址分析采集工具上就可以，再将返回的url在其他地方再次添加内容，就完成了。有的网站直接将比价数据放到一个json文件里，如果你想从网址分析采集工具抓数据，那么只需要调用jsonpath就可以，直接拿url采集就可以了。

　　有的网站需要真实地址，但是能抓到json格式数据并没有什么卵用，因为返回的json数据中，一般会有两部分内容，内容一般是一些虚假的数据。而且在这一部分内容，网站还会记录很多参数，譬如“有效时间”“人员”“真实座位”等。除非网站重定向到新页面，才可以从新网址抓取数据。其实我的目的是防止很多企业上传假单据。

　　有一些现在很流行的任务类网站，一直想靠这个方法来收集信息，以后要是也成为一种网站赚钱生意，那就太有意思了。别问我是谁，快来关注本专栏吧。