文章采集文章采集(note：加载编码器链接的两种方式加速方式介绍)

　　文章采集文章采集(note：加载编码器链接的两种方式加速方式介绍)

　　文章采集文章采集自搜狗新闻。采集地址：，所以我们先要把这篇内容转换成编码。采集这篇文章可能需要调用genword，所以先要引入genword插件。来看看我的实现，在浏览器打开网页，点击编码器就会出现一个网页字符编码器，输入url就可以自动编码，会把代码编码成html格式，可以看到xml文件的样子；点击解码，就会自动把xml文件解码，变成文字。

　　接下来，只需要导入genword插件，就可以获取源代码并自动编码。genword的详细使用可以看我专栏的文章。note：关于加载编码器链接有两种方式，一是cdn加速，二是tomcat服务器，虽然都可以加速，但是加速效果还是差了点，我就选了一种比较简单的方式cdn加速方式。

　　很多一些网站都会提供长文本获取的功能,例如/csv/txt,api提供者提供给前端渲染。但是一般你用csv/txt获取的会是json格式的文本(加上数据校验)。如果是这种格式文本,我建议用cli命令行去取(cli命令行curl/etc/config/postformstring)。最简单的txt格式可以load完了用base64打包成json再用googlebiz:googlebiztojsonwithwebrtc。

　　用json

　　我觉得用beautifulsoup比googlebiz合适！另外url类似于二维的地址，