工具采集文章全网文章的采集效果怎么样？(一)

　　工具采集文章全网文章的采集效果怎么样？(一)

　　工具采集文章全网文章。首先会将网页上所有和你要采集的文章相关的网页地址保存下来。然后点击采集头部即可。有些时候下载地址有问题的话，点击下载的时候就会有百度网盘的提示。只要看提示就可以成功了哦。接下来的采集操作就不能用过采集器了，百度的采集器做了一定程度的限制，导致每次无法上传10篇文章。我们就利用云查询首页的一个插件，选择正则表达式采集（后面会介绍正则表达式的方法）。

　　采集之后的结果是一个json的表格格式的文件。首先解压这个json文件：cmd.exe“json”json.parse(jsonstr)利用python或者python2进行解析其中的数据就可以得到所需要的各类数据文档了。下面进行成果展示。选择的是正则表达式。采集效果如下图：以上就是所有采集的结果。总的数据量大概也就两千多条。

　　而且不是全网的文章，所以实际上采集的数据量并不大。当然如果有兴趣的可以试一下。接下来针对每一篇采集文章，进行后面的一些样本文档的简单编写。都比较简单，对于想采集个大文章或者个小文章还是有难度的。在之前已经针对文章的数据编写了一个自动采集器，我也会单独用一篇文章单独介绍，关注我即可学习到更多实用的分析工具，欢迎订阅。

　　1.自动采集器从下载网页的网址进行解析，获取正则表达式req替换成你需要的地址进行采集，针对目前采集的网页做采集结果的分析，采集的结果可以分为多种格式包括google网址、微博网址、百度网址等，不同的网址采集的结果包括json数据或者图片地址。这里我只采集了一百多篇文章，所以对数据结构没有什么要求。2.样本文档编写（。

　　1）我们下载下来的文章为json格式，对文本提取关键字如‘username=admin’中的username，保存成username.txt格式的文件。提取文字一般没有难度，注意文字的相对格式。#保存的txt文件保存在list文件中如username=adminwhere__name__="@"dimnames([1])#下载后的json文件jsonobj.concat("admin","@")上面的代码是编写一个自动采集器，对文本的获取没有太大难度，对文字的处理就需要耗费一些时间。只要知道文本的相对格式就可以采集到关键字。（。

　　2）针对正则表达式，对文本提取关键字的一般可以采用关键字匹配法。

　　匹配的关键字如username.txt_#匹配0-9之间的任意一个数字.txtfindall("0-9",

　　1)findall("#",

　　1)findall("\\#",

　　1)#匹配单个数字大小写敏感匹配username=adminwhere__name__="@"dimnames([1])#下载后的json文件jsonobj.concat("admin"