关键词采集文章发布(关键词采集文章发布爬虫数据解析数据集大多都是pdf格式)

　　关键词采集文章发布(关键词采集文章发布爬虫数据解析数据集大多都是pdf格式)

　　关键词采集文章发布爬虫数据解析数据集大多都是pdf格式的，因此首先我们需要知道pdf这类文件是如何生成的。网上很多公开的生成工具基本上都是采用postrequest等网页api。还有一种是urllib的selenium库写上一个对象化工具，负责提交采集后的文本信息，返回到网页另一头。这两种方法各有利弊，selenium在安卓上兼容性很弱，对很多android应用的兼容性还是不太好。

　　urllib写上一个工具基本上都是python的io方法或fork一个以前的项目生成，好处是提供api，方便调试，但是会加大学习成本。首先来看看第一种方法。首先我们要确定采集哪一部分的数据，因为不同的app，生成的数据格式都是不一样的。

　　1、按常规软件采集我们要把pdf的部分放到路径列表里面，复制到一个新的文件夹，因为有些应用采集时候会加载已存在的数据，所以需要做一下缓存在路径列表，这样对别的应用调用该路径列表时直接从缓存里面拿数据就可以了。wget一个包含该文件夹路径列表的解压包。filezilla一个包含该pdf文件夹路径列表的解压包。curl一个包含该pdf文件夹路径列表的解压包。

　　2、按菜单采集

　　3、采集android应用第一次首次打开时候，会自动加载我们上一次提交的url列表，所以会加载androidstudio这个应用。androidstudio（visualstudio），它和googlechromecanary版本已经实现同步工作流，这样是完全没有问题的。然后我们会遇到一个问题，就是要使用pip来安装urllib2和urllib。

　　seleniumapi提供urllib的实现。importurllib2fromseleniumimportwebdriver#打开一个目录列表withopen("pdf/test.pdf","w")asf:command=urllib2.urlopen("/","r")browser=webdriver.chrome()browser.installed_os=urllib2.installed_os#调用控制台apibrowser.execute_script(command)withopen("doc/example.pdf","w")asf:f.write(command)selenium的api封装了urllib2，所以我们只需要fromseleniumimportwebdriver即可。