文章采集文章采集(文章采集类采集简单的文章分析及流程解析（二）)

　　文章采集文章采集(文章采集类采集简单的文章分析及流程解析（二）)

　　文章采集文章采集类采集简单的文章采集，无外乎就是以原始文章，替换标题，样式统一，作者等其他文字形式，做一个简单的自动重命名工具，然后把采集到的数据进行一个基本的数据分析和汇总。自动提取出重命名文本信息。导入文本数据库（百度云，bt,爱奇艺）分析访问地址列表页访问的url，根据url和访问地址，爬取pc,mobile,home,www等的访问页面。

　　itemid是url里面的唯一id，仅做自动抓取情况，可设置提取的百度云访问地址，这里我们用python进行自动提取。自动提取pc页面，抓取整个百度云的链接，爬取后生成二维表。设置提取地址。采集流程解析1.构建链接解析代码；2.设置采集pc页面；3.爬取数据。爬取其他页面1.爬取分析出重命名字段；2.爬取其他分页，抓取相关的字段信息，抽取page，score，baidui等等；3.爬取本地的分页内容；解析源码代码#采集图片，必须先把源码分析透彻哦！！！#gg.pngglobaldatafunction：采集数据采集数据，需要爬取的内容。

　　这里用这个方法，其他就不写了（可参考楼上的“爬取dsp”“获取相关数据”）#采集图片直接爬取datadefg_login_content(self):"""获取首页信息"""ifself.user_agent=="mozilla/5.0(windowsnt6.1;wow6。

　　4)applewebkit/537。36(khtml,likegecko)chrome/55。3543。110safari/537。36":#爬取元素idpage=requests。get(self。user_agent)。texturl=""headers={"user-agent":"mozilla/5。0(windowsnt6。1;wow6。

　　4)applewebkit/537.36(khtml,likegecko)chrome/55.0.3543.110safari/537.36"}#设置user-agent自动分析self.user_agent=self.user_agent.split("")[1]#http协议爬取不同协议的http请求图片设置了user-agent。

　　如何设置爬取不同协议的爬取请求图片headers={"user-agent":"mozilla/5.0(windowsnt6.1;wow6

　　4)applewebkit/537.36(khtml,likegecko)chrome/55.0.3543.110safari/537.36"}#https协议爬取不同协议的http请求图片headers={"user-agent":"mozilla/5.0(windowsnt6.1;wow6

　　4)applewebkit/537.36(khtml,likegecko)chrome/55.0.3543.110safari/537.36"}#url直接爬取htmldeflogin_content(self):"""抓取网页源码,直接爬取网页分页""