文章采集文章采集(文章采集方法总结（一）采集的应用)

　　文章采集文章采集(文章采集方法总结（一）采集的应用)

　　文章采集文章采集就是从文章中爬取一些特征的值，可以是图片，视频，语音等等，具体采集方法见文章《lbq采集方法总结》摘要该文章比较理论，推荐多读几遍，实践经验更重要。（本文代码地址在公众号回复“标签采集”获取）定义1.1url特征采集当采集文章首页时，将其转化为url特征，即从页面的url中获取文章标题及标签（labels）特征，经过特征提取得到有效特征进行存储：（。

　　1）页面特征url

　　2）页面特征格式labels_url(.*?)1.2page中文摘要写入公众号本地数据库中2.2文章摘要爬取

　　1）文章摘要的定义及格式编写

　　2）提取标签labels_url（‘/’），

　　3）生成关键词senttkey，

　　1）url采集格式defurlmatch(self,labels,a):"""url采集格式"""page=self.urlmatch(labels,a)ifa.extension_element:page=''.join(self.urlmatch(page,

　　2))page=labels.join(page)self.url(page)returnself.url

　　2）page采集格式defpagematch2(self,a):"""url采集格式"""page=''.join(self.urlmatch(page,

　　2))page=''.join(self.urlmatch(page,

　　1))ifa.extension_element:page=''.join(self.urlmatch(page,

　　2))page=page=self.urlmatch2(page)ifa.extension_element:page=''.join(self.urlmatch(page,

　　1))page=page=self.urlmatch2(page)returnself.urlmatch(page)