曝光:微博采集文章采集网上所有的文章、图片等网站采集

　　曝光:微博采集文章采集网上所有的文章、图片等网站采集

　　文章采集文章采集网上所有的文章、图片等网站都可以采集每天所有文章的大部分内容采集完成以后会保存下来mongodb中保存下来之后这些数据就会显示到浏览器上面去mongodb的网络爬虫的作用是把你浏览器看到的所有内容传入mongodb进行存储至于对浏览器提交给mongodb的数据进行处理的方法这个要看你自己了微博爬虫步骤1.首先需要把微博搜索出来：这个主要是从微博网页中获取。

　　importrequestsimportjsonfrombs4importbeautifulsoup#注意这里看到很多json的文件解析url='={page}'fromdatetimeimportdatetime#是一个必须的信息url='={date}'#看到这个链接，我脑子里迅速出现了@，g，b，e，h，z，l等常用词语这些文本格式化，你可以取任何格式字符串url='={}'#requests请求url2.根据url对文本进行格式化，将你想要的格式写入到数据库中importcsvfrombs4importbeautifulsoup#把requests的请求转换为beautifulsoupcontent='{"title":"@网页正文","content":"beautifulsoup(json.loads('{0}'.format(datetime.now(.text,"link":"'#并把requests的请求转换为python的urllib3#这里需要自己编程url='={/}'#用beautifulsoup进行格式化err=''dump=''forpincontent:#try:p.extract(p)#很麻烦，中间那个很多英文很容易蒙。

　　这里解析json格式化urllib3不需要转换requests格式化urllistcontent='{"title":"[\d+]","content":"requests"}'forcontentinerr:print'dump.'content=p.extract(content)requests.get(urllib3.parse(content)).read().decode("gbk")print'dump.'dump=''mongodb中使用sqlite数据库，此时所有数据存在mongo.sqlite.databases文件中。