Python爬虫实战(4):豆瓣小组话题数据采集—动态网页

优采云 发布时间: 2020-08-14 00:30

  

  1, 引言

  注释:上一篇《Python爬虫实战(3):安居客房产经纪人信息采集》,访问的网页是静态网页,有同学模仿那种实战来采集动态加载豆瓣小组的网页,结果不成功。本篇是针对动态网页的数据采集编程实战。

  Python开源网路爬虫项目启动之初,我们就把网路爬虫分成两类:即时爬虫和收割式网路爬虫。为了适应各类应用场景,GooSeeker的整个网路爬虫产品线收录了四类产品,如下图所示:

  

  本实战是上图中的“独立python爬虫”的一个实例,以采集豆瓣小组讨论话题()信息为例,记录整个采集流程,包括python和依赖库的安装,即便是python初学者,也可以跟随文章内容成功地完成运行。

  2,Python和相关依赖库的安装2.1,安装Python3.5.22.2,Lxml 3.6.02.3,下载网页内容提取器程序

  网页内容提取器程序是GooSeeker为开源Python即时网路爬虫项目发布的一个类,使用这个类,可以大大减小数据采集规则的调试时间,具体参看《Python即时网路爬虫项目: 内容提取器的定义》

  2.4,安装selenium2.5,PhantomJS下载3,网络爬虫的源代码

  # _*_coding:utf8_*_

# douban.py

# 爬取豆瓣小组讨论话题

from urllib import request

from lxml import etree

from gooseeker import GsExtractor

from selenium import webdriver

class PhantomSpider:

def getContent(self, url):

browser = webdriver.PhantomJS(executable_path='C:\\phantomjs-2.1.1-windows\\bin\\phantomjs.exe')

browser.get(url)

time.sleep(3)

html = browser.execute_script("return document.documentElement.outerHTML")

output = etree.HTML(html)

return output

def saveContent(self, filepath, content):

file_obj = open(filepath, 'w', encoding='UTF-8')

file_obj.write(content)

file_obj.close()

doubanExtra = GsExtractor()

# 下面这句调用gooseeker的api来设置xslt抓取规则

# 第一个参数是app key,请到GooSeeker会员中心申请

# 第二个参数是规则名,是通过GooSeeker的图形化工具: 谋数台MS 来生成的

doubanExtra.setXsltFromAPI("ffd5273e213036d812ea298922e2627b" , "豆瓣小组讨论话题")

url = "https://www.douban.com/group/haixiuzu/discussion?start="

totalpages = 5

doubanSpider = PhantomSpider()

print("爬取开始")

for pagenumber in range(1 , totalpages):

currenturl = url + str((pagenumber-1)*25)

print("正在爬取", currenturl)

content = doubanSpider.getContent(currenturl)

outputxml = doubanExtra.extract(content)

outputfile = "result" + str(pagenumber) +".xml"

doubanSpider.saveContent(outputfile , str(outputxml))

print("爬取结束")

   

  运行过程如下:

  请注意:为了使源代码更整洁,也为了使爬虫程序更有通用性,抓取规则是通过api注入到内容提取器bbsExtra中的,这样还有另外一个益处:如果目标网页结构变化了,只需通过MS谋数台重新编辑抓取规则,而本例的网路爬虫代码不用更改。为内容提取器下载采集规则的方式参看《Python即时网络爬虫:API说明—下载内容提取器》。

  4,爬虫结果

  在项目目录下可以见到多个result**.xml文件,文件内容如下图所示:

  

  5,总结

  因为信息采集规则是通过api下载出来的,所以,本案例的源代码变得非常简约。同时,整个程序框架显得太通用,因为最影响通用性的采集规则是从外部注入的。

  6,集搜客GooSeeker开源代码下载源GooSeeker开源Python即时网络爬虫GitHub源7,文档更改历史

  2016-07-21:V1.0

  转载于:

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线