Python爬虫实战（3）：安居客房产经纪人信息采集

　　Python爬虫实战（3）：安居客房产经纪人信息采集

　　1， 引言

　　Python开源网路爬虫项目启动之初，我们就把网路爬虫分成两类：即时爬虫和收割式网路爬虫。为了使用各类应用场景，该项目的整个网路爬虫产品线收录了四类产品，如下图所示：

　　本实战是上图中的“独立python爬虫”的一个实例，以采集安居客房产经纪人( )信息为例，记录整个采集流程，包括python和依赖库的安装，即便是python初学者，也可以跟随文章内容成功地完成运行。

　　2，Python和相关依赖库的安装

　　2.1，安装Python3.5.2

　　2.2，Lxml 3.6.0

　　2.3，下载网页内容提取器程序

　　网页内容提取器程序是GooSeeker为开源Python即时网路爬虫项目发布的一个类，使用这个类，可以大大降低信息采集规则的调试时间，具体参看《Python即时网路爬虫项目: 内容提取器的定义》

　　3，网络爬虫的源代码

　　# _*_coding:utf8_*_

# anjuke.py

# 爬取安居客房产经纪人

from urllib import request

from lxml import etree

from gooseeker import GsExtractor

class Spider:

def getContent(self, url):

conn = request.urlopen(url)

output = etree.HTML(conn.read())

return output

def saveContent(self, filepath, content):

file_obj = open(filepath, 'w', encoding='UTF-8')

file_obj.write(content)

file_obj.close()

bbsExtra = GsExtractor()

# 下面这句调用gooseeker的api来设置xslt抓取规则

# 第一个参数是app key，请到GooSeeker会员中心申请

# 第二个参数是规则名，是通过GooSeeker的图形化工具: 谋数台MS 来生成的

bbsExtra.setXsltFromAPI("31d24931e043e2d5364d03b8ff9cc77e" , "安居客房产经纪人")

url = "http://shenzhen.anjuke.com/tycoon/nanshan/p"

totalpages = 50

anjukeSpider = Spider()

print("爬取开始")

for pagenumber in range(1 , totalpages):

currenturl = url + str(pagenumber)

print("正在爬取", currenturl)

content = anjukeSpider.getContent(currenturl)

outputxml = bbsExtra.extract(content)

outputfile = "result" + str(pagenumber) +".xml"

anjukeSpider.saveContent(outputfile , str(outputxml))

print("爬取结束")

　　运行过程如下:

　　将里面的代码保存到anjuke.py中，和上面2.3步下载的提取器类gooseeker.py置于同一个文件夹中

　　打开Windows CMD窗口，切换当前目录到储存anjuke.py的路径(cd xxxxxxx)

　　运行 python anjuke.py

　　请注意：为了使源代码更整洁，也为了使爬虫程序更有通用性，抓取规则是通过api注入到内容提取器bbsExtra中的，这样还有另外一个益处：如果目标网页结构变化了，只需通过MS谋数台重新编辑抓取规则，而本例的网路爬虫代码不用更改。为内容提取器下载采集规则的方式参看《Python即时网络爬虫：API说明》。

　　4，爬虫结果

　　在项目目录下可以看见多个result**.xml文件，文件内容如下图所示：

　　5，总结

　　因为信息采集规则是通过api下载出来的，所以，本案例的源代码变得非常简约。同时，整个程序框架显得太通用，因为最影响通用性的采集规则是从外部注入的。

　　6，集搜客GooSeeker开源代码下载源

　　GooSeeker开源Python网络爬虫GitHub源

　　7，文档更改历史

　　2016.07.11：V1.0