excel抓取多页网页数据(实战演练：通过Python编写一个拉勾网薪资调查的小爬虫)

　　excel抓取多页网页数据(实战演练：通过Python编写一个拉勾网薪资调查的小爬虫)

　　学习Python有一段时间了，对各种理论知识都略知一二。今天进入实战练习：用Python写一个拉狗工资调查的小爬虫。

　　第一步：分析网站的请求流程

　　当我们在拉狗网看招聘信息时，我们搜索Python，或者PHP等职位信息。实际上，我们向服务器发送相应的请求，服务器会动态响应请求并通过浏览器解析出我们需要的内容。呈现在我们面前。

　　

　　可以看出，在我们发送的请求中，FormData中的kd参数代表了向服务器请求关键词获取Python招聘信息。

　　分析复杂的页面请求和响应信息，推荐使用Fiddler，绝对是分析网站的杀手锏。不过对于比较简单的响应请求，可以使用浏览器自带的开发者工具，比如火狐的FireBug等，只要轻轻按F12，所有请求的信息都会详细的展现在你面前。

　　通过分析网站的请求和响应过程可以看出，拉狗网的招聘信息是由XHR动态传递的。

　　

　　我们发现有两个 POST 请求，companyAjax.json 和 positionAjax.json，分别控制当前显示的页面和页面中收录的职位信息。

　　

　　可以看到我们需要的信息收录在positionAjax.json的Content->result中，其中还收录了一些其他的参数信息，包括总页数（totalPageCount）、招聘注册总数（totalCount）和其他相关信息。

　　第 2 步：发送请求以获取页面

　　知道我们想要获取的信息在哪里是最重要的。在知道了信息的位置之后，我们需要考虑如何通过 Python 模拟浏览器来获取我们需要的信息。

　　def read_page(url, page_num, keyword): # 模仿浏览器post请求信息，读取返回的页面信息

　　page_headers = {

　　'主机': '#39;,

　　'用户代理': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko)'

　　'Chrome/45.0.2454.85 Safari/537.36 115Browser/6.0.3',

　　'连接'：'保持活动状态'

　　}

　　如果 page_num == 1：

　　嘘 = '真'

　　别的：

　　嘘 = '假'

　　page_data = parse.urlencode([ # 通过页面分析发现浏览器提交的FormData收录以下参数

　　（“第一”，嘘），

　　('pn', page_num),

　　（'kd'，关键字）

　　])

　　req = request.Request(url, headers=page_headers)

　　page = request.urlopen(req, data=page_data.encode('utf-8')).read()

　　page = page.decode('utf-8')

　　返回页面

　　关键步骤是如何模仿浏览器的 Post 方法来包装我们自己的请求。

　　请求中收录的参数包括要爬取的网页的 URL 和用于伪装的 headers。urlopen中的data参数包括FormData的三个参数（first、pn、kd）

　　打包完成后，就可以像浏览器一样访问拉狗网，获取页面数据。

　　第 3 步：获取所需内容并获取数据

　　获取到页面信息后，我们就可以开始爬取数据中最重要的一步了：爬取数据。

　　抓取数据的方式有很多，比如正则表达式re，lxml的etree，json，bs4的BeautifulSoup都是python3抓取数据的适用方式。您可以根据实际情况使用其中一种，也可以组合使用。

　　def read_tag（页面，标签）：

　　page_json = json.loads(页面)

　　page_json = page_json['内容']['结果']

　　# 通过分析获取到的json信息可以看出，返回的结果中收录了招聘信息，其中收录了很多其他的参数

　　page_result = [num for num in range(15)] # 构造一个占位符列表，容量为15，构造下一个二维数组

　　对于我在范围内（15):

　　page_result[i] = [] # 构造一个二维数组

　　对于标签中的 page_tag：

　　page_result[i].append(page_json[i].get(page_tag)) # 遍历参数，放在同一个列表中

　　page_result[i][8] = ','.join(page_result[i][8])

　　return page_result # 返回当前页面的job信息

　　第四步：将采集到的信息存入excel

　　获取原创数据后，为了进一步的整理和分析，我们将抓取到的数据以结构化、有条理的方式存储在excel中，方便数据可视化。

　　这里我使用了两个不同的框架，旧的 xlwt.Workbook 和 xlsxwriter。

　　def save_excel(fin_result, tag_name, file_name):

　　书=工作簿（编码='utf-8'）

　　tmp = book.add_sheet('sheet')

　　次 = len(fin_result)+1

　　for i in range(times): # i代表行，i+1代表行头信息

　　如果我 == 0：

　　对于 tag_name 中的 tag_name_i：

　　tmp.write(i, tag_name.index(tag_name_i), tag_name_i)

　　别的：

　　对于范围内的 tag_list（len（tag_name））：

　　tmp.write(i, tag_list, str(fin_result[i-1][tag_list]))

　　book.save(r'C:\Users\Administrator\Desktop\%s.xls' % file_name)

　　第一个是xlwt，不知道为什么，xlwt存储了100多条数据后，存储不全，excel文件也会出现“部分内容错误，需要修复”我查了很多次，一开始我以为是数据采集不完整，导致存储问题。经过断点检查，发现数据完整。后来改本地数据处理，也没问题。这就是我当时的感受：

　　

　　到现在还没想通，知道希望的可以告诉我ლ(╹ε╹ლ)

　　def save_excel(fin_result, tag_name, file_name): # 将抓取到的招聘信息存入excel

　　book = xlsxwriter.Workbook(r'C:\Users\Administrator\Desktop\%s.xls' % file_name) # 默认存放在桌面

　　tmp = book.add_worksheet()

　　row_num = len(fin_result)

　　对于范围内的 i（1，row_num）：

　　如果我 == 1：

　　tag_pos = 'A%s' % i

　　tmp.write_row(tag_pos, tag_name)

　　别的：

　　con_pos = 'A%s' % i

　　content = fin_result[i-1] # -1被表头占用

　　tmp.write_row（con_pos，内容）

　　book.close()

　　这是使用xlsxwriter存储的数据，没有问题，可以正常使用。

　　直到现在，一个抓取拉狗网招聘信息的小爬虫诞生了。

　　附上源代码

　　#！-*-编码：utf-8 -*-

　　从 urllib 导入请求，解析

　　从 bs4 导入 BeautifulSoup 作为 BS

　　导入json

　　导入日期时间

　　导入 xlsxwriter

　　开始时间 = datetime.datetime.now()

　　网址 = r'%E5%8C%97%E4%BA%AC'

　　# 拉狗网的招聘信息是动态获取的，所以需要通过post方式提交json信息。默认城市为北京

　　tag = ['companyName', 'companyShortName', 'positionName', 'education', 'salary', 'financeStage', 'companySize',

　　'industryField', 'companyLabelList'] # 这是需要抓取的标签信息，包括公司名称、*敏*感*词*要求、工资等。

　　tag_name = ['公司名称', '公司简称', '职称', '*敏*感*词*', '薪资', '公司资质', '公司规模', '类别', '公司介绍']

　　def read_page(url, page_num, keyword): # 模仿浏览器post请求信息，读取返回的页面信息

　　page_headers = {

　　'主机': '#39;,

　　'用户代理': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko)'

　　'Chrome/45.0.2454.85 Safari/537.36 115Browser/6.0.3',

　　'连接'：'保持活动状态'

　　}

　　如果 page_num == 1：

　　嘘 = '真'

　　别的：

　　嘘 = '假'

　　page_data = parse.urlencode([ # 通过页面分析发现浏览器提交的FormData收录以下参数

　　（“第一”，嘘），

　　('pn', page_num),

　　（'kd'，关键字）

　　])

　　req = request.Request(url, headers=page_headers)

　　page = request.urlopen(req, data=page_data.encode('utf-8')).read()

　　page = page.decode('utf-8')

　　返回页面

　　def read_tag（页面，标签）：

　　page_json = json.loads(页面)

　　page_json = page_json['content']['result'] # 通过分析获取到的json信息，我们可以看到返回的结果中收录了招聘信息，其中收录了很多其他的参数

　　page_result = [num for num in range(15)] #构造一个容量为15的list占位符构造下一个二维数组

　　对于我在范围内（15):

　　page_result[i] = [] # 构造一个二维数组

　　对于标签中的 page_tag：

　　page_result[i].append(page_json[i].get(page_tag)) # 遍历参数，放在同一个列表中

　　page_result[i][8] = ','.join(page_result[i][8])

　　return page_result # 返回当前页面的job信息

　　def read_max_page(page): # 获取当前招聘的最大页数关键词，大于30的会被覆盖，所以最多只能抓取30页的招聘信息

　　page_json = json.loads(页面)

　　max_page_num = page_json['content']['totalPageCount']

　　如果 max_page_num > 30：

　　max_page_num = 30

　　返回 max_page_num

　　def save_excel(fin_result, tag_name, file_name): # 将抓取到的招聘信息存入excel

　　book = xlsxwriter.Workbook(r'C:\Users\Administrator\Desktop\%s.xls' % file_name) # 默认存放在桌面

　　tmp = book.add_worksheet()

　　row_num = len(fin_result)

　　对于范围内的 i（1，row_num）：

　　如果我 == 1：

　　tag_pos = 'A%s' % i

　　tmp.write_row(tag_pos, tag_name)

　　别的：

　　con_pos = 'A%s' % i

　　content = fin_result[i-1] # -1被表头占用

　　tmp.write_row（con_pos，内容）

　　book.close()

　　如果 __name__ == '__main__'：

　　print('************************************抓取来了******** * ************************')

　　keyword = input('请输入您要搜索的语言类型：')

　　fin_result = [] # 将每一页的招聘信息汇总成最终的招聘信息

　　max_page_num = read_max_page(read_page(url, 1, 关键字))

　　对于范围内的 page_num（1，max_page_num）：

　　print('********************************下载页面 %s********** * ***********************' % page_num)

　　page = read_page(url, page_num, 关键字)

　　page_result = read_tag（页面，标签）

　　fin_result.extend(page_result)

　　file_name = input('爬取完成，保存输入文件名：')

　　save_excel(fin_result, tag_name, file_name)

　　结束时间 = datetime.datetime.now()

　　时间 = (结束时间 - 开始时间). 秒

　　print('总时间: %s s' % time)

　　还有很*敏*感*词*可以添加，比如通过修改城市参数来查看不同城市的招聘信息等，大家可以自己开发。这只是为了吸引别人。欢迎交流。

　　本文标题：Python制作爬虫并将爬取结果保存到excel