如何文章采集(腾讯招聘网站Python相关岗位数据)

　　如何文章采集(腾讯招聘网站Python相关岗位数据)

　　本文文章将详细讲解如何使用Python采集腾讯招聘数据。 文章的内容质量很高，分享给大家作为参考。希望大家看完这篇文章，对相关知识有了一定的了解。

　　今天爬取了腾讯招聘网站Python职位的招聘信息。如图：

　　那我们先看一下最终的结果，我们保存在一个csv文件中。

　　爬取1000条数据，第一行是标题：

　　老规矩，我们还是按照流程来。

　　01 需求分析

　　抓取腾讯招聘网站Python相关的职位数据，打开target网站，用F12打开开发者工具，发现网页源代码里没有职位信息，显然是是XHR中的json数据。

　　对应页面上的十个数据，那就好办了。

　　02 发送请求

　　找到url的页面模式，

　　第一页url:https://careers.tencent.com/tencentcareer/api/post/Query?timestamp=1620561777984&countryId=&cityId=&bgIds=&productId=&categoryId=&parentCategoryId=&attrId=&keyword=python&pageIndex=1&pageSize=10&language=zh-cn&area=cn

　　index参数对应的值为页码，所以循环获取url链。

　　def getPage(self):         url_list = []         for i in range(100):             url = self.url.format(i + 1)             url_list.append(url)         return url_list

　　03 解析页面

　　得到url链后，我们循环请求，得到json数据，将json数据转成字典，解析数据。

　　这样就得到了作业信息数据。

　　04保存数据

　　获取到作业数据后，我们需要将其保存在本地。这里我们将数据保存到本地 csv 文件中。

　　try:             with open('Tx_work.csv', 'w', encoding='utf-8', newline='') as f:                 writer = csv.DictWriter(f, self.title)                 writer.writeheader()                 writer.writerows(dic)                 print('写入成功')         except Exception as e:             print(e)

　　05 运行程序

　　if __name__ == '__main__':     tx = Tx(base_url,hd,titles)     tx.run()

　　关于如何使用Python采集 腾讯招聘数据在这里分享。希望以上内容能够对大家有所帮助，多多学习。如果你觉得文章不错，可以分享给更多人看。