php 爬虫抓取网页数据( 智联招聘上一线及新一线城市所有与BIM相关的工作信息)

　　php 爬虫抓取网页数据(

智联招聘上一线及新一线城市所有与BIM相关的工作信息)

　　Python简单web爬虫，用于获取网页数据

　　以下是获取智联招聘一线城市和新一线城市所有BIM相关工作信息，用于数据分析

　　1、first通过chrome在智联销上搜索BIM的位置信息。跳出页面后，按Ctrl+U键查看网页源代码。如果未找到当前页面的位置信息。然后，快捷键F12打开开发者工具窗口，刷新页面，通过关键字过滤文件，并找到收录位置的数据包

　　2、查看此文件的请求URL，分析其结构，发现数据包的请求URL由

　　‘https://fe-api.zhaopin.com/c/i/sou?’+请求参数组成，那么根据格式构造了一个新的url（

‘https://fe-api.zhaopin.com/c/i/sou?pageSize=60&cityId=763&workExperience=-1&education=-1&companyType=-1&employmentType=-1&jobWelfareTag=-1&kw=造价员&kt=3’）

　　复制到浏览器进行access测试，并成功获取相应数据

　　3、获取的数据是JSON格式的数据。首先格式化数据，分析结构，确定代码中数据的分析方法

　　@在4、request URL和数据结构明确后，剩下的就是在代码中实现URL的构建、数据分析和导出。最后，获得1215个数据，需要对数据进行进一步排序，以便进行数据分析

　　推荐：[MySQL课程]