js 爬虫抓取网页数据(F12打开网页调试工具：选择“网络”选项卡后，发现有很多响应)

　　js 爬虫抓取网页数据(F12打开网页调试工具：选择“网络”选项卡后，发现有很多响应)

　　F12打开网页调试工具：

　　

　　选择“网络”选项卡后，发现有很多响应，我们筛选一下，只看XHR响应。（XHR是Ajax中的概念，表示XMLHTTPrequest）然后我们发现少了很多链接，随便点开一个看看：我们选择city，预览中有一串json数据：

　　

　　我们再点开看看：

　　

　　原来全都是城市的列表，应该是加载地区新闻之用的。现在大概了解了怎么找JS请求的接口的吧？但是刚刚我们并没有发现想要的新闻，再找找看：有一个focus，我们点开看看：

　　

　　与首页的图片新闻呈现的数据是一样的，那么数据应该就在这里面了。

　　看看其他的链接：

　　

　　这应该是热搜关键词

　　

　　这个就是图片新闻下面的新闻了。

　　我们打开一个接口链接看看：

　　

　　返回一串乱码，但从响应中查看的是正常的编码数据：

　　

　　有了对应的数据接口，我们就可以仿照之前的方法对数据接口进行请求和获取响应了2、请求和解析数据接口数据

　　先上完整代码：#coding：utf-8

　　importrequests

　　importjson

　　url='#39;

　　wbdata=requests.get(url).text

　　data=json.loads(wbdata)

　　news=data['data']['pc_feed_focus']

　　forninnews:

　　title=n['title']

　　img_url=n['image_url']

　　url=n['media_url']

　　print(url,title,img_url)

　　返回出来的结果如下：

　　

　　照例，稍微讲解一下代码：

　　代码分为四部分，

　　第一部分：引入相关的库#coding：utf-8

　　importrequests

　　importjson

　　第二部分：对数据接口进行http请求url='

　　wbdata=requests.get(url).text