python抓取动态网页(python如何检测网页中是否存在动态加载的数据？(图))

　　python抓取动态网页(python如何检测网页中是否存在动态加载的数据？(图))

　　在使用python爬虫技术采集data信息时，我们经常会遇到在返回的网页信息中，无法抓取到动态加载的可用数据。例如，当获取某个网页中的产品价格时，就会出现这种现象。如下所示。本文将实现对网页中类似动态加载数据的抓取。

　　1. 那么什么是动态加载的数据？

　　通过requests模块爬取的数据每次都看不到。部分数据是通过非浏览器地址栏中的url请求获取的。但是通过其他请求请求的数据，那么这些通过其他请求请求的数据就是动态加载的数据。 （猜测是我们访问这个页面的时候js代码会发送get请求，从其他url获取数据）

　　2. 如何检测网页中是否有动态加载的数据？

　　在当前页面打开抓包工具，抓包地址栏中url对应的数据包，在数据包的响应标签中搜索我们要抓取的数据，如果找到搜索结果，数据不是动态加载的，否则表示数据是动态加载的。如图：

　　或者在要爬取的页面上右键，显示该网页的源代码。搜索我们要抓取的数据。如果找到结果，说明数据不是动态加载的，否则说明数据是动态加载的。如图：

　　3.如果数据是动态加载的，我们如何捕获动态加载的数据？

　　在抓取动态加载的数据信息时，首先需要根据动态加载技术在浏览器的网络监视器中选择网络请求的类型，然后通过一一过滤的方式查询预览信息中的关键数据，并得到对应的请求地址，最后分析信息。具体步骤如下：

<p>在浏览器中，快捷键F12打开开发者工具，然后在网络类型中选择Network（网络监视器）并选择JS，然后按快捷键F5刷新，如下图。