java爬虫抓取动态网页( 动态网页爬虫技术一之API请求法安装selenium模块下载(组图))

　　java爬虫抓取动态网页(

动态网页爬虫技术一之API请求法安装selenium模块下载(组图))

　　

　　本节课我给大家讲解一个稍微复杂一点的爬虫，也就是动态网页的爬虫。

　　动态网页技术简介

　　动态网络爬虫技术的API请求方法

　　动态网络爬虫技术二：模拟浏览器方法

　　安装 selenium 模块下载

　　谷歌浏览器驱动安装

　　ChromeDriver以某宝藏松鼠店为例，抓取“坚果炒货”的商品名称、价格、销量和评论数

　　课后作业

　　关于作者

　　动态网页技术简介

　　所谓动态网页，是指相对于静态网页的一种网页编程技术。对于静态网页，随着html代码的生成，页面的内容和显示效果基本不会改变——除非你修改了页面代码。动态网页并非如此。虽然页面代码没有改变，但是显示的内容会随着时间、环境或数据库操作的结果而改变。

　　值得强调的是，动态网页不应与页面内容是否动态相混淆。这里所说的动态网页与网页上的各种*敏*感*词*、滚动字幕等视觉动态效果没有直接关系。动态网页也可以是纯文本内容或收录各种*敏*感*词*内容。这些只是特定于网页。内容的呈现形式，无论网页是否具有动态效果，只要是通过动态网站技术生成的，都可以称为动态网页。（说明来源：百度百科-《动态网页》，如链接失效请访问：%E5%8A%A8%E6%80%81%E7%BD%91%E9%A1%B5/6327050?fr=阿拉丁）

　　

　　互联网每天都在蓬勃发展，数以万计的网络平台雨后春笋般涌现。不同平台针对不同用户的权限和偏好推出不同的个性化内容。看来，传统的静态网页早已无法满足社会的需求。于是，动态网页技术应运而生。当然，在对网页加载速度要求越来越高的情况下，异步加载成为了很多大型网站的首选。比如各大电商平台、知识型网站、社交平台等，都广泛采用了异步加载的动态技术。简单来说就是加载一些根据时间和请求变化的内容，比如某宝的商品价格和评论，比如某阀门的热门影评，某条新闻的视频等，通过先加载网页整体框架，再加载。呈现动态内容。

　　对于这种类型的动态页面，如果我们使用上面提到的静态网页爬虫的方法来爬取，可能不会得到任何结果，因为大部分异步加载的内容都位于请求该内容的一段JS代码中。在一定的触发操作下，这些JS代码开始工作，从数据库中提取相应的数据，放到网页框架中的相应位置，最后拼接成一个我们可以看到的完整页面。

　　动态网络爬虫技术的API请求方法

　　看似复杂的操作，看似给我们的爬虫带来了不少麻烦，但其实也可能给我们带来很大的方便。我们只需要找到JS请求的API，按照一定的要求发送带有有效参数的请求，就可以得到最干净的数据，而不是像以前那样从嵌套的HTML代码中慢慢解析出我们想要的HTML代码。所需的数据。

　　这里我们以上面提到的豆瓣电影（如果链接失效请访问：#!type=movie&tag=%E7%83%AD%E9%97%A8&sort=recommend&page_limit=20&page_start=0)为例进行制作分析，提取豆瓣前100名电影的名称和评分及其地址。

　　

　　这是按人气排序的近期热门电影的截图。每个月都有不同的新电影上映，每部电影都会因为口碑效应而呈现出不同的热度排名。如果这个页面是静态网页，那么豆瓣程序员每天上网修改这个页面是不是很辛苦。所以，我们可以大胆猜测这是一个动态页面。但猜测是不够的，我们必须证明它。这里我们将使用第二讲中提到的谷歌开发者工具。按F12或者在网页空白处右键选择Inspect(N)，或者按键盘上的组合键Ctrl+Shift+I来召唤我们的神器。如下所示：

　　

　　今天我们不再使用左上角的鼠标按钮，而是使用红色框中的Network，显示了网页加载的所有文件，如下图所示：

　　

　　如果下面没有结果，您需要在打开 Google Developer Tools 的情况下刷新页面。

　　

　　如上图所示，我们可以通过点击上方小红框内的“XHR”按钮来过滤这个网页中异步加载的内容。至于哪一个是我们想要的，这是一个问题。看左边的地址，我们好像看不出什么端倪，我们来一一看看吧。. . 经过枚举，我们发现第三个就是我们想要的内容，其内容如下：

　　

　　我们可以看到这个链接中收录的内容是以 JSON 格式显示的。这时候我们就有了一个大概的思路，就是用requests模块下载这个链接的内容，然后用python的json模块下载内容。解析。

　　但是，这似乎是一页，并且只有 20 部电影要数，而我们要的是前 100 部电影，如何做到这一点？

　　没办法，毕竟是动态网页，内容可以根据请求改变，而且这里也没有登录操作，打开网页就可以看到，那我们可以换个网址来获取到下一页甚至下一页 页面的内容？当然可以，不然我就写不出来了！

　　让我们仔细看看这个 URL 中传递的参数：

　　

　　至此，我们可能不知道这五个参数是干什么用的，但是我们可以找到规律，所以现在回到原来的网页，点击页面底部的“加载更多”，然后返回给开发者工具，哇，多了一个网址，就是刚才说的那个，内容也只要：

　　

　　此 URL 还传递五个参数：

　　

　　唯一的区别是名为“page_start”的关键字的值发生了变化。简单地把它翻译成页面的起点。看上面的“page_limit”，大概就是页数限制的意思。看右边的响应内容，这个页面传递了20个条目，也就是说“page_limit”是一个页面的条目数限制，也就是20，这个数据不变，而“page_start”是本页开头的条目号，那么我们要获取下面的内容，改“page_start”不就够了吗？是的。

　　老规矩，先写个代码

　　# -*- coding: utf-8 -*-

import requests

import jsonfor i in range(5):

page_start = str(i * 20) # 注释1

url = 'https://movie.douban.com/j/search_subjects?type=movie&tag=%E7%83%AD%E9%97%A8&sort=recommend&page_limit=20&page_start=' + page_start # 注释2

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'

}

response = requests.get(url=url, headers=headers, verify=False)

content = response.content.decode()

content_list = json.loads(content)['subjects'] # 注释3for item in content_list: # 注释4

title = item['title'] #注释5

rate = item['rate'] # 注释6

link = item['url'] # 注释7

print(title, rate, link)

　　

　　最后，可以使用标准输入流写入txt文件，也可以使用xlwt模块写入EXCEL，也可以使用pymysql模块写入Mysql数据库。

　　至此，这种寻找API并传递有效参数重放API的方法已经介绍给大家了。这是一种很常用的方法，可以在很多网站中使用，而且速度非常快，结果也是最简洁的。.

　　动态网络爬虫技术二：模拟浏览器方法

　　虽然我们上面提到的API请求方式好用又快，但并不是所有的网站都会使用这种异步加载方式来实现网站，还有一些网站会采取反爬措施爬虫，比如常见的验证码。虽然验证码主要是用来防止CSRF攻击的，但也有网站用来对付爬虫的，比如某宝。这时候我们要介绍另一个神器，Python的Selenium模块。

　　Selenium 是用于 Web 应用程序测试的工具。Selenium 测试直接在浏览器中运行，就像真正的用户一样。支持的浏览器包括 IE (7, 8, 9, 10, 11）, Mozilla Firefox, Safari, Google Chrome, Opera等。该工具的主要功能包括： 测试与浏览器的兼容性 - 测试看看你的应用程序是否(解释来自：百度百科-“Selenium”，如果链接失效请点击）

　　简单来说，Selenium 是一个主要用于自动化测试的工具。它可以运行在各种带有浏览器驱动程序的浏览器中，并根据代码自动模拟人类操作来获取或控制网页元素。当然，Selenium 不是 Python 的产品，而是一个独立的项目，Python 提供了对 Selenium 的支持。（您可以自行访问 Selenium 的主页，如果链接无效，请点击）

　　安装硒模块

　　要使用Selenium这样的第三方工具，我们首先要安装它，这里还是使用pip工具。以管理员权限运行命令行，输入pip install selenium，稍等片刻即可完成安装，如果觉得官方pypi镜像网速慢，可以使用国内豆瓣镜像源，pip install selenium -i ，加上这个 -i 参数和豆瓣pypi镜像的地址就够了。如果要默认使用豆瓣镜像源，请自行百度修改方法。

　　下载谷歌浏览器驱动

　　安装成功后，我们需要安装下一个必要的东西，浏览器驱动程序。前面提到，selenium 需要配合浏览器驱动运行，所以我们以安装 Google Chrome Driver 为例。

　　首先，我们需要查看我们的谷歌浏览器版本，可以在谷歌的“帮助”中查看。具体方法是打开Chrome，点击右上角的三个点状按钮，然后在弹出的菜单中依次选择Help。(E)->关于谷歌浏览器(G)如下图：

　　

　　笔者的浏览器更新到最新版本63，老版本的操作方法大致相同。

　　点击信息后，我们可以看到当前的Chrome版本，下图为示例：

　　

　　Chrome在不断的升级，所以相应的驱动也要不断的更新和适配Chrome的版本。这里我们需要找到对应的ChromeDriver版本映射，推荐一个持续更新的CSDN博客（如果链接失效请点击：），根据版本映射表，下载对应版本的ChromeDriver，下载地址1（）（如果链接失效，请访问:)，下载地址2()（如果链接失效，请访问:)。

　　安装 ChromeDriver

　　这里需要配置环境变量。正如第一讲中提到的，为“路径”添加一行值。

　　首先，我们需要找到 Chrome 的安装位置。最简单的方法是在桌面上找到谷歌浏览器的快捷方式，右键单击并选择“打开文件的位置”将其打开。比如我这里打开的路径是C:\Program Files(x86)\Google\Chrome\Application，那我就把这个路径加到Path里面。然后，我们需要把下载的ChromeDriver解压到exe程序中,将单独的exe程序复制到刚才的路径下，如下图：

　　

　　至此，ChromeDriver 已经完成安装。我们可以在命令行输入命令python进入python交互环境进行测试，如下图所示：

　　

　　如果你的谷歌浏览器自动打开并跳转到百度首页，那么恭喜~

　　以某宝的松鼠店为例，抓取“坚果炒货”的品名、价格、销量和评论数

　　此页面的 URL 是：#TmshopSrchNav

　　老规矩，先放一段代码：

　　# -*- coding: utf-8 -*-

from selenium import webdriver

driver = webdriver.Chrome() # 注释1

url = 'https://sanzhisongshu.tmall.com/category-1124487841.htm?spm=a1z10.1-b-s.w5003-17763072511.42.6995d6732XB8Of&tsearch=y&scene=taobao_shop#TmshopSrchNav'

driver.maximize_window() # 注释2

driver.get(url) # 注释3

dl_list = driver.find_elements_by_class_name('item') # 注释4

for dl in dl_list:

name = dl.find_element_by_css_selector("[class='item-name J_TGoldData']").text # 注释5

price = dl.find_element_by_class_name('cprice-area').text # 注释6

sale = dl.find_element_by_class_name('sale-area').text # 注释7

comment = dl.find_element_by_xpath('//*[@id="J_ShopSearchResult"]/div/div[3]/div[1]/dl[1]/dd[2]/div/h4/a/span').text # 注释8

print(name, price, sale, comment)

driver.close() # 注释9

　　

　　XPath 代表 XML 路径语言，它是一种用于定位 XML（标准通用标记语言的子集）文档部分的语言。XPath 基于 XML 树结构，有不同类型的节点，包括元素节点、属性节点和文本节点，提供了在数据结构树中查找节点的能力。XPath 的初衷是将其用作 XPointer 和 XSLT 之间的通用语法模型。但是 XPath 作为一种小型查询语言很快被开发人员采用。（解释来自：百度百科-《XPath》，如果链接失效请访问：）

　　

　　这个例子的最终结果如下：

　　

　　您仍然可以自由选择数据存储方式。

　　这里需要注意的是，使用 selenium 进行数据爬取可能比之前的 API 请求方式慢很多。打开到对应的窗口后，窗口可能会长时间没有动作，但这不一定是错误或者是程序卡住的表现，也可能是程序在疯狂搜索网页元素. 在此过程中，如果您不确定是否有错误，请不要进行其他操作，以免有时导致元素失去焦点，导致莫名其妙的错误。

　　当然，硒的作用远不止这些。它几乎可以模拟人们在网页上可以做的任何行为，包括点击、输入等行为。这个比较适合一些网站填写验证码的你可以自己发现更多有趣的内容。本次讲座写在这里。感谢大家的耐心阅读。

　　课后作业

　　这是给你的两个小任务。有兴趣的可以自行测试。

　　请使用API​​请求方式在QQ音乐上自行查找歌曲下载，无需登录账号即可下载歌曲。请使用selenium爬取知乎热门话题或话题的首页回答100。

　　关于作者

　　作者是一名即将毕业的大四学生。他自学爬虫，是几个爬虫项目的主要开发者。对各种爬虫有一定的了解和项目经验。为大家更新。作者也是一个狂热的信息安全爱好者。谢谢你的支持。