汇总:数据采集实战：动态网页数据采集

优采云发布时间: 2022-10-21 09:35

　　汇总:数据采集实战：动态网页数据采集

　　Part1简介

　　在上一条推文中，我们已经解释了静态网页的采集方法。在本文中，我们介绍动态网页的方法采集。

　　本文采集的例子网站为：我们的目标是采集网页中指定的文字信息，并保存。

　　完整代码见文末附件！

　　Part2 什么是动态网页

　　通常，我们要提取的数据不在我们下载的 HTML 源代码中。比如我们刷QQ空间或者微博评论的时候，一直往下滑，网页不刷新就会越来越长，内容越来越多。

　　具体来说，当我们浏览网站时，用户的实际操作（如向下滚动鼠标滚轮加载内容）不断向服务器发起请求，并使用JavaScript技术将返回的数据转换成新的内容添加到网页。以百度图片为例：我们输入百度图片后，搜索我们想找的图片，然后不断向下滚动页面。我们会看到网页中不断加载图片，但是网页没有刷新。这个动态加载页面。

　　Part3 手册采集操作步骤

　　本文中采集的例子网站为：内容如下图所示：

　　假设我们需要采集的内容是：文章的标题，关键词，这4部分的发布日期和详情链接，对于标题的3部分，关键词，发布日期信息我们可以在列表页面上看到。详情链接，我们还需要点击网站到采集上的指定详情页面，如下图：

　　假设我们要采集有很多内容，单独手动采集操作会浪费很多时间，那么我们可以使用Python来自动化采集数据。

　　Part4 自动采集的步骤（一）动态加载页面分析

　　在不刷新网页的情况下，网站需要点击网页末尾的按钮来加载新数据，如下图所示：

　　我们打开开发者工具（谷歌浏览器按F12），点击过滤器XHR，然后多次点击网页底部的按钮加载内容。我们可以看到，每次点击按钮，我们都可以抓包，我们查看抓包信息，可以发现请求返回的响应内容中收录了我们想要的数据。实际操作如下：

　　网页中显示的内容：

　　所以我们可以直接请求这个接口来获取我们想要的数据。我们首先提取这三个不同请求的URL，如下图：

第2页：https://www.xfz.cn/api/website/articles/?p=2&n=20&type= 第3页：https://www.xfz.cn/api/website/articles/?p=3&n=20&type= 第4页：https://www.xfz.cn/api/website/articles/?p=4&n=20&type=

　　提示：此 URL 是带有参数的 GET 请求。域名和参数用?分隔，每个参数用&分隔。

　　我们观察每个页面的 URL 参数的变化，发现 p 是三个参数中的一个可变参数。我们每点击一次，p就加1，所以p参数和翻页有关。我们可以通过修改 p 参数来访问它。从不同页面的信息内容我们也可以推断，当p参数的值为1时，就是请求网站的第一页的内容。

　　（二）代码实现 1.请求页面并解析数据

import requests import time for page in range(1, 6): # 获取5页数据 # 利用format构造URL url = 'https://www.xfz.cn/api/website/articles/?p={}&n=20&type='.format(page) # 发送请求获取响应 res = requests.get(url=url) # 将响应的json格式字符串,解析成为Python字典格式 info_dic = res.json() # 提取我们想要的数据,并格式化输出 for info in info_dic['data']: result = { 'title': info['title'], 'date': info['time'], 'keywords': '-'.join(info['keywords']), 'href': 'https://www.xfz.cn/post/' + str(info['uid']) + '.html' } print(result) time.sleep(1) # 控制访问频率

　　执行结果（部分）：

{'title': '「分贝通」完成C+轮1.4亿美元融资', 'date': '2022-02-17 10:17:13', 'keywords': '分贝通-DST Global', 'href': 'https://www.xfz.cn/post/10415.html'} {'title': '「塬数科技」完成近亿元A轮融资，凡卓资本担任独家财务顾问', 'date': '2022-02-15 10:17:42', 'keywords': '塬数科技-凡卓资本-晨山资本-博将资本', 'href': 'https://www.xfz.cn/post/10412.html'} {'title': '「BUD」获1500万美元A+轮融资', 'date': '2022-02-14 10:15:35', 'keywords': '启明创投-源码资本-GGV纪源资本-云九资本', 'href': 'https://www.xfz.cn/post/10411.html'} {'title': '以图计算引擎切入千亿级数据分析市场，它要让人人成为分析师，能否造就国内百亿级黑马', 'date': '2022-02-10 11:04:52', 'keywords': '欧拉认知智能-新一代BI', 'href': 'https://www.xfz.cn/post/10410.html'} {'title': '前有Rivian市值千亿，后有经纬、博原频频押注，滑板底盘赛道将诞生新巨头？丨什么值得投', 'date': '2022-02-09 11:51:36', 'keywords': '什么值得投', 'href': 'https://www.xfz.cn/post/10409.html'}

　　2.保存到本地csv

　　在原代码的基础上，我们添加了一点内容，并将我们爬取的内容保存到一个CSV文件中。有很多方法可以将其保存到 CSV 文件。这里我们使用pandas的第三方模块来实现，需要pip install pandas。安装。

import requests import time import pandas as pd # 导入模块 # 创建一个数据集,用来保存数据 data_set = [ ('标题', '日期', '关键词', '详情链接'), # 这边先定义头部内容 ] for page in range(1, 6): # 获取5页数据 # 利用format构造URL url = 'https://www.xfz.cn/api/website/articles/?p={}&n=20&type='.format(page) # 发送请求获取响应 res = requests.get(url=url) # 将响应的json格式字符串,解析成为Python字典格式 info_dic = res.json() # 提取我们想要的数据,并格式化输出 for info in info_dic['data']: result = { 'title': info['title'], 'date': info['time'], 'keywords': '/'.join(info['keywords']), # 关键词会含有多个,每个关键词用斜杠隔开 'href': 'https://www.xfz.cn/post/' + str(info['uid']) + '.html' # 构造详情页url } # 获取字典里面的值,并转换成列表 info_list = list(result.values()) # 添加到数据集 data_set.append(info_list) time.sleep(1) # 控制访问频率 # 保存成为csv文件 df = pd.DataFrame(data_set) df.to_csv('xfz.csv', mode='a', encoding='utf-8-sig', header=False, index=False)

　　执行结果（部分）：

　　Part5总结

　　文中介绍了动态网站data采集的基本流程和方法，结合上期我们讲的静态网页数据采集实战，相信大家已经掌握了数据采集基本功。那么返回的数据采集呢？请继续关注下一条推文：Python 数据处理的基础知识。

　　附件：get_web_data.py

import requests import time import pandas as pd # 导入模块 # 创建一个数据集,用来保存数据 data_set = [ ('标题', '日期', '关键词', '详情链接'), # 这边先定义头部内容 ] for page in range(1, 6): # 获取5页数据 # 利用format构造URL url = 'https://www.xfz.cn/api/website/articles/?p={}&n=20&type='.format(page) # 发送请求获取响应 res = requests.get(url=url) # 将响应的json格式字符串,解析成为Python字典格式 info_dic = res.json() # 提取我们想要的数据,并格式化输出 for info in info_dic['data']: result = { 'title': info['title'], 'date': info['time'], 'keywords': '/'.join(info['keywords']), # 关键词会含有多个,每个关键词用斜杠隔开 'href': 'https://www.xfz.cn/post/' + str(info['uid']) + '.html' # 构造详情页url } # 获取字典里面的值,并转换成列表 info_list = list(result.values()) # 添加到数据集 data_set.append(info_list) time.sleep(1) # 控制访问频率 # 保存成为csv文件 df = pd.DataFrame(data_set) df.to_csv('xfz.csv', mode='a', encoding='utf-8-sig', header=False, index=False)

　　最新版本:网页抓取工具_优采云采集器软件官方论坛-用户使用交流_使用教程_模块插件资源

　　如需查询本站相关重量信息，可点击“爱站数据”和“Chinaz数据”进入；以目前的网站数据为参考，建议您以爱站数据为标准，更多网站看重评价因素如：网页抓取工具_优采云采集器软件官方论坛-用户交流_使用教程_模块插件资源-网站数据采集通讯- Powered by Discuz! 访问速度、搜索引擎收录、索引量、用户体验等等。当然，要评价一个网站的价值，最重要的还是要根据自己的需要和需要选择一些。准确的数据，需要找一个网页抓取工具_优采云采集器软件官方论坛-用户交流_使用教程_模块插件资源-网站资料采集交流-Powered by Discuz! 站长协商并提供。比如站内IP、PV、跳出率等！

　　关于网页抓取工具_优采云采集器软件官方论坛-用户交流_使用教程_模块插件资源-网站资料采集通讯-Powered by Discuz! 特别声明

　　本站星云导航提供的网页抓取工具_优采云采集器软件官方论坛-用户交流_使用教程_模块插件资源-网站数据采集通讯-Powered by Discuz! 均来自互联网，不保证外部链接的准确性和完整性。同时，外部链接的指向实际上并不受星云导航的控制。2020年9月4日晚上8点44分收录网页内容如有违规，可直接联系网站管理员删除，星云导航不承担任何责任.

0

2022-10-21

网页文章自动采集

0 个评论

要回复文章请先登录或注册

AI时代内容工厂

汇总:数据采集实战：动态网页数据采集

0 个评论

发起人