实时抓取网页数据( 1.1.5使用json数据解析网址1.2模拟浏览器请求提取关注的信息 )
优采云 发布时间: 2021-10-31 03:14实时抓取网页数据(
1.1.5使用json数据解析网址1.2模拟浏览器请求提取关注的信息
)
1.1.5 使用json数据解析URL
1.2 模拟浏览器请求
2.提取相关信息2.1 遇到的问题
(1)使用post方法得到的数据总是带着下图所示的字符串,这里纠结了很久...
结果是我得到了错误的请求方法。
(2) 响应数据虽然是json格式,但是没有像往常一样播放,是一维的,耽误了很久,之前没注意,一直在尝试访问按照往常的方式查字典,再仔细看。看下面数据中的引号(“”),真的是未来的另一个村庄。
(3) 访问data的值后,数据为str类型,但文本内容仍为字典格式,因此该函数用于将文本转换为字典格式
2.2 提取全国、湖南等地的疫情信息。
由于返回的数据是排序后的数据,所以需要找到需要的数据
for i in range(len(dict_data["areaTree"][0]["children"])):
if dict_data["areaTree"][0]["children"][i]["name"]=="湖南":
for j in range(len(dict_data["areaTree"][0]["children"][i]["children"])):
if dict_data["areaTree"][0]["children"][i]["children"][j]["name"]=="衡阳":
index1=i
index2=j
break
3.使用服务器酱接收微信消息3.1 推荐一款好用的微信提醒工具
3.2 使用服务器酱服务效果图
4.阿里云服务器部署py脚本4.1 阿里云服务器操作
我以前从未接触过 Linux。为了补充知识,买了阿里云的学生专用服务器,想用这个来练习。所以百度了解了很多关于py脚本在Ubuntu服务器后台是如何运行的。Ubuntu最初安装了python2.7和python3.5版本,方便我们程序的运行。Linux学习中~~请指教
(1)使用Xshell上传py文件
(2)Linux 命令在后台运行脚本