php抓取网页json数据(一个在python中使用模块来解析XML文件)
优采云 发布时间: 2021-12-03 17:30php抓取网页json数据(一个在python中使用模块来解析XML文件)
乔斯
我想从 [0]name=type&facets[0]value=software&mediatype=xml 获取一些数据
我需要的是每条记录的“标题”和“GetCapabilitiesUrl”。我曾尝试使用 BeautifulSoup,但找不到获取所需数据的正确方法。
有人知道如何进行吗?
谢谢。
Gbox4
您发布的链接看起来像一个 JSON 文件,而不是一个 XML 文件。你可以在这里看到不同之处。你可以使用python中的json模块来解析这些数据。
从网站获取收录数据的字符串后,可以使用json.loads()将收录JSON对象的字符串转换为python对象。
下面的代码片段将把所有标题放在一个名为 titles 的变量中,并在其中添加一个 url。网址
import json
import urllib.request
import ssl
ssl._create_default_https_context = ssl._create_unverified_context
raw_json_string = urllib.request.urlopen("https://kartkatalog.geonorge.no/api/search?limit=10000&text=&facets%5B0%5Dname=type&facets%5B0%5Dvalue=software&mediatype=xml").read()
json_object = json.loads(raw_json_string)
titles = []
urls = []
for record in json_object["Results"]:
titles.append(record["Title"])
try:
urls.append(record["GetCapabilitiesUrl"])
except:
pass
在编写代码时,您可以使用在线 JSON 查看器来帮助您确定字典和列表的元素。