python网页数据抓取(提取(59,805805)()已确认))
优采云 发布时间: 2022-01-25 11:11python网页数据抓取(提取(59,805805)()已确认))
获取网页数据不返回结果问题描述票数:0 答案:1
我正在尝试从提到的 URL (59,805) 中提取数据。我正在使用 BeautifulSoup 并请求 Python 包。
下面是我正在尝试的代码,但它没有给我任何结果。下面是我尝试从中提取的 HTML 代码。结果应该是“已确认”,59,805
import requests
from bs4 import BeautifulSoup as bs
import pandas as pd
case_type = []
count = []
url = requests.get('https://www.covid19india.org/')
soup = bs(url.content,'html.parser')
for a in soup.findAll('div', attrs={'class':'level-item is-cherry fadeInUp'}):
b = a.find('h1')
c = a.find('h5')
case_type.append(c.text)
count.append(b.text)
df = pd.DataFrame({'Case Type':case_type, 'Count':count})
print(df)
来自该页面的 HTML 片段
Confirmed
[+115]
59,805
Active
39,914
Recovered
[+14]
17,901
1 个回答
投票
这个 网站 是在 React 中创建的,所以你得到的请求不会收录所有 网站 内容,因为它是动态加载的
如果您查看加载时发出的网站网络请求,您会看到此信息来自:
https://api.covid19india.org/data.json
所以你可以(假设你不影响网站性能/有权限)这样做:
r = requests.get('https://api.covid19india.org/data.json')
j = r.json()
confirmed = j['statewise'][0]['confirmed']
print(confirmed)
热门问题