php 抓取网页ajax数据(我正在尝试从下面的Morningstar网站抓取数据(图))
优采云 发布时间: 2022-02-01 04:05php 抓取网页ajax数据(我正在尝试从下面的Morningstar网站抓取数据(图))
我正在尝试从下面的晨星 网站 抓取数据:
我目前正在尝试只做 IBM,但希望最终能够输入另一家公司的代码并与该公司做同样的事情。到目前为止我的代码如下:
import requests, os, bs4, string
url = 'http://financials.morningstar.com/ratios/r.html?t=IBM®ion=USA&culture=en_US';
fin_tbl = ()
page = requests.get(url)
c = page.content
soup = bs4.BeautifulSoup(c, "html.parser")
summary = soup.find("div", {"class":"r_bodywrap"})
tables = summary.find_all('table')
print(tables[0])
我目前遇到的问题与我抓取的更简单的网页不同,程序似乎找不到任何表格,即使我可以在页面的 HTML 中看到它们。
在研究这个问题的时候,最接近的stackoverflow问题如下:
Python 网页抓取 - NoneObeject 失败 - HTML 损坏?
在那篇文章中 文章 他们解释说 Morningstar 的表格是动态加载的,并使用了一些我不熟悉的 json 代码,并以某种方式生成了一个不同的 Web 链接来管理抓取数据,但我没有了解它来自哪里?