php 抓取网页ajax数据(我正在尝试从下面的Morningstar网站抓取数据(图))

优采云 发布时间: 2022-02-01 04:05

  php 抓取网页ajax数据(我正在尝试从下面的Morningstar网站抓取数据(图))

  我正在尝试从下面的晨星 网站 抓取数据:

  我目前正在尝试只做 IBM,但希望最终能够输入另一家公司的代码并与该公司做同样的事情。到目前为止我的代码如下:

  import requests, os, bs4, string

url = 'http://financials.morningstar.com/ratios/r.html?t=IBM&region=USA&culture=en_US';

fin_tbl = ()

page = requests.get(url)

c = page.content

soup = bs4.BeautifulSoup(c, "html.parser")

summary = soup.find("div", {"class":"r_bodywrap"})

tables = summary.find_all('table')

print(tables[0])

  我目前遇到的问题与我抓取的更简单的网页不同,程序似乎找不到任何表格,即使我可以在页面的 HTML 中看到它们。

  在研究这个问题的时候,最接近的stackoverflow问题如下:

  Python 网页抓取 - NoneObeject 失败 - HTML 损坏?

  在那篇文章中 文章 他们解释说 Morningstar 的表格是动态加载的,并使用了一些我不熟悉的 json 代码,并以某种方式生成了一个不同的 Web 链接来管理抓取数据,但我没有了解它来自哪里?

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线