python抓取动态网页(记录一下爬取动态网页的步骤-实例讲解东方财富网获取股票列表 )

　　python抓取动态网页(记录一下爬取动态网页的步骤-实例讲解东方财富网获取股票列表

)

　　笔者在做爬虫工作时遇到了动态网页，所以在分析代码网页的源代码时，缺少了很多需要的元素。下面通过一个例子来记录爬取动态网页的步骤。

　　示例：股票定向爬虫

　　本例的目标是从东方财富网获取一个股票列表，然后根据该股票列表从百度股票中一一获取个股信息，最后将结果存入文件。基本上，我看到的代码就是上面三个步骤。

　　踩雷

　　一开始没发现是动态网页，因为我直接在需要的信息上点右键查看信息，发现信息还是挺全的，不过代码会有点变化，我当时没发现什么问题（没有这次实战经验还是太恶毒了）。一种操作如图所示：

　　可以看到，需要信息的网页代码仍然存在，但是当你展开td标签时，网页会自动恢复，标签里面的信息也会自动收回，所以我认为这是一个动态网页，并且所有信息都是动态加载的。，而不是静态渲染。右键查看源码，可以发现源码中并没有这样的信息，说明确实是一个动态网页：

　　想办法

　　由于它是动态加载的，数据文件仍然存在。因此，我检查了资源文件中是否有任何所需的数据文件。结果我一一点击，找到了目标：

　　然后直接点一个进去，复制url（右键复制链接地址）看看是什么：

　　原来首页所有的股票信息都在这个文件里，太好了，这个url就是我们爬取的对象url。

　　代码

　　def getHTMLText(url, code='utf-8'):

try:

r = requests.get(url, timeout=30)

r.raise_for_status()

r.encoding = code

return r.text

except:

return ""

<p># 东方财富网，通过a标签内找到股票标号，将所有的股票标号返回到lst中

def getStockList(lst, stockURL):

#2 sz 1 sh

html = getHTMLText(stockURL, "GB2312")

# soup = BeautifulSoup(html, 'html.parser')

content = re.findall(r"data:\[(.*?)\],recordsFiltered", html)[0]

#25

lists = content.split(",")

l=1

while l