python抓取动态网页(js动态加载的网页就犯了难谷歌、百度,发现个好介绍)

优采云 发布时间: 2022-03-06 04:02

  python抓取动态网页(js动态加载的网页就犯了难谷歌、百度,发现个好介绍)

  经过一段时间的python学习,可以写一些爬虫了。但是,很难遇到js动态加载的网页。于是google,百度,找到了很好的介绍

  主要目的是分析网页的加载过程,从网页响应中找到JS脚本返回的JSON数据。(上面的网址很详细,把下面的代码贴出来记录一下)

  1、今日头条

  #coding:utf-8

import requests

import json

#今日头条热词获取,get方法

url = 'http://www.toutiao.com/c/hot_words/'

wbdata = requests.get(url).text

data = json.loads(wbdata)

news = data['data']

for n in news:

print(n)

  2、拉狗网的发帖方式

  #coding:utf-8

import requests

import json

url = 'https://www.lagou.com/upload/ltm/oss.html?u=/zhaopin/Java/&q=332&n=333&d=1126&l=1238&dns=15&p=2770&pi=46&qn=1252&t=1501835145909'

post_data = {'first':'true','kd':'Android','pn':'1'}

wbdata = requests.post(url,data=post_data)<br />data = json.loads(wbdata)

print data

  ip被封,无法解析返回的json数据,需要跟进。

  目前爬取动态页面有两种方法

  分析页面请求 selenium 模拟

  转载于:

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线