抓取动态网页(
烯牛数据加密不好暨自动化测试中无头谷歌浏览器设置代理)打开页面,能正常看到内容,查看源代码发现页面并没有出现我们需要的内容,说明这是异步加载的内容。打开页面,能正常看到内容,查看源代码发现页面并没有出现我们需要的内容,说明这是异步加载的内容。数据抓取采用requests或scrapy,拿不到页面数据,api数据加密不好处理采用Chrome,有头或无头都可以,本例采用无头浏览器有js渲染的页面,关键点就是然浏览器等待一会再返回内容,给js一点时间渲染,不然拿不到渲染后的数据
继续阅读 »