爬虫抓取网页数据(教你如何利用requests网络库发掘网页中未的数据)

　　爬虫抓取网页数据(教你如何利用requests网络库发掘网页中未的数据)

　　爬虫抓取网页数据后，一般需要加载预览页，如果页面已经加载完毕，抓取到的数据就无法看到。这篇文章教你如何利用requests网络库发掘网页中未加载的数据。首先我们来理解什么是预览页，即起初加载时抓取数据网站上默认的加载页。如下图，我抓取了大量页面，并将那些没有预览数据的网页都作为参数传入java，生成了一个requests.post(pageno="1",headers={"user-agent":"mozilla/5.0(windowsnt6.1;wow64)applewebkit/537.36(khtml,likegecko)chrome/53.0.2924.106safari/537.36"})，该方法就是预览页。

　　另外，他在网站转存了这一页的数据，并从这一页开始抓取数据。大部分后端抓取方法是无法在加载页面后才从加载页开始抓取的，大多数方法是数据加载加载完了再抓取（例如ajax加载）。定义查询url为：，通过发送xmlhttprequest请求，连接到相应的httpserver。下面，我用requests.post.get函数抓取了web页面1以及一些无法利用浏览器预览页的网页：;initiate=movie%3d&page=1。

　　有一个叫getcribed.io的网站，抓取网页的时候输入某个url就可以获取到poststore里面的内容。但是可能因为加载超时的问题（win10桌面的ie11下成功率不高），导致抓取速度慢。另外一个方法是编写api请求，例如抓取个人介绍的话，需要分页抓取：;section=android_program_index(page=0,//网页是否允许抓取iconvisitor(config='android'))。