自动抓取网页数据本质上就是翻页链接里面不放各种参数

　　自动抓取网页数据本质上就是翻页链接里面不放各种参数

　　自动抓取网页数据本质上就是翻页，只是翻页的链接里面不放各种参数。这种数据抓取的方法早已有，webmagic、page-source这些都已经有成熟的封装和使用方法。对于初学者，可以选一个看看。

　　url分为http和https，对应抓取http和https的数据。很多人没有记住http和https的区别，导致抓取的时候处于混乱状态。

　　普通的.js文件通过urllib2可以读取html的。因为http协议所限，不能读取js，甚至get或post都不行。但是js做一个dom操作，swiper.js这个写js的可以读取，顺便加点查询，letsum=(location.href+function(param){returnparam.url+'';}).foreach(swiper.js.function(response){response.tostring();});然后就可以交给jquery.js了。

　　这个你可以看看这篇，不过这个是针对web前端的文章。希望对你有帮助。

　　请求页面的时候request参数里的url,再结合需要的关键字和页面上的链接，就可以抓取html数据了。

　　楼上的回答比较复杂，实际上稍微简单点，用个*敏*感*词*可以实现。

　　可以先尝试selenium这个库，

　　爬虫其实原理很简单的，就是采集。从源头开始采集。浏览器浏览，进入html页面，然后发送到e-mail中。e-mail要发给浏览器。e-mail里要有头部和尾部，所以有body。body里又包含多少内容，就可以抓取出来。这个过程每一步都是抓取。