在线抓取网页(Excel教程Excel函数Excel透视表Excel电子表格Excel基础入门到精通Excel实用技巧Excel2010高效抓取网页数据需要两步)

　　在线抓取网页(Excel教程Excel函数Excel透视表Excel电子表格Excel基础入门到精通Excel实用技巧Excel2010高效抓取网页数据需要两步)

　　在线抓取网页数据需要两步工作：1）在浏览器的地址栏，输入查询网站的url；2）在需要抓取的网页，找到这个url并发起请求；抓取页面，需要找到需要抓取的网页链接并发起请求。然后根据请求返回的内容找到页面的内容。就是抓取页面内容的可能方法多，返回的内容也可能包含多个网页地址，对于抓取单个网页，就可以通过输入网址就发起一次抓取请求，然后每次抓取一个网页。这样就可以抓取网页内容。

　　大众点评为例，登录大众点评首页，在左边菜单栏有一个创建账号按钮，点击登录。点击发送验证码，选择用户名手机或者邮箱，验证之后点击开始抓取。即可抓取大众点评多个网页。

　　可以用python的flask框架，里面有一个django.web.urls模块，它负责获取http请求中的requestname，requesturl和requestbody的内容。从我测试过程发现这个函数获取文件内容比正则表达式快。

　　用抓包工具，看文件名比如/t20357，

　　用一些爬虫工具来爬虫

　　主要原因可能是在大众点评这样的网站上，用户都是通过手机号关联账号等方式关联的，往往这类网站是通过首页一个页面爬取的，所以你提供一个二级页面（首页）的链接并不能达到反爬虫的目的。建议用keck模块，它们只抓取顶级页面。