php爬虫抓取网页数据:1、爬虫分析页面(一)

　　php爬虫抓取网页数据:1、爬虫分析页面(一)

　　php爬虫抓取网页数据:

　　1、爬虫分析页面

　　2、数据库表结构

　　3、存储数据

　　4、解析数据

　　5、提取数据工欲善其事必先利其器。

　　在本例中，需要制作一个简单的爬虫，

　　1、请求各个页面

　　2、解析网页由于实在是有些简单，这里我们重点介绍请求各个页面。

　　1、请求网页搜索引擎的请求是高危请求，一旦被拦截，可能直接送到黑名单。所以一般请求都会事先编写或请求加密。尽量使用urllib2。编写urllib2请求的函数名可以自己设置，以后会陆续发给大家，我这里使用的是ncurl。urllib2的请求方法有post、get、put、pattern等。这里我们只介绍get请求。get请求有请求头设置信息：。

　　2、抓取搜索结果各个页面的抓取都是通过爬虫，它是无状态的，一旦抓取完就不再更新了。要给抓取制定主题（显示哪些数据）、数据格式（像xml还是html格式）、等待时间（定时或者延时）。由于有请求头的设置，所以可以用request.get("")直接返回内容。这样可以避免网页缓存。post请求可以不通过这个请求头直接返回内容。同样，可以请求头设置：。

　　3、解析网页抓取完整个页面后，在浏览器中显示的时候，会显示各个url的首字母。那么我们要如何从url中解析出想要的结果呢。这里推荐用爬虫解析网页，相对来说更直观易懂。具体怎么使用爬虫解析网页呢。我们需要导入第三方库进行抓取前的抓包分析。请求一般为https格式，以后我们需要抓包分析一下。解析设置完成后，接下来需要解析字符串。

　　解析完字符串后，抓取一遍请求的url并保存下来，将该url的内容全部显示出来。下面抓取了首页我们做一下展示。