从网页抓取数据(从网页抓取数据是互联网爬虫的最重要能力之一)

　　从网页抓取数据(从网页抓取数据是互联网爬虫的最重要能力之一)

　　从网页抓取数据是互联网行业最基础的需求之一，自主爬虫能力就是互联网爬虫的最重要能力之一。自主爬虫在开源的互联网产品之中可选择的就更多了，

　　一、请求第一种方式是发起http请求，由于互联网起源于http协议，所以对于爬虫来说，都是使用http协议的方式发起。

　　最简单的有两种：1.静态html格式请求

　　1)查看url和cookie是否存在可以通过程序判断，

　　2)单页面html请求js在页面中会被拦截在浏览器上执行js。2.scrapy爬虫请求scrapy框架自带了http请求的方法，同时还提供了json、html和xml的解析方法。这些方法里可以判断是否存在scrapy.url和scrapy.urllibjson对象。3.请求get请求#抓取互联网信息selector=scrapy.field()criteria={'xxxxx':'location.here'}#判断请求类型第一种方式的请求url里有很多加粗的http协议字段，比如http://、http://、http://等，这些字段是固定的协议代码，它们都不包含业务语义，一旦加载请求就不会被改变，页面中显示的网址通常也不会变。

　　第二种方式的请求url里有较多的"encoding"字段，如gzip'3'、utf-8'8'等，这些协议代码要求传送的是utf-8或utf-8字节的数据，例如。值得注意的是，第二种方式要求对http报文进行整理，从报文的中剔除冗余和无意义的部分。

　　timeout=http。query_fastreport('获取信息时间')url=';management=spell31/'time_producer=selector。select(url)callback=time_producer。request(url)print(url)4。post请求#抓取互联网信息selector=scrapy。

　　field()criteria={'xxxxx':'location。here'}#如果请求url是post方式，需要进行以下检查headers={'x-requested-with':'xxx'}#headers中的'x-requested-with'会代表每次发起请求时，在页面返回之前，你可以明确地执行schedule_activated()方法检查所请求页面的资源是否包含正在运行的爬虫#注意：headers中的x-requested-with如果没有获取对应的网址，则无法执行schedule_activated()方法检查，如果你设置对应的资源，则schedule_activated方法会让每次请求，都去请求那个页面的列表request(url)请求activated()请求成功。

　　二、post请求#抓取互联网信息selector=scrapy.field()criteria={'xxxxx':'location.here'}#在写爬虫的过程中，