网页抓取数据 免费(请求头，用来说明服务器要使用的附加信息..)

　　网页抓取数据 免费(请求头，用来说明服务器要使用的附加信息..)

　　请求头用于描述服务器将使用的附加信息。专注于：Accept、Cookie、Referer、User-Agent

　　1.Accept：请求头域，用于指定客户端可以接受什么类型的信息。＃ 重点 （*/*）

　　2.Cookies：Cookies 也常用复数形式。这是存储在用户本地网站的数据，用于识别用户进行会话跟踪。它的主要功能是维护当前的访问会话。例如，我们通过输入用户名和密码成功登录到某个网站后，服务器会在一个会话中保存登录状态信息，每次刷新或请求该站点的其他页面时，我们会发现是登录状态。这是 Cookie 的功劳。Cookies 中有识别我们相应服务器会话的信息。浏览器每次请求本站的一个页面时，都会在请求头中添加 Cookies 并发送给服务器。服务器通过 Cookies 识别出它是我们自己。

　　3.Referer：此内容用于标识发出请求的页面。服务端可以得到这些信息并做相应的处理，比如源码统计、反盗链处理等#Focus

　　4.User-Agent：简称UA，是一个特殊的字符串头，可以让服务器识别客户端使用的操作系统和版本、浏览器和版本。当你在做爬虫的时候添加这些信息，就可以冒充浏览器了；如果不添加，很可能会被识别为爬虫#key

　　5.x-requested-with :XMLHttpRequest #代表ajax请求

　　5.Accept-Language：指定客户端可接受的语言类型。

　　6.Accept-Encoding：指定客户端可接受的内容编码

　　7.Content-Type：也称为 Internet 媒体类型或 MIME 类型。在HTTP协议消息头中，用于指示特定请求中的媒体类型信息。比如text/html代表HTML格式，image/gif代表GIF图片，application/json代表JSON类型