c爬虫抓取网页数据(RequestHeaders请求的方式（getpost）RequestMethod：（主机和端口号）)

　　c爬虫抓取网页数据(RequestHeaders请求的方式（getpost）RequestMethod：（主机和端口号）)

　　HTTP 请求和响应 General All 1.Request URL Request URL2.Request Method Request method (get post) 3.Response Headers Server's response Request Headers Server's request1.Host: (host和端口号）对应的URL2.Connection：（链接类型）3.User-Agent：用户代理4.Accept：（要传输的文件类型）5.referer： （页面跳转的地方）6.Cookie：（记录用户相关信息）7.Query String Paramerers 请求地址的参数

　　爬虫简介 什么是爬虫？简而言之，为什么需要爬虫而不是人来模拟浏览器进行网页操作？为其他程序提供数据源公司获取数据？1.公司自有数据2.第三方平台获取的数据免费平台：百度指数付费平台：Datatang3.爬虫爬取的数据python作为爬虫的优势1. PHP：对多线程和异步支持不是很好2.Java：代码量大，代码量大3.C/C++：代码量大，难写4.Python：很多支持模块，代码介绍，开发效率高（scrapy框架）爬虫分类1.一般网络爬虫如：百度雅虎谷歌2.专注网络爬虫：根据既定目标选择性抓取特定主题的内容几个概念1. URL组件 URL：全局统一资源定位器 https：网络协议：主机名，可以理解为主机名，这个主机在域名下TWF24000.html:Access Resource path anchor：锚点，用于前端页面定位。注意：当您在浏览器中请求 URL 时，浏览器会对 URL 进行编码。

　　服务器内部请求5.Cookie 记录服务器相关的用户信息 http 协议是无状态的 什么是无状态？服务端无法确定用户身份Cookie实际上是一小段文本信息（key-value格式） 防爬功能：防爬模拟登录抓包工具1.元素：元素网页源码，提取数据并分析数据（一些经过特殊处理，所以不完全准确）2.Console：控制台（打印信息）用得不多3.Sources：信息源（整个网站加载的文件）用的不多4.Net Work：网络工作（信息抓取）可以看到很多网页请求 Cookie 记录服务器相关的用户信息 http 协议是无状态的 什么是无状态？服务端无法确定用户身份Cookie实际上是一小段文本信息（key-value格式） 防爬功能：防爬模拟登录抓包工具1.元素：元素网页源码，提取数据并分析数据（一些经过特殊处理，所以不完全准确）2.Console：控制台（打印信息）用得不多3.Sources：信息源（整个网站加载的文件）用的不多4.Net Work：网络工作（信息抓取）可以看到很多网页请求 Cookie 记录服务器相关的用户信息 http 协议是无状态的 什么是无状态？服务端无法确定用户身份Cookie实际上是一小段文本信息（key-value格式） 防爬功能：防爬模拟登录抓包工具1.元素：元素网页源码，提取数据并分析数据（一些经过特殊处理，所以不完全准确）2.Console：控制台（打印信息）用得不多3.Sources：信息源（整个网站加载的文件）用的不多4.Net Work：网络工作（信息抓取）可以看到很多网页请求