c爬虫抓取网页数据(HTTP的请求和响应General全部的1.Request请求的方式（getpost）)

　　c爬虫抓取网页数据(HTTP的请求和响应General全部的1.Request请求的方式（getpost）)

　　HTTP 请求和响应 一般所有 1.Request URL 请求的地址2.Request Method 请求的方法（get post）3.Response Headers Server 的响应 Request Headers Server 的请求1.@ >host：（主机和端口号）对应的URL2.Connection：（链接类型）3.User-Agent：用户代理4.Accept：（要传输的文件类型）5.referer：（页面跳转的地方）6.Cookie：（记录用户相关信息）7.Query String Paramerers 请求地址的参数

　　爬虫简介 什么是爬虫？简而言之，为什么需要爬虫而不是人来模拟浏览器进行网页操作？为其他程序提供数据源公司获取数据？1.公司自有数据2.第三方平台获取的数据免费平台：百度指数付费平台：Datatang3.爬虫爬取的数据python作为爬虫的优势1. PHP：对多线程和异步支持不是很好2.Java：代码量大，代码量大3.C/C++：代码量大，难写4.Python：很多支持模块，代码介绍，开发效率高（scrapy框架）爬虫分类1.一般网络爬虫如：百度雅虎谷歌2.专注网络爬虫：根据既定目标选择性抓取特定主题的内容几个概念1. URL组件 URL：全局统一资源定位器 https：网络协议：主机名，可以理解为主机名，这个主机在域名下TWF24000.html:Access Resource path anchor：锚点，用于前端页面定位。注意：当在浏览器中请求一个 URL 时，浏览器会对 URL 进行编码。（除英文字母、数字和一些符号外，其他都用%加十六进制编码） 例如：%E6%B5%B7%E8%B4%BC%E7%8E%8B&fr=search %E6%B5 % B7%E8%B4%BC%E7%8E%8B = One Piece2.User-Agent 用户代理角色：记录您浏览的详细信息，包括：操作系统内核浏览器版本等。例如：Mozilla/ 5. 提取数据和分析数据（一些经过特殊处理的并不都是准确的）2.Console：console（打印信息）用的不多3.Sources：信息源（网站@加载的整个文件） >) 不是 Multi- purpose 4.Net Work：网络工作（信息包抓包）可以看到很多网页请求 Cookie 记录服务器相关的用户信息。http 协议是无状态的。什么是无国籍？服务端无法判断用户身份 Cookie其实是一小段文字信息（key-value格式） 防爬功能：防爬模拟登录抓包工具1.元素：元素网页源码，提取数据和分析数据（有些经过特殊处理的并不全是准确的）2.控制台：console（打印信息）用的不多3.Sources：信息源（网站@>加载的整个文件）不是 Multi- purpose 4.Net Work：网络工作（信息包抓包）可以看到很多网页请求Cookie记录了服务器相关的用户信息。http 协议是无状态的。什么是无国籍？服务端无法判断用户身份 Cookie其实是一小段文字信息（key-value格式） 防爬功能：防爬模拟登录抓包工具1.元素：元素网页源码，提取数据，分析数据（有些经过特殊处理的，不一定都准确）2.Console：console（打印信息）用的不多3.Sources：信息源（网站加载的整个文件@>