php 爬虫抓取网页数据(如何实现一个爬虫找到目标.跟具url发起请求3.解析)

　　php 爬虫抓取网页数据(如何实现一个爬虫找到目标.跟具url发起请求3.解析)

　　大数据数据库时代：如何产生数据：1.大公司，大公司：用户产生的用户2.大数据平台：通过采集或与其他公司或公司合作3.大机构国家政府：4.数据咨询公司通过省、县、乡统计或其他方式产生的数据：通过采集或与其他企业或公司合作，对数据进行分析比较形成报告5.@ > 最后，当以上方法都不够时，我们需要一个爬虫工程师来做特殊的数据提取。1.什么是爬虫？是一个自动获取互联网数据的程序2. 爬虫的目的是什么？搜索引擎比价工具（慧慧购物助手）大新闻网站（今日头条）

　　网站的三个特点：

　　生态完整，用途广泛（后端移动端.....）。Java爬虫是python最大的竞争对手，但是java代码量比较大，重构成本比较高。C/c++：爬虫绝对可以完成，运行效率很高，但是门槛很高。每个模型可能需要你自己封装和定制python：语法简单，代码漂亮，可读性高，对每个模块的支持更好。有一个非常强大的三方包，可以很好地处理多任务。urllib 和 requests 可以帮助我们实现一个爬虫项目。有很多解析库页面（lxml、bs4、pyquery...），也有非常强大的scrapy爬虫框架和scrapy-readis分布式爬虫框架，而python是一种胶水语言，非常方便其他语言的调度。爬虫分为两类： 一般爬虫：一般爬虫正在浏览浏览器的重要部分是将互联网上的所有网页下载到本地，做镜像备份，提取重要数据（过滤数据、粉刺、去除广告...）。步骤其实和上面描述的搜索引擎爬行类似。转到上述方法得到的url???1.via网站2. 网页提交url：（百度：）3. 各大搜索引擎公司也将合作DNS 服务提供商 一般爬虫在浏览浏览器的重要部分是将互联网上的所有网页下载到本地，做镜像备份，提取重要数据（过滤数据、祛痘、去除广告...）。步骤其实和上面描述的搜索引擎爬行类似。转到上述方法得到的url???1.via网站2. 网页提交url：（百度：）3. 各大搜索引擎公司也将合作DNS 服务提供商 一般爬虫在浏览浏览器的重要部分是将互联网上的所有网页下载到本地，做镜像备份，提取重要数据（过滤数据、祛痘、去除广告...）。步骤其实和上面描述的搜索引擎爬行类似。转到上述方法得到的url???1.via网站2. 网页提交url：（百度：）3. 各大搜索引擎公司也将合作DNS 服务提供商

　　DNS：一种将我们的域名转换为 ip 的技术

　　爬虫（搜索引擎）的缺点：1.需要遵循roboot协议：Robots协议（又称爬虫协议、机器人协议等）就是“机器人排除协议”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以爬取，哪些页面不能爬取。2.搜索引擎针对性不强，无法针对特殊用户群返回相应数据。3. 搜索引擎一般获取文本信息、处理图像、音频。视频多媒体还是难以聚焦的爬虫：它是面向主题的爬虫，由需求生成，是定向爬虫，在爬取网页数据时，会选择网页数据，保证与需求相关的数据是被俘。将来，我们会更加关注爬虫需要掌握的知识1.pyton的基本语法2.前端知识3.数据持久化知识4.基本的反爬取手段（header请求头验证码coolies proxy) 5.@> 静态页面动态页面(ajax、js)、selenium(获取的页码为浏览器渲染后的最终结果) 6. 多任务多处理、Crawler框架、分布式爬虫等 HTTP：超文本协议，主要用于将 HTML 文本传递给本地浏览器。HTTPS：功能与HTTP相同，但增加了SSL（Secure Socket Layer），保证数据传输通道的安全1.在小区外建立安全有效的数据传输通道，保证数据安全2.

　　2xx：表示服务器成功接收到请求，已经完成了整个处理过程。200（OK 请求成功）。3xx：为了完成请求，客户端需要进一步细化请求。例如：请求的资源已经移动到新的地址，常用 301：永久重定向 302：临时重定向（请求的页面已经临时转移到新的url） 4xx：客户端的请求有错误。400：请求错误，服务器无法解析请求 401：未经授权，未认证 403：服务器拒绝访问 404：服务器找不到请求的网页 408：请求超时 5xx：服务器错误 500：服务器内部错误 501：服务器没有完成请求的功能 503 : 服务器不可用