php 抓取网页数据(为什么选择Python做爬虫？可以做的语言有很多)

　　php 抓取网页数据(为什么选择Python做爬虫？可以做的语言有很多)

　　Crawler：爬取网页数据的程序原理：利用网页的URL和HTTP/HTTPS协议思路：获取爬取的URL；通过HTTP/HTTPS协议获取HTML页面；查找数据；节省。为什么选择 Python 作为爬虫？可以做爬虫的语言有很多，比如PHP、Java、C/C++、Python等 PHP：对多线程和异步的支持不够好，并发处理能力很弱. 爬虫是一个工具程序，对速度和效率的要求很高。Java：语言笨拙，代码量巨大。重构的成本比较高，修改会导致代码的大量变化。爬虫经常需要修改部分采集代码。C/C++：具有强大的运行效率和性能，

　　Python：语法优美，代码简洁，开发效率高，支持的模块多。相关的HTTP请求模块和HTML解析模块非常丰富。还有强大的爬虫Scrapy，以及成熟高效的scrapy-redis分布式策略。调用其他接口很方便。爬取HTML页面：HTTP请求处理：urllib，urllib2、requests模拟浏览器发送请求，获取服务器响应文件解析服务器响应：re,xpath,BeautifulSoup4(bs4）,jsonpath,pyquery为要提取的数据定义一个匹配规则，匹配这个规则的数据会被匹配。采集动态HTML，验证码处理：动态页面采集：Selenium + PhantomJS（无接口）：模拟浏览器加载js、ajax等非静态页面数据。

　　验证码处理： Tesseract：机器学习库，机器图像识别系统，通过人工输入/专用编码平台框架和分布式策略处理简单、复杂的验证码 Scrapy 框架：（Scrapy、Pyspider） 高定制化 高性能（扭曲的异步网络框架）、数据下载速度非常快，提供数据存储、数据下载、提取规则等组件。分布式策略scrapy-reids：scrapy-redis在Scrapy的基础上增加了一套以Redis数据库（内存）为中心的组件。让scrapy框架支持分布式功能，主要在Redis中做请求、指纹去重、请求分配、临时数据存储。万能爬虫：搜索引擎（百度等）使用的爬虫系统。) 将互联网上的所有网页尽可能的下载下来，放到本地服务器上形成备份，然后对这些网页进行相关处理（提取关键词、去除广告），最后提供一个用户检索界面。遵守规则： Robots 协议：该协议规定了通用爬虫可以爬取网页的权限。一般爬虫工作流程：爬取网页——存储数据——内容处理——提供检索/排名服务 重点爬虫：爬虫程序员针对特定内容编写的爬虫。（针对性）我们要学习的爬虫---关注爬虫数据获取路径 最后提供一个用户检索接口。遵守规则： Robots 协议：该协议规定了通用爬虫可以爬取网页的权限。一般爬虫工作流程：爬取网页——存储数据——内容处理——提供检索/排名服务 重点爬虫：爬虫程序员针对特定内容编写的爬虫。（针对性）我们要学习的爬虫---关注爬虫数据获取路径 最后提供一个用户检索接口。遵守规则： Robots 协议：该协议规定了通用爬虫可以爬取网页的权限。一般爬虫工作流程：爬取网页——存储数据——内容处理——提供检索/排名服务 重点爬虫：爬虫程序员针对特定内容编写的爬虫。（针对性）我们要学习的爬虫---关注爬虫数据获取路径