怎样抓取网页数据(模拟真实浏览器发送请求，获取服务器响应的文件)

　　怎样抓取网页数据(模拟真实浏览器发送请求，获取服务器响应的文件)

　　b） 处理后的请求可以模拟浏览器发送请求并获取服务器响应的文件

　　3、parse服务器响应内容

　　a） re、xpath、beautifulSoup4（bs4)、jsonpath、pyquery

　　b） 使用描述性语言为需要提取的数据定义匹配规则。如果符合规则，则数据将匹配

　　4、如何处理采集动态HTML和验证代码

　　a） 通用动态页面采集，selenium+phantom JS（无接口）：模拟真实浏览器加载JS和Ajax非静态页面数据

　　b） Tesseract：机器学习库，机器图像识别系统，可以处理简单的验证代码。复杂的验证代码可以手动输入并在平台上打印

　　5、scrapy框架（scrapy，pyspider）

　　高定制和高性能（异步网络框架扭曲），因此数据下载速度特别快。它提供数据存储、数据下载、提取规则等组件

　　6、分布式策略：

　　a） Scratch redis在Scratch的基础上增加了一组以redis数据库为核心的组件

　　b） 功能：主要在redis中执行指纹重复数据消除、请求分配和临时数据存储

　　7、爬行动物，反爬行动物，反爬行动物斗争：

　　a） 爬虫最头疼的不是复杂的页面，而是它背后的网站另一个人

　　反爬虫：用户代理、代理、验证码、动态数据加载、加密数据

　　反爬虫主要取决于数据值。做反爬虫值得吗

　　主要考虑如下：机器成本+人工成本的数据值不可反转。一般来说，IP密封已经结束

　　通用爬虫焦点爬虫

　　1、universal crawler：搜索引擎的爬虫系统

　　-1目标：尽可能下载互联网上的所有网页，将其放入本地服务器进行备份，然后对这些网页进行相应处理（提取关键字和删除广告），最后为用户提供登录的借口

　　-二,。捕获过程：

　　a。最好选择一些现有URL并将它们放入要爬网的队列中

　　b。从队列中获取这些URL，然后解析DNS以获取主机IP，然后从IP对应的服务器下载HTML页面，保存到搜索引擎对应的服务器，然后将爬网URL放入爬网队列

　　c。分析这些网页的内容，找出网页中的其他URL连接，并继续执行第二部分，直到爬虫条件结束

　　-3、搜索引擎如何获得新的URL网站

　　1、主动向搜索引擎提交网站（百度连接提交）

　　2、在其他网站中设置外链：

　　3、搜索引擎将与DNS服务提供商合作，快速收录new网站

　　DNS：一种将域名解析为IP地址的技术

　　-4、universal Crawler并不是所有可以爬行的东西，它们还需要遵守规则

　　Robots协议：该协议将指定普通爬虫可以爬网网页的权限

　　Robots.txt只是一个建议。并不是所有的爬虫都跟随它。只有大型搜索引擎爬虫才需要跟随它

　　-5通用爬虫工作流：抓取网页、存储数据、内容处理、提供索引/排名服务

　　-6、搜索引擎排名：

　　a。PageRank：根据网站流量（点击率/浏览量/人气），流量越高

　　b。竞争排名：谁给的钱越多，排名就越高

　　-7、universal crawler的缺点：

　　1、只能提供文本相关内容（HTML\word\PDF）等，但不能提供多媒体和二进制

　　2、为不同背景的人提供不同的搜索结果

　　3、无法理解人类语义检索

　　要解决此问题，将出现焦点爬虫：

　　聚焦爬虫：由爬虫程序员为特定内容编写的爬虫

　　面向主题的爬虫、面向需求的爬虫：它将对特定内容的信息进行爬虫，并确保信息和需求尽可能相关