解决方案:五、蓝鲸管控平台支持Proxy模式

　　解决方案:五、蓝鲸管控平台支持Proxy模式

　　2021-10-30

　　关注嘉为科技，获取运维新知识

　　本文目录

　　一、蓝鲸简介

　　2、IT基础设施运维重点——服务器运维

　　3、蓝鲸管控平台：实力不凡的幕后英雄

　　4. 蓝鲸管控平台总体架构

　　5、蓝鲸管控平台支持代理模式

　　六、蓝鲸管控平台功能特点

　　七、蓝鲸管控平台的使用场景

　　八、蓝鲸管控平台整体特点

　　一、蓝鲸简介

　　蓝鲸智云，简称蓝鲸，是腾讯游戏运营部“腾讯智影”的子品牌。是一套基于PaaS的企业研发运营一体化技术解决方案，提供研发、运维、运营完整的PaaS技术平台。

　　平台提供完整的前后端开发框架、调度引擎、公共组件等模块，帮助业务产品和技术人员快速构建低成本、免运维的支撑工具和操作系统。

　　蓝鲸智云是腾讯游戏运营部多年积累的技术运营支撑系统，承担着上百家业务上线运营的使命。

　　对蓝鲸不熟悉的同学可以去这里：

　　,

　　也在这里：

　　请相信，你打开的不是两个链接，而是一个新天地，运维新天地。

　　2、IT基础设施运维重点——服务器运维

　　服务器（包括物理机和虚拟机）可能是企业IT运维管理中最常见、规模最大的一类管理对象。在大中型企业的IT环境中，服务器等对象往往具有以下特点：

　　把它们加起来：

　　服务器作为各类数据库、中间件、应用程序等组件的载体，注定成为IT运维管理的重要对象，也可能是运维操作数量最多、频率最高的对象.

　　鉴于服务器运维的上述特点和现状，我们很容易想到利用自动化运维平台和工具来实现服务器的*敏*感*词*、自动化运维管理。有实力的伙伴可以进一步关联蓝鲸平台的运营平台、标准运维等能力，实现服务器的自动化运维管理。

　　伟大的！但是在使用上述蓝鲸平台的SaaS工具实现服务器自动化管理之前，首先需要对所有的服务器对象进行统一管理，那么谁来做呢？是蓝鲸的管控平台。

　　只有对服务器进行统一管理，将运维驱动服务器的能力通过API接口释放到上述SaaS工具中，运营平台和标准运维才有用。

　　3、管控平台：非凡的幕后功臣

　　

　　如果你把蓝鲸的管控平台理解为一个安装在服务器上的Agent，后端是一个Server，那就太年轻太简单了。

　　蓝鲸管控平台是整个蓝鲸平台的底层管控系统，是蓝鲸其他所有服务的基础，是蓝鲸服务系统与用户机器的连接器。

　　蓝鲸管控平台是典型的二层分布式C/S结构，主要包括智能Agent、提供各种服务的Server以及Zookeeper、Redis、MySQL等*敏*感*词*保障模块。其中，Agent是部署在业务机上的程序，每台业务机理论上只能部署一个；其他模块的部署没有具体要求，用户可以单独或组合部署。

　　在整个蓝鲸体系中，只有蓝鲸管控平台不直接面向用户，但蓝鲸管控平台在蓝鲸体系中不可或缺。为其他蓝鲸平台提供人机交互的渠道和能力。蓝鲸管控平台主要提供三类服务能力：文件分发与传输能力、实时命令执行与反馈能力、大数据采集与传输能力。

　　事实上，蓝鲸在设计管控平台时，再次使用了“服务能力抽象化、原子化”的设计思路。我们在文章《看蓝鲸标准运维如何安排一切》介绍“标准运维”这个产品是如何诞生的时候，提到了这个思路：把复杂的运维流程分解，抽象成运维Atom，通过原子的组装和排列，实现各种复杂的运维场景和流程。

　　的

　　控制平台的设计也是如此。如果你仔细观察上面列出的所有服务器级别的操作和管理，并仔细思考它们的相似之处，你会发现所有这些操作最终都是通过使用这三种能力中的一种或多种在操作系统层面实现的。几种类型：文件分发和传输能力，实时命令执行和反馈能力，大数据采集和传输能力。

　　在蓝鲸管控平台中，在服务端客户端的Agent层提供了对应这三种能力的三个面向操作系统的通道：文件分发和传输的管道，实时执行和反馈的管道。命令，以及大数据采集和传输管道；后台服务器端对应提供三种类型的服务器：TaskServer（命令）、FileServer（文件）、DataServer（数据），执行相应的能力，提供相应的服务。

　　这与我们之前看到的很多其他类型软件的Agent有很大的不同。蓝鲸Agent上并没有集成具体的功能，Agent只提供三种流水线能力。功能或场景的定义是在蓝鲸平台的SaaS层定义的。

　　如下图所示： *敏*感*词*框内为蓝鲸Agent提供的三种流水线能力，由管控平台直接接管；具体的运维场景和功能定义在SaaS工具层，比如我们提前介绍了操作系统批量检查、补丁管理、安全基线管理、软件安装卸载、账号权限管理、日志管理等。 ，它们通过调用管道能力的不同组合来实现各自的功能，如下图红框所示。

　　这样做有什么好处？通过这样的安排，其实我们把SaaS的功能和场景和Agent解耦了。当运维工作中出现操作系统层面的新运维场景时，需要开发新的SaaS工具来实现。管控平台和Agent的流水线和能力可以通过ESB（企业运维服务总线）直接调用，不需要修改或改变管控平台或Agent的任务。它聪明而强大吗？

　　4. 蓝鲸管控平台总体架构

　　我们将以上蓝鲸管控平台的描述具体化和可视化后，可以得到如下图：

　　在：

　　5、蓝鲸管控平台支持Proxy模式

　　蓝鲸管控平台还支持Proxy模式。当我们需要对私有云或公有云中隔离网络区域的服务器进行管理和控制时，可以通过一级或多级代理级联来统一管理和驱动。这使得蓝鲸能够管理和控制平台的海量、跨云、全球节点管理能力。

　　Proxy模式架构图如下图所示：

　　六、蓝鲸管控平台功能特点

　　1、文件分发与传输

　　文件分发是指用户将指定的文件从指定的机器批量传输到指定范围的机器。文件分发是一种用户行为，传输是针对用户行为的程序行为。

　　下面简单介绍一下文件分发传输的主要功能点：

　　传输模式：

　　传输类型：

　　运输控制：

　　2.实时任务执行

　　

　　任务类型：

　　任务控制：

　　3.数据采集和传输

　　数据 采集 服务：

　　4.集群管理

　　集群管理

　　5. 支持的操作系统

　　6.社区版、企业版、公有云版的区别

　　七、蓝鲸管控平台的使用场景

　　在蓝鲸的众多SaaS工具中，都需要管控平台提供的底层能力。这里我们简单给出一些场景和例子：

　　操作平台：

　　作业平台是脚本执行、文件传输和SQL执行的统一作业中心。作业平台中的作业任务主要调用管控平台的命令执行和文件传输两个服务，实现作业任务的执行。

　　配置平台：

　　在蓝鲸云系统中，配置平台扮演着基石的角色，为应用的各种运维场景提供配置数据服务。在配置平台中，主要使用管控平台的数据采集能力，包括CI属性，服务器性能状态快照等采集。

　　蓝鲸监测：

　　蓝鲸监控在统一监控服务器实时采集服务器性能指标的过程中，也需要借助管控平台的采集能力。

　　有很多很多的场景和例子，比如标准运维的流程安排，大数据平台的数据接入和采集，日志的检索和查询等等，包括我们在Blue上定制开发的SaaS鲸鱼平台还需要调用管控平台的能力。

　　八、蓝鲸管控平台整体特点

　　接下来，我们通过几句重点来总结一下蓝鲸管控平台的整体特点和优势：

　　最新的蓝鲸社区版4.1.14已经正式发布，你还在等什么？赶紧下载，一起体验蓝鲸管控平台的强大能力。

　　本文部分产品介绍来自官方白皮书：

　　解决方案:作为基础服务的数据采集，发展到哪个阶段了？

　　这是一个数据驱动业务发展的时代。

　　数据挖掘和分析不再是BAT大公司的专属，逐渐成为中小企业的基本需求，而且越来越迫切。而数据挖掘技能也随着网络爬虫的普及、云计算计算能力的提高、机器学习算法的发展而逐渐流行起来。广大中小企业也可以基于数据驱动提供更好的服务和产品，从而获得更大的发展。

　　数据挖掘其实是一个很大的概念。本文主要讨论“挖掘”，或者说“网络爬虫”和“网络爬虫”，比较容易理解。因为除了少数产品需要获取海量数据外，大部分企业都需要从公共数据，主要是互联网获取外部数据，以进行市场分析、舆情监测、竞品分析等。

　　在我看来，我更愿意称它为“data采集”。分为“采集”和“采集”两个步骤。

　　对应的“获取”主要是指数据的获取，可以通过多种方式进行，网络爬取是主要的，另外还有数据合作和购买。

　　对应的“集”是数据的清洗、连接、整合，将低价值密度的数据转化为高价值密度的数据。

　　数据阶段 采集

　　据笔者分析，数据采集自1990年代成为兴趣以来，长期以来一直是技术开发人员的一项特殊技能。但随着云计算、大数据乃至人工智能的发展，这项技能变得简单易用，就像“旧时王谢堂前的燕子飞入寻常百姓家”。主要经历四个阶段。

　　熟悉爬虫的攻城狮会想说出其中的一堆：Scrapy、WebMagic、Nutch、Heritrix等，相信Github上的爬虫框架不下30个。他们的共同特点是：门槛高，只面向开发者，学习和维护成本比较高，企业组建一个成型的爬虫团队往往成本高昂。

　　用户需要下载客户端，还需要具备一定的HTML、正则表达式和CSS能力。国内最早的客户端叫优采云采集器，属于第一代爬虫工具，对HTML和正则表达式要求比较高（笔者测试）。

　　优采云、极搜客GooSeeker等二代产品提供可视化爬取服务，通过点击爬取需要的数据。其特点是：门槛进一步降低，对于非专业开发者，经过一定的学习后，可以自行爬取所需的公开数据。但是，它主要针对个人用户。由于用户客户端的限制，难以*敏*感*词*持续爬取，难以平衡数据存储和分析。

　　首先，用户体验大大提升。他们中的大多数采用点击的方法。用户所见即所得。他们无需编写代码或了解 HTML、正则表达式和 CSS 样式，就可以自定义他们想要的爬虫。其次，不用担心自己电脑的局限性。爬虫运行的云端可以固定在固定的时间，也可以爬取大量的数据，甚至可以在云端做一定程度的数据清洗和整合。

　　目前国外数据采集项目大多采用前端点击方式，后端云服务模式。以下为国外项目清单：

　　

　　目前国内有三类数据采集项目：

　　1. 基于客户端或插件的云端采集服务。

　　客户端方式的代表项目有优采云和GooSeeker，它们不是单纯依赖客户端的计算资源，而是利用客户端方式进行可视化点击，提供更好的用户体验和更快的速度。速度。同时，将爬取服务迁移至云端，提供更强的数据爬取和数据整合能力。

　　浏览器插件的方法就像爬山爬山。通过安装浏览器插件，实现前端点选方式，后端云服务方式。

　　2. 基于网络的云采集服务

　　用户无需安装，直接对网友进行点击操作，云端提供爬取服务。这种方式的优点是简单方便，用户可以随时随地使用。国外很多项目采用这种模式，比如import.io，国内采用这种模式的项目是造树科技。但缺点是网页需要先在云端加载渲染，然后呈现给用户，这需要提供商大量的计算资源，而且速度往往很慢。

　　3. Cloud 采集开发者的开发云服务

　　目前，国内一家名为优采云的公司正在提供此类服务。具备JavaScript能力的开发者可以在平台上开发爬虫；没有开发能力的用户可以在爬虫市场购买或定制开发所需的爬虫。

　　现在的市场，基本上80%的人使用采集20%的网络数据，比如企业信息、电子商务、O2O等，而这些网络数据往往具有很强的反爬能力。

　　笔者认为目前的数据采集还处于3.0阶段，4.0阶段尚未形成，即提供数据采集、清洗、连接、分析等一体化数据服务能力。

　　从3.0跳到4.0阶段，在我看来，不仅仅是技术上的升级。不同的行业、不同的场景需要不同的数据，往往很难标准化。这将导致定制化，难以形成标准产品和规模扩张。场景变化带来的技术挑战会凸显出来，因为真实场景所需要的技术不是简单的升级，而是颠覆性的创新。

　　至于未来会不会完成跳转，未来如何为大家服务，目前还不好说。目前国外的import.io、dexi.io、Connotate，国内的优采云、优采云、造数都在做自己的探索。

　　合法性讨论

　　

　　在互联网领域，数据采集的合法性一直存在争议，确实存在利用数据采集工具进行非法交易的*敏*感*词*。数据爬取就像一把锋利的双刃剑，主要看用户是否以有益的方式应用。

　　事实上，互联网数据爬取的主要标准是Robots协议，也称为爬虫协议。网站使用Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不可以抓取。这本来是针对搜索引擎公司的，大家自觉遵守的约定。

　　随着数据采集范围的扩大，这个约定逐渐被打破，但也有既定的规则，广大数据采集公司应该遵守。

　　1、采集应为在线公开数据，数据的使用不能用于复制网站信息，或单纯出售数据。更允许的情况是将多方采集的公开数据进行整合分析，形成一个数据分析服务。

　　2、采集的强度不应损害当前网站的性能，这会无形中增加目标网站的维护成本，甚至造成损失。

　　此外，我国刚刚于6月1日实施了《中华人民共和国网络安全法》，这是我国网络领域的基本法，明确加强个人信息保护，打击网络诈骗。 .

　　《网络安全法》共7章79条，对个人信息泄露规定：网络产品、服务具有采集用户信息功能的，其提供者应当向用户明示并征得其同意；网络运营者不得泄露、篡改、毁坏其采集的个人信息；任何个人和组织不得窃取或者以其他非法方式获取个人信息，不得非法出售或者非法向他人提供个人信息。这对于数据采集公司来说可能更有方向性。

　　数据采集发展到现在，怎么现在又爆了？

　　随着云计算、大数据、人工智能的发展，数据采集作为数据的重要手段，已经成为企业的迫切需求。首当其冲的是中小企业的数据采集团队，不再需要维护一个完整的团队，大大降低了企业的成本。这些节省下来的钱可以用来开发用户数据产品，增加产品的价值。对于普通人来说，无需高门槛，即可定制属于自己的数据采集解决方案，并将广泛应用于更多行业、更多场景。

　　人工智能的服务形态告诉我们，对于那些信息完备（Information-Complete）的领域，机器终将超越并取代人类；

　　对于那些信息不完全（Information-Incomplete）的领域，也将通过人机协作促进新的发展；

　　对于抽象思维（Information-Free）的那些领域，人类仍然占主导地位，机器提供一些帮助。

　　数据采集属于Information-Complete领域。机器采集，清洗和整合数据完全可以代替人，然后通过与人的协作进行数据分析和预测。这将是即将发生的事情。

　　关于知投云：

　　知投云（微信公众号：vc-smart）是一家专业的创投机构投资管理服务商，帮助投资机构高效便捷地管理投资项目，开发优质项目资源，提供创投数据挖掘和分析服务，帮助投资经理快速获取项目和行业信息，协助行业分析。