解决方案:鹰眼：海量级分布式日志系统上云的架构和实践

　　解决方案:鹰眼：海量级分布式日志系统上云的架构和实践

　　Eagle Eye是PCG技术运营部负责的海量分布式实时监控和日志分析系统。它支持多语言报告。域名是：/

　　鹰眼的数据上报是通过ATTA提供的，ATTA支持多语言上报（JAVA、Python、C++等），上报后鹰眼从ATTA系统中拉取数据，最后写入ES，通过ES的倒排索引机制，快速查询功能，写入功能等。

　　Eagle Eye利用ES的倒排索引机制和百亿级数据秒级查询返回能力，提供如下功能：

　　1、实时日志查询服务数据

　　实时日志查询服务数据上报给ATTA后，开发可以通过鹰眼及时查询日志定位问题，运维可以通过数据实时查询业务的运行状态鹰眼提供的统计接口。

　　2、数据分析能力

　　鹰眼数据入库后，用户可以直接通过API调用进行OLAP分析。

　　3.错误日志告*敏*感*词*务

　　如果程序出现错误，可以根据鹰眼规范上报错误日志，鹰眼会根据不同的错误代码进行分词和分钟级告警。

　　4.Grafana实时分析告警

　　通过grafana上报给鹰眼的数据进行实时分析和告警。（因为ES不支持大并发查询，不可能实时分析非常大的数据）

　　二、上云的背景

　　公司调整战略，成立新的云事业群，在内部成立“技术委员会”，推出“开源协作”和“业务上云”两大战略方向。

　　在架构演进中，鹰眼团队上云可以获得哪些收益？上云有什么价值？

　　1.商业价值 2.工程师价值 3.腾讯云价值 3.组件云架构选择

　　

" />

　　为了保证业务的连续性和架构的演进，数据导入过程中的主要流程没有太大变化。Kafka直接使用云端的CKAFKA，ES直接使用云端的ES。

　　ES和Kafka直接使用云端组件，其他组件需要重构。

　　1.重构LogSender

　　生产者程序写入Kafka的性能瓶颈特别大，高峰期数据丢失特别严重。

　　Producer程序写入数据流程：读取BOSS订阅->IP解析->写入Kafka。

　　(1) IP解析性能瓶颈

　　以前，生产者程序是 C++ 版本。打印日志后发现，IP解析在高峰期特别耗时。查看代码，发现IP解析被锁定。因此，在高峰期数据丢失尤为严重。解决办法是：把IP解析改成二分查找算法定位IP，然后取消锁解决。

　　(2) Kafka性能瓶颈问题

　　因为我们的producer程序，一个程序会读取很多很多topic然后写到kafka。我们尝试使用一个生产者和多个生产者来发送，但是性能无法提高。

　　查看源码后发现，Kafka在发送时，会根据topic分区对队列进行加锁。当队列满了，它会发送一批消息出去。所以解决办法是，每个BOSSID应该有一个独立的发送客户端。

　　优化后：当数据量很大时，由于程序性能原因，单个节点一分钟最多只能处理13万条左右的数据。改进后，单个节点可处理约55万条数据。性能提高了 4 倍。

　　2.Kafka选型

　　一般来说，高版本的Kafka比低版本支持更多的功能，比如事务、磁盘间的数据传输等，写入性能不会下降。这里选择的是最高版本。

　　当然，CKAFKA并没有给我们选择版本的机会。客户端写的时候一定要和kafka服务器的版本保持一致，避免出现不必要的问题。

　　比如低版本的客户端向高版本的Kafka写数据，如果使用数据压缩，服务端收到数据后会解压，然后按照对应的格式进行压缩（如果版本相同，这个动作不会发生），增加了服务器的运行成本。

　　Kafka上云后，单机性能可以达到400MB/s，而我们自建的Kafka单机性能可以达到100MB/s，性能提升4倍。

　　3.重构环聊

　　对于ES的编写，业界有很多组件，最著名的就是Logstach。由于性能不够，我们重新开发了一套读Kafka写ES的组件。

　　

" />

　　核心优化点如下：

　　由于磁盘IO大幅减少，在极度优化下性能还能继续提升2倍以上。总体而言，ES 写入性能提升了 6 倍左右。

　　4.ES选择

　　低版本ES支持TCP写法和HTTP写法，高版本只支持一种HTTP写法。实际测试发现有以下差异：

　　所以我们采用云版本ES 6.8.2。

　　上云后的效果：

　　4、上云后的变化

　　ES/Kafka上云后，有50多个ES集群，12个Kafka集群。

　　1.减少工作量

　　如果不上云，搭建这些集群平均需要20台机器一个ES集群。从申请机器，到机器初始化，磁盘RAID，安装ES，每个ES平均需要3-4人/天，所以建设成本已经需要200多人（62*3-4）每天，而且集群运维成本暂且不提，远远超过了鹰眼团队的人力。

　　2. 降低成本

　　上云后，随着各组件的优化，整体性能至少提升2-3倍，所需资源同比减少2-3倍，每年节省成本至少2kw。

　　3、工作更专注

　　上云后：

　　五、后续架构演进 1、监控系统建设

　　核心模块必须同时具备日志和监控功能。不同模块的监控维度相互对应，使核心模块、日志、监控兼得。当业务出现异常时，异常的基础数据（如CPU/Mem等）、指标数据、日志数据等，构建完整的监控体系。

　　2、架构不断升级

　　目前自研的Hangout写法只能保证至少一次，不能保证恰好一次。尽量通过flink的checkpoint机制保证数据链路的完整性。

　　解决方案:郑州专业网站优化外包

　　优化步骤和技巧

　　SEO优化其实是优化的一部分，无论是站内优化还是站外优化，都收录

在其中，以提高在搜索引擎上的排名，起到直销或企业品牌推广的作用，确保公司通过在线服务获得足够的收入。利润。

　　优化步骤和技巧：

　　1、关键词分析（也叫关键词定位）

　　这是SEO的重要组成部分。关键词分析包括：关键词关注者分析、竞争对手分析、关键词和关联分析、关键词布局、关键词排名预测。

　　2.架构分析

　　结构符合搜索引擎的爬虫偏好，有利于SEO。架构分析包括：消除不良架构设计、实现树状目录结构、导航和链接优化。

　　3.目录和页面优化

　　SEO不仅仅是让首页在搜索引擎中有好的排名，更重要的是让你网站的每一页都带来流量。

　　4、内容发布及链接整理

　　搜索引擎喜欢定期更新内容，因此合理安排内容发布时间表是SEO的重要技能之一。链接排列把整体有机的联系起来，让搜索引擎了解各个网页的重要性和关键词，实现参考点关键词排列。友情链接之战也在此时打响。

　　优化，如何使用SEO工具准确查询百度权重？

　　相信没有一个SEOer没有用过权重查询工具查询过自己的百度权重。通常，有公信力的查询工具有站长工具、爱站、5118三种，但每种工具每次查询的结果都不一样，有的甚至相差2个权重值。这么大的差距，信息应该用什么工具呢？我们先来了解一下各个查询工具的特点。

　　1、权重查询工具有什么特点？

　　1.站长工具

　　站长工具的创始人是姚建军。相信进入seo行业较早的seoers都会有所耳闻。现在他是上市公司的*敏*感*词*。

　　站长之家成立于2003年，属于开拓者。seo查询工具从2007年推出，到现在已经12年了。

　　2.爱心驿站

　　爱站创始人郑志平，现任深圳市爱站网络公司CEO，搜狐SEO总顾问。

　　

" />

　　爱站成立比较早，2003年，但是最早提出百度权重的标准，类似于google的pagerank值，爱站的查询工具是2011年推出的，到现在已经8年了。

　　3.5118

　　5118的创始人是珠海5118科技*敏*感*词*CEO李昊。

　　5118主要是关键词挖矿，也可以查询权重查询功能，但不是它的主打项目。公司于2014年注册成立，体重查询工具也随之上线。近年来在seo界崭露头角，成为seoer的新宠。除了权重查询，还有关键词挖矿、检测等实用工具。

　　2、查询百度权重的原理是什么？

　　1、站长工具权重的计算分为关键词扫描入库，计算预估IP，根据预估流量划分权重

　　将 关键词 扫描到存储中。

　　通过每天扫描百度中大量的关键词排名，记录百度SERP**页面上每个关键词排名的结果并存储数据，这些数据包括关键词索引（没有索引的词是一般不记录），关键词各排名位置对应的URL等，当用户提交URL查询该权重时，服务器收到查询命令，在数据库中查找,并将查询到的关键词的所有结果按照所有索引关键词的排名位置降序排列并输出。

　　因为不是百度工具，有些关键词没有记录在数据库中，所以有些关键词可能查询不到。

　　以下是站长工具根据预估流量的加权标准

　　估计流量0-100的百度权重为1（关键词指标排名前50）

　　估计100-500流量之间的百度权重为2

　　百度权重预计流量500-1000为3

　　预估流量1000-5000的百度权重为4

　　预估流量5000-10000的百度权重为5

　　预估流量1万-5万的百度权重为6

　　预估流量5万-20万的百度权重为7

　　预计流量20万-100万，百度权重8

　　预计大于100万的流量权重为9

　　2、爱站和5118的权重计算和站长工具基本一致，只是估算的流量大小不同，但差别不是特别大。

　　

" />

　　3、如何选择查询工具？

　　每个查询工具都有自己的特点。在选择时，我们可以参考：

　　1. 信誉

　　相对来说，站长之家早就建起来了，站长工具也出来很久了。他的公信力，而爱战的衡量标准相对要严格一些。通常站长工具给的权重是1，而爱站的权重是1。网站确实是0，所以很多seoer认为爱站更准确。

　　2.更新时间

　　由于数据量巨大，更新时间较慢。通常百度资源平台、站长工具、爱站工具的更新数据可能2-3天更新一次，但5118是实时更新的，其权重更新速度更快。

　　三、实用功能

　　seoer每天的工作不仅仅是查询权重，还有收录量、关键词排名等数据，可以在站长工具和爱站中查询，但是由于数据更新有延迟，seoer不能及时制定策略，导致失去对权利的控制，5118可以在查询权重的同时进行关键词查询和各种相关查询，所以从实用的角度来看，5118占优。

　　总结：关于百度权重查询用什么工具，我的建议是三个工具都用。如果你想很好地了解你的心，我们可以用爱站来查询。如果要和对方交换链接，可以提示对方去站长工具查询，而5118，我们在进行数据查询的时候可以看到权重，所以用什么工具查询要看情况在其下使用。

　　1.发布相关内容

　　优质内容是您搜索引擎排名的驱动力，优质内容是无可替代的。专门为您的目标受众创建的优质内容将增加流量，提高您的知名度和相关性。

　　识别和定位每个页面的关键字词组。想一想您的读者如何搜索该特定页面（使用诸如“密歇根机械工程”、“应用物理程序”或“密歇根技术学位”等短语）。然后，在整个页面中多次重复这个短语——在开头和结尾段落中重复一次或两次，在其余内容中重复两到四次。

　　不要忘记使用粗体、斜体、标题标签和其他强调标签来突出这些关键词短语，但不要过度使用它们。永远不要为了 SEO 牺牲好的写作。您的页面是为用户而不是搜索引擎编写的。

　　SEO优化：如何优化，如何通过SEO优化提高排名

　　在如今的互联网时代，越来越多的企业拥有自己的搜索引擎，如何让搜索引擎收录成为企业面临的重要课题。如果他们想被搜索引擎收录，那么优化是唯一的途径。如何让搜索引擎快速提高收录率，下面为大家分享。

　　我们要知道为什么要被收录，一般站长应该都知道，就是收录是获取页面评分的前提，只有页面中的页面被收录，我们才会有页面评分，而收录对于排名功能也具有决定性作用。但是想要获得排名，就要看页面内容的质量了。

　　-/gbafcih/-

　　欢迎访问郑州巨商网络科技*敏*感*词*网站，具体地址为京三路66号金城国际6号楼东单元1306室。联系人为张某。