近期发布:博文推荐｜传智教育 x Pulsar：互联网教育的未来

　　近期发布:博文推荐｜传智教育 x Pulsar：互联网教育的未来

　　关于 Apache Pulsar

　　Apache Pulsar 是 Apache 软件基金会的顶级项目。它是集消息、存储、轻量级函数计算于一体的下一代云原生分布式消息流平台。多机房跨地域数据复制，具备强一致性、高吞吐、低延迟、高扩展性等流式数据存储特性。

　　GitHub地址：

　　传智教育简介传智教育（原传智播客）是一家致力于培养高素质软件开发人才的IT培训公司。, 学院等子品牌。

　　传智教育是第一家实现A股IPO的教育公司。公司致力于培养高精尖数字化人才，主要培养人工智能、大数据、智能制造、软件、互联网、区块链等数字化专业人才和数据分析、网络营销、新媒体等数字化应用人才。

　　为用更优质的教育资源惠及更多学生，传智教育在全国开设了19个分校，培养了300,000+名IT从业者；出版图书111部，覆盖全国200+大学生；发布12+百万视频教程年均下载播放量4000万+次；举办1500+场免费直播公开课，年均观众近百万。

　　学习谷于2016年7月正式成立，依托传智教育15年IT教育沉淀，以就业课程为核心，采用个性化、on-the-go、自适应的学习模式，为学生提供提供集成零基础入门、技能提升和职业规划的 IT 在线学习服务。. 着力整合优势IT教学资源，打造更适合在线学习的优质教学产品和服务。

　　我们面临的问题

　　2020年，疫情给我们的生活和工作带来了巨大的变化。由于疫情防控需要，很多线下课程无法正常开展。更多的用户选择通过在线学习提高知识储备，拓展专业能力。博学谷提供在线教学服务，成为更多用户的最佳选择。随着用户咨询和学习行为的急剧增加，博学谷在线系统的压力越来越大，对原有系统提出了新的挑战：

　　• 原系统只支持离线同步，响应慢。• 需要对原系统采集的旧数据进行同步，离线实时采集新数据，对所有数据进行基于链路的数据清洗和聚合分析。• 目前，业务表同步采用阿里云DTS（Data Transmission Service）同步方式，成本高，无法在同步过程中进行数据清洗、转换等操作。

　　面对规模增长和模式调整，博雪谷需要一个更加灵活高效的系统来处理业务数据的*敏*感*词*增长，保障业务系统的正常运行，支持业务模式的调整，同时时间存储更多数据。用于决策分析。

　　为什么选择脉冲星？

　　我们希望借助消息传递中间件来解决这些挑战。我们团队成员有使用RabbitMQ和Kafka的经验：RabbitMQ更适合轻量级场景，Apache Kafka适合大日志量场景。无论是应用场景还是源码阅读，我们都需要一个更全面的解决方案。在我们的研究中，我们了解到市场上还有另一种流行的消息传递系统，Apache Pulsar。对于运维团队来说，学习这三种消息中间件存在一定的学习成本问题，而且一旦实施起来也不容易改变基础设施，因此我们对传智教育的中间件选型进行了全面调查。. 主要研究角度包括：

　　• 支持消息流，保证消息处理顺序 • 支持“仅一次”语义消息处理 • 支持消息永久持久化，易于扩展存储规模 • 云原生部署友好，运维成本低 • 源码质量好，社区活跃度高程度

　　我们发现 Pulsar 是一个云原生消息传递和事件流平台，具有许多满足我们需求的内置功能。例如：Pulsar 采用计算和存储分离的架构设计，将数据存储在 Apache BookKeeper 上，在 broker 上进行 Pub/Sub 相关的计算，具有 IO 隔离的特点。与传统的消息传递平台（如 Kafka）相比，Pulsar 的架构具有明显的优势：

　　•Broker和bookie相互独立，可以独立扩展和容错，提高系统可用性。• 分区存储不受单个节点存储容量的限制，数据分布更均匀。• BookKeeper 存储安全可靠，保证消息不丢失，支持批量刷新，实现更高的吞吐量。• 峰值读取不影响写入性能，读写使用不同的物理存储，数据的持久化变得更加方便和廉价。

　　2020 年 4 月至 9 月，我们对 Pulsar 进行了功能测试，包括消息的顺序消费、数据一致性和丢失率。测试结果证明，Pulsar 可以有序消费消息，保持数据一致，不丢失。在不考虑排序的应用场景下，Pulsar 可以直接作为消息队列使用，多种订阅方式和订阅级别不影响主题，让多个消费者同时有序或无序消费主题.

　　运维方面，我们可以使用K8S（Helm）来部署Pulsar、Pulsar IO、Pulsar Functions；使用 pulsar-admin 简化运维团队的部署和管理复杂度。

　　在商业公司中，采用任何新技术（包括开源技术）都会带来一定的风险，即使该技术具有显着优势。经过深思熟虑和深入研究，我们最终决定引入 Apache Pulsar。

　　Pulsar 在教育中的实际应用

　　作为一个在线教育平台，我们需要与外界交换大量的数据。我们使用第三方消息系统容联启墨进行在线客服数据采集，并使用诸葛IO系统采集用户行为数据进行分析。因此，我们需要一个系统来聚合外部数据，经过二次处理，持久化到数据仓库中，最终得到一组符合业务分析的数据。

　　我们基于 Apache Pulsar 搭建了博雪谷数据处理系统，通过多个命名空间隔离各个应用的数据和配置，通过 Pulsar IO 和 Pulsar Functions 实现数据采集和处理。根据业务需要，配置了一些命名空间，使消息永不过期，永久保留。由于 Pulsar 消息系统中计算和存储分离的设计，系统可以灵活扩展存储容量。目前在生产环境中部署的 Pulsar 是基于官方 v2.6.1 的修改版本。所有问题修复代码都已通过 GitHub 与社区共享，并将在未来的版本中修复。

　　通过构建Source集群对数据进行多维采集，使用Pulsar Functions实时清洗数据采集，Pulsar Topic在整个链接过程中使用持久化存储，使用Pulsar SQL[1]很方便回溯每个阶段的数据。*敏*感*词*集群持久化清理后的数据。

　　在上面的链接中，我们使用 Pulsar 的 Delay Topic 来识别 session 的完成状态，Dead Letter Topic 记录了 sink 消费失败的消息。

　　在开发过程中，我们发现 Pulsar Functions 在直播（有序）场景中收到 Receive Fail 响应后不会中断流程。然后我们联系了 Pulsar 社区，提交了问题和 PR，并得到了 StreamNative 团队的快速响应和支持。此问题目前在 Pulsar 2.8.0 中被标记为已修复，我们已根据 Pulsar 2.6.1 在内部对其进行修补。

　　在线咨询潜在客户分析

　　博雪谷系统采用第三方在线客服系统，实现网页端和移动端的在线咨询功能。此前，由于第三方服务接口的限制，在线咨询会话数据的使用受到限制。随着业务的增长和模型的调整，团队希望将这部分数据与客户管理系统（cms）结合起来，更好地挖掘客户需求，提高咨询和反馈的效率。

　　近期发布:诠网科技｜网站SEO推广链接建设的功能与发布形式

　　反向链接的重要性对于已经做了一段时间SEO的朋友来说，相信是很熟悉的。但熟悉和理解是一回事，操作和应用是另一回事。今天，我借此机会向您解释反向链接在网站优化和容易误解中的作用。

　　链条的主要作用无非是两个：一是增加网站的入口，二是增加网站的重量。但随着百度新规的出台，却被一次又一次地出台。对攻击链更加严格。大多数网站管理员感叹没有地方发布链接，如何在反向链接上发布。今天的小编就和大家聊聊那些关于连锁店的事情。从链

　　的基本定义可以理解为：什么是链，即从别人的网站导入到自己网站的链接。请注意，这是一个链接。通常，我们经常使用百度的域名描述来检查我们网站中有多少外部链接。其实，严格来说，也存在一些误区。在域名搜索之后，我们通常会看到数十万甚至更多的外部链，但那些实际上是外部链，事实并非如此。这些只能称为相关域。

　　1.通过对外部链对手的分析。当我们的网站排名出现延迟时，最直接有效的方法是看看排名较高的网站如何操作链条，然后模仿它。您可以在百度中搜索相关关键词，然后在百度主页上找到该公司的网站，然后将这些网站的网站域域以采集指向其网站的反向链接。当你采集百度公司网站主页上的所有资源并发布你的反向链接时，我认为你的网站已经超过了它们，至少在反向链接方面是这样。

　　2.博客链。这是站长普遍喜欢的一种方式，因为这种链接通常具有较高的权重和良好的稳定性。但是博客需要很长时间才能运行。主要依靠“维护”，因此准备工作相对较长。只有“养”足足的脂肪，才能释放出所需的链接。在博客应用之初，即时发布链不是很有效，有的甚至直接失败。

　　3.我的意思是。论坛链之外。这是灰色地带。事实上，百度已经声称这个链接不被百度垃圾邮件链识别。但是，我们仍然可以在域名网站上看到很多论坛页面。是否“合法”，编辑仍然不尊重这样的外部链接。因为它不稳定！论坛反向链接的功能易于发送，但易于删除。至于宣布其违法性，小编担心有一天，杜娘会突然将其列为作弊对象，站长也可以回家哭了。从目前的趋势来看，小编认为迟早会。

　　SEO联盟链接建设的网站功能和发布形式

　　4.行业门户。这是一个很好的方法。工业门户与企业网站的高度兼容性决定了其外链的高质量。这里有一个提示。你会发现，当你在许多门户网站上发送链时，你不能接受www，否则它将被删除。但是你会发现，没有WWW你可以直接去，你可以输入三十，当然中国，只是为了一些门户网站。在这些门户网站中网站值得关注的链接：因为我们通常发布产品或新闻，所以指向这些链接的链接必须链接到相应的内页，而不是主页。只有指向内部页面的链接才能提高其适用性。许多网站优化器抱怨门户网站现在无法发送链。在此，我想说，资源应该慢慢积累。很多门户网站网站无法发送链条，但仍有许多可以发布的。也许你的努力可能不会有结果，但如果你不努力，你永远不会有结果。

　　5、第三方平台和信息发布平台。这些平台具有信息量大、下沉速度快的特点。这些平台的建议是，如果您手头的网站很少并且时间很多，您可以尝试一下。

　　6. 链接。许多网站优化器将会员链接与反向链接分开，但它们是相同的。

　　友谊链接是

　　其他人的主页链接到您的网站，而外部链接是指向您网站的分页链接。链接之所以有价值，只是因为它们的链接条目放置在主页上，因此它们的权重相对较高。如果是关于入口，它不像链接之外那么多。

　　7.链下软文书。这是编辑最受尊敬的方式之一。没有一个。当然，宣传文章写的并不容易。但这次晋升考验的是进步工人的写作功底，软文标题首先应该有吸引力，让人忍不住看了看。内容应该是有争议的，你的位置应该大多数人都不知道，无论是网站的入口和重量，软文这个的功能很难与其他方式相比。对于您的工作，只需编写质量文章并将其发送到正确的平台即可。

　　反向链接发布的形式有很多种，次要版本只引入了一些常见的或一些常用的。这也可以说是陈词滥调。小编只想说：既然百度把网站优化打成了“外链王”的口号，就不会让你无处发外链，那也不会自己砸石头。这是一个累积的过程。