内容安全体系将从技术手段和使用策略两个方向设计

　　内容安全体系将从技术手段和使用策略两个方向设计

　　适用场景：

　　对自行发布的内容极为敏感的内容平台。

　　整体结构：

　　内容安全系统将从技术手段和使用策略两个方向进行设计，我们来展开。

　　一、内容对比

　　这组逻辑主要是针对网站内容还没有完成https转换的情况设计的，所以已经实现https的朋友可以跳过这部分内容。因为内容是明文传输的，理论上网站内容可以从网络上的任何位置被劫持，篡改攻击者想要的内容。大到运营商的骨干链路，小到小区的宽带出口，都有被篡改的风险。

　　内容比较逻辑的重点不是如何防止劫持，而是快速找出来。基本思路是在公网部署监控点（爬虫），模拟正常访问，将内容与发布系统的内容进行比较。作者在“

　　关于内容安全的提案

　　》介绍了比较的基本逻辑，这个逻辑是根据作者所在公司遇到的实际情况设计的，比较复杂，优化的空间也很大。比较逻辑比较重要的就是如何比较选择监控点的位置。因为我们不能无限地部署监控点，我们必须根据实际情况将监控点部署到企业最容易出现问题的区域或最关注的区域。

　　二、release 系统保护

　　https转型完成后，内容安全的视角基本可以由*敏*感*词*太大。保证发布系统的安全几乎涉及所有的安全方法，从了解技术到管理，再到意识。让我们在这里简单地扩展一下：

　　2.1 技术手段

　　作者所在的系统是以保护级别为基本参照系的。发布系统单独划分安全域，我们认为的所有技术手段都是根据实际情况来实现的。这一层工作的难点在于如何定义发布系统的范围。听起来很奇怪，但这确实是一个我们曾经难以澄清的问题。

　　2.2 管理方式

　　管理是针对发布系统的安全管理。除了标准的安全管理体系外，还需要类似的审核发布机制、发布系统操作流程等业务相关的管理规范。

　　2.3 安全意识

　　发布内容的人归根结底是人，因此安全意识的灌输非常重要。作者的团队正在实施一系列内部操作方法来培养员工的安全意识。这部分工作还不完善，我会在后续文章中专门讨论。

　　三、内容分析

　　① 图片识别

　　作者在《方案》中提到需要特别说明的是，目前商业产品中敏感人界面的分类普遍含糊不清​​。目前比较理想的解决方案是通过图片识别界面细化分类，至少细化到正反人的分类；二是通过界面识别出人物姓名，然后用户可以根据自己的需要定义分类。

　　②文字识别

　　作者在“项目章节”中也提到，比较常见的方式是识别敏感词，包括识别各种变体。但这还不够。许多内容安全提供商现在提供用于情绪分析的工具。根据测试，一些比较明显的倾向比较好判断。如果故意“鼠标”AI界面，还是很容易作弊的，所以这需要定制的训练过程。

　　③图文结果整合

　　由于新闻平台上的报道类型非常多样，不可能简单地允许某些类型的信息出现，或者不允许某些类型的信息出现。最基本的可以匹配页面上的图片和文字内容。举个简单的例子：如果图片任务是一个积极的人，下面的文字不能是消极的情绪。这些策略可以根据需要进行组合，但基础是图片的详细分类和语义的准确分析。

　　④ 自主培训

　　如上所述，我们可以根据内容平台的具体情况，量身定制训练算法，让系统更好的匹配企业的情况。但这是一项非常具有挑战性的工作。随着机器学习技术的不断普及，出现了很多定制化的训练服务，但是一些比较复杂的逻辑仍然需要大量的专业人员、大量的计算资源和时间。实现对特定人的识别相对容易。

　　⑤ 多厂商能力整合

　　从之前对市场的了解结果来看，不同的内容安全厂商有不同的顾虑。有的厂商更喜欢图像识别，有的厂商做更好的语义分析，产品形态通过界面呈现。这样一来，一方面甲方必须根据所选厂商的接口开发相关的内容获取系统；另一方面，如果甲方只和一个厂家合作，就会有缺点。我们希望通过统一的系统将不同的内容数据分发到不同的分析平台。其实逻辑很简单，就是整合了不同的内容获取方式后，就完成了每个界面的翻译工作。这是作者在内容安全方面最希望达到的结果。目前，作者团队正在开发该系统，力争在年内完成。

　　⑥ 视频分析

　　目前笔者了解到，视频分析策略是从视频中提取帧，然后对提取帧后的图片进行处理。但是想象一个场景，如果有五个词出现在五个不同的帧的不同位置的反动口号，人脑可以轻松地将它们拼接在一起，而机器必须解决精确的帧提取和上下文关联的问题。目前，笔者还没有找到可行的解决方案。好在实际情况下，视频内容并未被篡改，只能继续观望。

　　以上内容是作者团队设计的内容安全整体分析逻辑，但还不够。这类内容分析平台的使用策略也值得研究。下面是笔者想到的两个应用场景。

　　⑦JS分析

　　从笔者经历的各种内容安全事件来看，JS被篡改的比例非常高。 JS的调用逻辑复杂，经常会有域外的调用（比如广告），给内容展示带来很大的不确定性。我们目前采用两种方法来解决此类问题：一种是将JS作为资产进行管理，利用爬虫对全网的JS文件和涉及的页面进行综合统计，然后由业务部门使用，并进行清理up 没人维护的 JS。链接（尤其是外部网站的链接）；二是通过分析引擎完成JS加载过程，加载后的最终结果交给内容分析系统综合判断。

　　四、使用策略

　　4.1 辅助审核

　　现有产品基本上是从辅助审核的角度帮助甲方解决问题。但是，如果平台发布的内容非常敏感，至少要达到以下两个条件之一，才有可能将机器审核置于人工审核之前：

　　假阴性率接近0

　　误报率低于人工审核

　　如果以上两个都不能实现，那么机器审查最多与人工审查平行是很重要的。

　　4.2 安全发布

　　作者公司的出版渠道很复杂，目前的机器不能满足以上两个条件。因此，我们选择不改变现有的审核流程，而是在将内容发布到公共网络之前，将最后一个链接中的审核内容取出。一方面作为人工审核的底线策略，另一方面对一些异常渠道（可能是特例，也可能是黑客）发布的内容进行审核。我们分两个阶段完成：

　　第一阶段绕过审核：在不影响现有发布逻辑的情况下，复制内容审核，发现问题报警，后续人工干预。同时，人工审核的结果会同步到内容审核系统作为训练数据，进一步提升审核能力。如下图：

　　第二阶段嵌入式审核：如果系统的分析能力达到预期，第二阶段会将审核系统嵌入到整体发布流程中，审核系统可以直接拒绝部分内容的发布。如下图：

　　写在最后

　　内容安全是媒体的命脉。一旦出现重大问题，将决定一个企业的生死存亡。随着机器学习技术的兴起，内容安全分析又增加了一个非常重要的工具，但是如何利用这类工具为企业服务是一个值得思考的问题。笔者用三个文章来分析内容安全体系的构建，但这恐怕还不够。整个系统从设计到实现需要走很长一段路。在写这篇文章之前，我希望对内容安全体系建设的每一个细节都进行全面的分析，但现在似乎有些问题无法详细阐述。有些是因为企业架构不能公开（比如审计系统接收数据选择问题），有些是因为没有最终的实践。写（如定制训练的具体方法）。本文作为设计阶段的结束，待本系统完成后与大家分享。