解决方法:一种恶意IOC自动采集方法与流程

　　解决方法:一种恶意IOC自动采集方法与流程

　　一个恶意ioc自动采集方法

　　技术领域

　　1、本发明涉及计算机网络和信息安全技术领域，尤其涉及一种恶意ioc自动采集方法。

　　背景技术：

　　2、威胁情报ioc服务于威胁情报，用于丰富威胁情报内容，包括ip、url、domain、hash、威胁情报邮箱等。威胁情报是将孤立的、杂乱无章的威胁信息转化为具有固定格式的威胁情报，使威胁信息能够以标准化的方式组织起来，便于后期对威胁数据进行深入分析。但是，威胁情报依赖的最大指标是威胁情报 ioc 库。ioc库越丰富、越完善，更新越频繁，其有效性就越大。为了更全面地丰富威胁情报ioc库，越来越多的研究人员开始探索各种威胁情报ioc获取方法，

　　3、目前IOC来源多为网站页面或网站接口，使用的方法主要是网络爬虫、接口调用等方法。随着网站自身数据安全意识的加强，反爬虫手段越来越先进，使得使用网络爬虫的方法越来越难。为了在威胁攻击发生前做好准备并识别威胁情报攻击者，有必要扩大威胁情报获取的范围。而京帝采集威胁情报攻击信息，通过邮件系统，解析威胁情报信息，进一步丰富威胁情报ioc数据。

　　4、针对相关技术中存在的问题，目前尚未提出有效的解决方案。

　　技术实施要素：

　　5、针对现有技术中存在的问题，本发明提出一种恶意ioc自动采集方法，以克服现有技术中存在的上述技术问题。

　　6、为此，本发明采用的具体技术方案如下：

　　7.一种恶意ioc自动采集方法，该方法包括以下步骤：

　　8.s1。使用电子邮件采集器订阅原创威胁情报邮件，并将原创威胁情报邮件存储在同一个邮件库中；

　　9.s2。使用电子邮件存储库的下载协议获取原创威胁情报电子邮件内容；

　　10.s3。使用解析器将原创威胁情报电子邮件转换为可读电子邮件；

　　11.s4。设置附件getter，检测可读邮件中的编码函数，处理非法数据，输出最终附件内容；

　　12.s5。提取原创威胁情报邮件内容或附件内容中的威胁情报ioc信息。

　　13. 此外，使用电子邮件采集器订阅原创威胁情报电子邮件并将原创威胁情报电子邮件存储在同一电子邮件存储库中还包括以下步骤：

　　14.s11。设置邮箱采集器，采用多源采集方式，通过订阅邮箱获取ioc的威胁情报来源；

　　15.s12。采集步骤s11中获取的ioc威胁情报邮件；

　　16. s13。通过设置邮件仓库，将步骤s12中采集到的ioc威胁情报邮件聚合到同一个邮件仓库中。

　　17、进一步的，邮件库包括：采集不同邮箱运营商收到的邮件，通过代理设置邮件中转，使国外邮件可以转入国内邮箱。

　　18、进一步的，邮件仓库的下载协议包括：开启邮箱访问协议或邮局协议第3版。

　　19、进一步，将原创威胁情报邮件转换为可读邮件还包括以下步骤：

　　20.s31。设置邮件头解析器，通过正则匹配和Unicode转码获取邮件头信息；

　　21. s32。设置邮件文本内容解析器，通过Unicode解码功能获取邮件的文本内容；

　　22.s33。设置邮件Unicode数据解析器，将邮件中的多分量数据转换成列表输出。

　　23、进一步的，邮件头解析器、邮件文本内容解析器和邮件多组件数据解析器包括但不限于Unicode和utf

　　——

　　8 解析方法。

　　24、进一步地，设置附件获取器检测可读邮件中的编码功能，处理非法数据，输出最终附件内容，还包括以下步骤：

　　25.s41。设置附件获取器获取附件的文件名，通过Unicode解码功能对附件数据进行解码，处理附件中的非法数据，输出最终的附件内容。

　　26、进一步的，提取威胁情报邮件附件内容中的威胁情报ioc信息还包括以下步骤：

　　27.s51。清理邮件附件内容的ioc信息部分，去除混合在ioc信息中的特殊字符，对特殊编码格式生成的ioc信息进行转换；

　　28.s52。设置威胁情报ip获取器，获取邮件中的威胁情报ip信息；

　　29.s53。为威胁情报文件设置哈希算法（hash）获取器，根据不同长度文件的哈希算法获取威胁情报文件的哈希算法；

　　30.s54。通过设计统一资源定位符（url）、域名、威胁情报邮箱对应的正则表达式，获取设计的统一资源定位符（url）、域名、威胁情报邮箱在邮件中的ioc信息。

　　31.此外，ip获取器旨在通过结合ip特征的正则表达式从文本中提取威胁情报ip。

　　32. 此外，威胁情报文件哈希算法获取方结合正则表达式和哈希算法的特点，设计了一种从文本中提取威胁情报哈希算法的方法。

　　33、本发明的有益效果是：本发明通过订阅情报邮件，对邮件内容进行分析，设计正则匹配方法，提取邮件内容中的威胁情报ioc信息。比如现有的威胁情报ioc采集技术主要是一种利用网络爬虫的方法。邮件系统的采集方法可以绕过网站的反爬机制，从而更稳定的获取威胁情报ioc情报，本发明设计的正则表达式兼顾了这些特点不同类型的IOC，包括但不限于长度、类型、格式、特殊字符等方法，可以准确提取威胁情报IOC信息；避免解析不同的邮箱，本发明还提出了构建邮箱库的概念，特别是可以将外网邮箱内容传输到内网邮箱，方便接收和解析。针对不同威胁情报IOC设计的正则表达式可以自动从邮件信息中提取相应的威胁情报IOC。

　　图纸说明

　　34、为更清楚地说明本发明实施例或现有技术中的技术方案，下面对实施例所需的附图进行简单介绍。显然，以下描述中的附图仅是本发明。的一些实现

　　

　　例如，对于本领域的普通技术人员来说，在没有创造性劳动的情况下，还可以基于这些附图获得其他的附图。

　　35. 图。附图说明图1为本发明实施例提供的恶意ioc自动采集方法流程图；

　　36. 图。图2为本发明实施例的恶意IOC自动采集方法中邮件系统的威胁情报IOC自动采集方法的流程图；

　　37.图3为本发明实施例的恶意ioc自动方法中imap协议的邮件访问流程图。

　　38. 图。图4为本发明实施例提供的恶意ioc自动方法解析前后邮件内容对比图。

　　39. 图。图5为本发明实施例的恶意ioc自动采集方法中正则表达式的威胁情报ip采集效果图；

　　40. 图。图6为本发明实施例的恶意ioc自动采集方法中正则表达式的威胁情报散列采集效果图；

　　41. 图。图7为本发明实施例提供的恶意IOC自动采集方法中正则表达式的威胁情报域名采集的效果图。

　　详细方法

　　42、为了进一步说明实施例，本发明提供了附图，这些附图是本发明公开内容的一部分，主要用于说明实施例，可以与说明书的相关描述结合使用为了解释本发明实施例的工作原理，本领域普通技术人员将能够参考这些内容了解本发明的其他可能的实施方式和优点。附图中的部件未按比例绘制，并且相似的附图标记通常用于表示相似的部件。

　　43、根据本发明的一个实施例，提供了一种恶意ioc自动采集方法。

　　44、现在将结合附图和具体实施例对本发明作进一步说明，如图1所示

　　——

　　如图7所示，根据本发明实施例的恶意IOC自动采集方法，该方法包括以下步骤：

　　45.s1。使用电子邮件采集器订阅原创威胁情报邮件，并将原创威胁情报邮件存储在同一个邮件库中；

　　46.s2。使用邮件存储库的下载协议获取原创威胁情报邮件内容；

　　47.s3。使用解析器将原创威胁情报电子邮件转换为可读电子邮件；

　　48.s4。设置附件获取器，检测可读邮件中的编码功能，处理非法数据，输出最终附件内容；

　　49.s5。提取原创威胁情报邮件内容或附件内容中的威胁情报ioc信息。

　　50、在一个实施例中，使用电子邮件采集器订阅原创威胁情报电子邮件并将原创威胁情报电子邮件存储在同一电子邮件存储库中还包括以下步骤：

　　51.s11。设置邮件采集器，通过多源采集的方式订阅邮件获取ioc的威胁情报来源；

　　52. s12。采集步骤s11中获取的ioc威胁情报邮件；

　　53. s13。通过设置邮件仓库，将步骤s12中采集到的ioc威胁情报邮件聚合到同一个邮件仓库中。

　　54、在一个实施例中，邮件存储库包括：汇总不同邮箱运营商收到的邮件，通过代理设置邮件转移，以及将外国邮件转移到国内邮箱。

　　55、如图2所示，本发明读取邮件内容并解析出威胁情报ioc信息，其自动化采集流程主要包括以下步骤：设置邮件采集器，采集和传递邮件订阅共享威胁情报ioc信息的安全厂商，如alienvault otx（开源威胁情报）、记录未来（recorded future）等，根据每个要求订阅威胁情报ioc信息邮件安全供应商；

　　56、订阅带有威胁情报ioc信息的邮件，由于部分国外情报源不支持国内邮箱注册，对应的国内情报源不支持国外邮箱，需要通过不同邮箱注册获取信息。国外用gmail邮箱等，国内用qq邮箱等，需要企业注册的用网易企业邮箱。

　　57.在一个实施例中，邮件存储库的下载协议包括：开放邮箱访问协议（imap）或邮局协议版本3（pop3）。

　　58、下载协议主要有两种：pop3协议和imap协议：pop3是邮局协议3的缩写，即邮局协议的第三版。协议。它是互联网电子邮件的第一个离线协议标准，pop3允许用户将邮件从服务器存储到本地主机（即自己的计算机），并删除存储在邮件服务器上的邮件，而pop3服务器遵循pop3该协议的接收邮件服务器用于接收电子邮件。

　　59.imap的全称是internet mail access protocol，是一种交互式邮件访问协议，是类似于pop3的标准邮件访问协议之一。不同的是，开启imap后，邮件客户端收到的邮件仍然保存在服务器上，客户端上的操作会反馈给服务器，比如删除邮件、标记为已读等。服务器上的电子邮件也将采取相应措施。所以无论是从浏览器登录邮箱，还是从客户端软件登录邮箱，看到的邮件和状态都是一样的。

　　60、通过协议获取的邮件内容杂乱无章，冗余信息很多。需要准确提取关键信息。面对大量的邮件数据，人工处理显然费时费力，在处理过程中可能会出现无数人为错误。使用正则表达式的好处是只要能正确识别就不会出错，而且速度快得惊人。正则表达式主要由解析、编译和执行三部分组成。

　　61、如图3所示，订阅威胁情报ioc邮件的邮箱需要进一步转入邮箱库，打开邮箱库的下载协议，获取邮箱内容。具体步骤如下：

　　62.将不同的邮箱转移到同一个邮箱库。为便于邮件的综合处理，提高效率，将不同邮箱的内容转移到同一个邮箱中。由于访问权限的关系，最好使用国内分享度比较高的邮箱，本发明采用新浪（Sina）邮箱；

　　63、打开邮箱的imap协议，为了在本地获取邮箱的内容，需要打开邮箱的imap或者pop3协议；

　　64、解析获取的邮件内容。通过协议获取的原创邮件内容比较杂乱，收录大量冗余信息，需要进行解析，包括邮件头信息、内容信息、发送时间等。

　　65.打开邮箱的imap协议。为了在本地获取邮箱的内容，需要打开邮箱的imap或者pop3协议

　　66. 在一个实施例中，所述将原创威胁情报电子邮件转换为可读电子邮件进一步包括以下步骤：

　　67.s31。设置邮件头解析器，通过正则匹配和unicode（unicode）转码获取邮件头信息；

　　68.s32。设置邮件文本内容解析器，通过Unicode解码功能获取邮件的文本内容；

　　69.s33，设置邮件Unicode数据解析器，将邮件中的multipart数据转换成列表输出。

　　70、在一个实施例中，电子邮件标头解析器、电子邮件文本内容解析器和电子邮件多元素数据解析器包括但不限于Unicode和utf

　　——

　　8（一种相对较新的编码约定，用于编码各种字符）解析方法。

　　71、在一个实施例中，设置附件获取器检测可读邮件中的编码功能，处理非法数据并输出最终附件内容，还包括以下步骤：

　　

　　72.s41。设置附件获取器获取附件的文件名，通过Unicode解码功能对附件数据进行解码，处理附件中的非法数据，输出最终的附件内容。

　　73. 解析前后邮件内容对比如图4

　　74. 设置附件接收方。对于威胁情报信息在附件中的邮件，需要获取附件。首先通过解析器解析附件的内容，得到附件名称，然后根据附件名称结合解码函数得到附件信息。

　　75、在一个实施例中，提取威胁情报邮件附件内容中的威胁情报ioc信息还包括以下步骤：

　　76.s51。清理邮件附件内容的ioc信息部分，去除混合在ioc信息中的特殊字符，对特殊编码格式生成的ioc信息进行转换；

　　77.s52。设置威胁情报ip获取器，获取邮件中的威胁情报ip信息；

　　78.s53。设置威胁情报文件的哈希算法获取器，根据不同长度文件的哈希算法获取威胁情报文件的哈希算法；

　　79.s54。通过设计统一资源定位符、域名、威胁情报邮箱对应的正则表达式，获取设计的统一资源定位符、域名、威胁情报邮箱在邮件中的ioc信息。

　　80.设置内容清理设备。为了提高ioc信息的隐蔽性，一些厂商会采用不同的方式对威胁情报ioc信息中的信息进行加密。主要的加密方式有： 1）url信息：将“http”改为“hxxp”，或者隐藏“http”四个字符等；2）ip信息：替换“.” 用“[.]”等；3）域信息：在域信息前后添加特殊字符等，这些方法会干扰后面的正则匹配，所以需要先设置内容清洗处理，才能得到正确的信息内容。

　　[0081]

　　设置威胁情报ip获取器，使用正则表达式的方法从邮件内容中解析出威胁情报ip信息；

　　[0082]

　　具体实现方案如图5所示。ip地址的特征是由0到255之间的四个数字组成，用“.”隔开，因此可以相应地设置ip正则获取器。

　　[0083]

　　设置威胁情报文件hash getter，威胁情报文件的hash可以分为md5、sha

　　——

　　1.沙

　　——

　　256.沙

　　——

　　512等，文件hash值由多个0组成

　　——

　　9个数字和一个

　　——

　　F A

　　——

　　它由字母f组成，对应的长度分别为32、40、64、128。据此，您可以利用这些特性建立一个威胁情报文件hash getter，并通过正则表达式将相应长度的不间断字符与上述特征进行匹配。是的，具体实现方案如图6所示。

　　[0084]

　　设置威胁情报url、威胁情报域名、威胁情报邮箱获取器。处理后的url、域名、邮箱各有特点。url的特点是：以http、https、ftp开头，由字母数字和一些特殊字符组成。，域名的特点是：域名的字符串只能由字母数字和

　　“——”

　　, “_”，顶级域名由两个字符串加一个“.”组成，二级域名由三个字符串加两个“.”组成，三级域名由一个加号组成一

　　一个字符串和一个“.” 多级域名以此类推。n 级域名由 n+1 个字符组成，以“.”分隔。邮箱功能必须有“@”符号，用“@”符号分隔。前半部分允许由汉字、字母和数字组成，后半部分是域名。通过以上功能设置对应的正规收单机构和域名。具体实现方案如图7所示。

　　[0085]

　　在一个实施例中，ip获取器被设计成通过结合ip特征的正则表达式从文本中提取威胁情报ip。

　　[0086]

　　Ken Thompson 使用非确定性有限自动机 (ndfa) 构建了正则表达式，这是一个有向图，其中每个节点代表一个状态，每个边都用字母或符号（代表一个空字符串）标记。自动机有一个初始状态，可能有多个终止或接受状态。正则表达式匹配过程使用 ndfa。如果在ndfa中，从初始状态到接受状态结束的路径上的字母可以匹配到文本中的每一个字符串，则说明已经找到了文本中的匹配项。正则表达式定义如下： 1. 字母表中的所有字母都是正则表达式， 2. 如果 r 和 s 是正则表达式，那么 r|s, (r), r*, rs 也是正则表达式： 1)正则表达式 r|s 表示正则表达式 r 或 s；2) 正则表达式 r*（也称为 Kling 闭包）表示 r 的任意有限序列：r, rr, rrr, .... ..；3）正则表达式rs表示r和s的连接；4) 其中 (r) 表示正则表达式 r。

　　[0087]

　　在一个实施例中，威胁情报文件散列算法获取器设计了一种用于通过将正则表达式与散列算法的特征相结合来从文本中提取威胁情报散列算法的方法。

　　[0088]

　　综上所述，本发明借助本发明的上述技术方案，通过订阅情报邮件，提取邮件内容中的威胁情报ioc信息，然后对邮件内容进行分析，设计一个规则匹配方法；例如，现有的威胁情报ioc采集技术主要采用网络爬虫的方法。邮件系统的采集方法可以绕过网站的反爬机制，从而更稳定的获取威胁情报ioc情报。正则表达式考虑了不同类型IOC的特点，包括但不限于长度、类型、格式、特殊字符等方法，能够准确提取威胁情报IOC信息；避免解析不同的邮箱，本发明还提出了建立邮箱库的概念，特别是可以将外网邮箱内容转储到内网邮箱，方便接收和解析。针对不同威胁情报IOC设计的正则表达式可以自动从邮件信息中提取相应的威胁情报。国际奥委会

　　[0089]

　　以上所述仅为本发明的较佳实施例而已，并不用于限制本发明。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应收录在本发明的保护范围之内。保护范围内。

　　直观:Prometheus指标采集常用配置

　　

　　Day7：掌握APICloud应用管理相关服务和相关API的配置和使用，包括：应用发布、版本管理、云修复、闪屏广告等。了解APICloud APP优化策略和编码标准；了解APICloud多Widget管理机制及SuperWebview的使用

　　

　　主要内容： 1.应用发布 1.1云编译 1.2全包加密 网页全包加密：对网页中的全包html、css、javascript代码进行加密，加密后的网友代码不可读，无法通过常用的格式化工具恢复。代码在运行前被加密，并在运行时动态解密。一键加密。运行时解密不需要在开发过程中对代码进行任何特殊处理，只需在云编译时选择代码加密即可。零修改。零影响加密不改变代码大小，不影响运行效率。安全框定义了一个安全框，对框中的代码进行加解密处理。