关键词文章采集器(企业安全中GitHub关键字扫描是关键及重要的基础建设)

　　关键词文章采集器(企业安全中GitHub关键字扫描是关键及重要的基础建设)

　　前言

　　多起 GitHub 泄露企业敏感信息事件已在互联网上曝光，说明 GitHub 关键字扫描是企业安全中至关重要的安全基础设施。我使用了一些事件来扫描不同类型 GitHub 的开源产品。一些测试研究，与您分享。

　　一、GitHub 搜索界面

　　github 提供了一个 API 来搜索代码中的关键字，并定义了默认只搜索主分支代码，即 master 分支。只能搜索小于 384KB 的文件。

　　官方例子中：+in:file+language:js+repo:jquery/jqueryq 表示为关键字；

　　in:file 表示在文件中搜索（in:path 在文件目录中）；

　　language 表示语言是 JavaScript；

　　repo 表示在 jquery/jquery 仓库中搜索；

　　API还提供了显示搜索结果的功能，请求时带有请求头：curl-H'Accept:application/vnd.github.v3.text-match+json'\+in:file+ language :js+repo:jquery/jquery

　　例子：但是这个函数只显示匹配的关键字和行数，对实际应用影响不大：

　　二、开源工具介绍

　　网上有很多用于GitHub扫描的开源工具。我的需求是：及时预警、全面扫描、直观展示。经过一些测试和比较，我推荐两个易于部署且易于配置的工具：

　　2.1 GSIL 介绍

　　原则：

　　搜索范围：默认搜索前200个项目，最多5000个（github限制）。

　　流程：通过API（/search/code）搜索规则文件rules.gsil中提交的关键词，然后分析得到的json结果，默认显示前30个相关项。

　　扫描配置：配置文件中会过滤一些笔者认为没用的路径，有的可以根据实际情况进行屏蔽：

　　结果展示：该工具没有页面展示，使用邮件提醒匹配关键词所在行及其上下3行进行邮件发送（用户体验好）。

　　去重扫描：工具记录扫描过程中产生的相关代码内容和文件hash，并在~目录下创建隐藏文件夹.gsil。如果之前遇到过扫描引擎中文件的hash，则跳过：

　　定期扫描：可以通过crontab配置，每小时执行一次：@hourly /usr/bin/python /root/gsil/gsil.py 规则名称

　　2.2 鹰眼介绍

　　扫描原理之前已经简单介绍过了。由于 Hawkeye 具有图形界面，因此可以与 GSIL 一起使用。我通常将 GSIL 扫描的帐户作为关注的焦点，并配置更详细的策略进行监控。

　　三、Summary

　　GitHub 关键字扫描的开源工具还有很多，比如小米开发的比较轻量级的gitpprey()、X-patrol()，从安装环境要求、配置功能实现、部署难度入手。 , 可以找到适合企业环境的开源扫描工具。再加上一些二次开发，基本可以保证一些GitHub信息泄露的touch关键字可以被及时发现并删除。

　　感谢阅读并欢迎指导。