关键字文章采集器( 企业安全中GitHub关键字扫描开源产品测试调研（一）)

　　关键字文章采集器(

企业安全中GitHub关键字扫描开源产品测试调研（一）)

　　前言

　　互联网上爆发的多起GitHub泄露企业敏感信息事件表明，GitHub关键字扫描是企业安全中至关重要的安全基础设施。我使用一些事件来测试和调查不同类型的 GitHub 扫描开源产品。与大家分享。

　　一、GitHub 搜索界面

　　Github 提供了一个 API 来搜索代码中的关键字，并定义了默认只搜索主分支代码，即 master 分支。只能搜索小于 384KB 的文件。

　　在官方示例中：

　　+in:file+language:js+repo:jquery/jquery

　　q 表示为关键字；

　　in:file 表示在文件中搜索（in:path 在文件目录中）；

　　language 表示语言是 JavaScript；

　　repo 表示在 jquery/jquery 仓库中搜索；

　　API还提供了显示搜索结果的功能，请求时带有请求头：

　　curl-H'Accept:application/vnd.github.v3.text-match+json'\+in:file+language:js+repo:jquery/jquery

　　二、开源工具介绍

　　网上有很多用于GitHub扫描的开源工具。我的需求是：及时预警、全面扫描、直观展示。经过一些测试和比较，我推荐两个易于部署且易于配置的工具：

　　GSIL() 鹰眼()

　　2.1GSIL介绍原理：登录配置：使用token()，使用PyGithub库。进行 API 调用 ()。搜索范围：默认搜索前200条，最大5000条（github限制）。流程：通过API（/search/code）搜索rules文件rules.gsil中提交的关键词，然后分析得到的json结果，默认显示前30个相关项。扫描配置：配置文件中会过滤一些笔者认为没用的路径，有的可以根据实际情况进行屏蔽

　　2.2 鹰眼介绍

　　扫描原理已经简单介绍过了。由于 Hawkeye 具有图形界面，因此可以与 GSIL 一起使用。我通常将 GSIL 扫描的账户作为关注的焦点，配置更详细的策略进行监控。

　　三、总结

　　GitHub关键字扫描的开源工具还有很多，比如比较轻量级的gitpprey，还有小米开发的X-patrol。您可以从安装环境要求、配置功能实现、部署难易度中找到合适的。适用于企业环境的开源扫描工具。再加上一些二次开发，基本可以保证一些GitHub信息泄露的touch关键字可以被及时发现并删除。