汇总:Machinae：一款信息收集自动化工具

　　汇总:Machinae：一款信息收集自动化工具

　　Machinae 安全情报采集工具

　　Machinae 是一种开源工具，可帮助研究人员从各种开放的 网站/提要中采集与网络安全相关的数据，例如 IP 地址、域名、URL、电子邮件地址、文件哈希和 SSL 指纹。受Automater的启发，该工具旨在在以下四个方面改进原创工具的功能：

　　1、源码：用Python 3重构Automater，提高功能扩展性；

　　2.配置：使用更具可读性的配置格式——YAML；

　　3、输入：支持JSON格式解析，需要写正则表达式；

　　4.输出：支持额外的输出类型，包括JSON等选项；

　　工具安装

　　您可以使用 pip3 安装 Machinae：

　　pip3 install machinae

　　或者，你也可以直接从本项目的GitHub仓库中clone代码到你的本地：

　　pip3 install git+https://github.com/HurricaneLabs/machinae.git

　　点击【这里】获取最新版本的工具配置文件，保存在/etc/machinae.yml中。

　　配置文件

　　Machinae 提供了一个强大的配置集成系统。我们可以直接修改系统默认配置文件machinae.yml来更新配置。通过修改配置文件，我们可以修改整个系统环境下所有用户的配置。系统级配置文件位于项目当前目录下，可以使用MACHINAE_CONFIG环境变量设置，也可以直接在命令行使用“-c”或“--config”配置。当然，如果你不想更新全局配置文件，你可以使用“--nomerge”选项来禁用这个特性。

　　您可以通过在 machinae.yml 文件中设置以下设置来启用 Fortinet 类别站点：

　　fortinet_classify:default: true

　　或者使用以下命令禁用 Virus Total pDNS 等站点：

　　vt_ip:default: falsevt_domain:default: false

　　工具使用

　　

　　Machinae 的使用与 Automater 非常相似：

　　usage:machinae [-h] [-c CONFIG] [--nomerge] [-d DELAY] [-f FILE] [-i INFILE] [-v] [-o {D,J,N,S}] [-O{ipv4,ipv6,fqdn,email,sslfp,hash,url}] [-q] [-s SITES] [-a AUTH] [-HHTTP_PROXY] [--dump-config | --detect-otype] ...

　　1、使用“-c/--config”和“--nomerge”选项查看命令详情；

　　2、Machinae支持“-d/--delay”选项，类似于Automater，但Machinae默认使用参数值“0”。

　　3、Machinae的输出由以下两个参数控制：

　　“-o”控制输出格式，可以使用如下命令实现控制：

　　(1) “N”是默认的标准输出；

　　(2) “D”是默认的标准输出格式，但是“.” 字符将被替换；

　　(3) “J”为JSON输出；

　　“-f/--file”指定将输出文件写到哪里，默认的“-”是stdout。

　　4、Machinae还支持使用“-H”或“--http-proxy”命令行参数来设置HTTP代理。

　　数据源

　　Machinae 支持以下数据源（更多数据源正在添加中……）：

　　IPVoid

　　网址无效

　　URLUnshortener()

　　马尔科德

　　无

　　FreeGeoIP (freegeoip.io)

　　Fortinet类

　　VirusTotalpDNS（通过网络爬虫）

　　

　　VirusTotalpDNS（通过 JSONAPI）

　　VirusTotalURL 报告（通过 JSON API）

　　VirusTotalFile 报告（通过 JSON API）

　　信誉权威

　　威胁专家

　　VxVault

　　蜜罐计划

　　迈克菲威胁情报

　　停止论坛垃圾邮件

　　CymruMHR

　　ICSIC证书公证人

　　TotalHash（默认禁用）

　　DomainToolsParsed Whois（需要 API 密钥）

　　DomainToolsReverse Whois（需要 API 密钥）

　　域工具声誉

　　IPWHOIS（有用的 RIRREST 接口）

　　被黑IP

　　MetadefenderCloud（需要 API 密钥）

　　GreyNoise（需要 API 密钥）

　　IBMXForce（需要 API 密钥）

　　汇总:URLextractor 一款信息收集和网站侦察的工具

　　以下是此工具的一些功能：

　　IP 和托管信息，例如城市和国家/地区（使用 FreegeoIP）。

　　DNS服务器（使用挖矿）。

　　ASN、网络范围、ISP 名称（使用 RISwhois）。

　　负载均衡器测试

　　

　　滥用邮件的 Whois（使用垃圾邮件警察）

　　PAC（代理自动配置）文件

　　将哈希值与差异代码进行比较

　　机器人.txt（递归寻找隐藏的东西）。

　　源代码（查找密码和用户）。

　　外部链接（来自其他网站的框架）。目录 FUZZ（如 Dirbuster

　　和 Wfuzz – 使用 Dirbuster 目录列表）。

　　URLvoidAPI – 检查谷歌页面排名、Alexa 排名和可能的黑名单

　　

　　提供有关其他网站的有用链接以与 IP/ASN 相关联

　　最后，在浏览器中打开“所有结果”选项

　　用法

　　。/提取

　　要求：

　　使用brew测试Kali light mini和OSX 10.11.3

　　sudo apt-get install bc curl dnsutils libxml2-utils whois md5sha1sum lynx openssl -y