自动采集编写(Python编写的免费开源网站信息收集类工具，支持跨平台运行)

　　自动采集编写(Python编写的免费开源网站信息收集类工具，支持跨平台运行)

　　SpiderFoot是一个免费开源的网站信息采集工具，用Python编写，支持跨平台操作，适用于Linux、*BSD和Windows系统。此外，它还为用户提供了易于使用的 GUI 界面。在功能方面，SpiderFoot 也为我们考虑得很周到。通过 SpiderFoot，我们可以获得相关目标的各种信息，例如 网站 子域、电子邮件地址、Web 服务器版本等。SpiderFoot 简单的基于 Web 的界面使您能够在安装后立即开始扫描 - 只需设置要扫描的目标域并启用相应的扫描模块。

　　易于使用、快速且可扩展的设计

　　SpiderFoot 旨在尽可能地自动化信息采集过程，以便渗透测试人员可以将更多时间集中在安全测试本身上。最新版本是 SpiderFoot 2.9.0，SpiderFoot 开发者也为此做了很多更新和优化。

　　扫描目标不仅限于使用域名，还支持主机名、IP、Netblocks等。

　　清理后端数据模型更灵活

　　同时扫描

　　更多线程以获得更高性能

　　搜索/过滤

　　修复之前出现的各种bug

　　目的

　　SpiderFoot的目的主要体现在以下三个方面：

　　如果您是一名渗透测试人员，SpiderFoot 将自动化您的测试侦察阶段，并为您提供大量数据，让您将更多时间专注于渗透测试本身。

　　它可用于了解您自己的网络/组织中泄露了哪些敏感信息，并及时删除更改。

　　SpiderFoot 还可用于采集有关可疑恶意 IP、日志或威胁情报数据馈送的威胁情报。

　　特征

　　到目前为止，SpiderFoot已经采用了50多个数据源，包括SHODAN、RIPE、Whois、PasteBin、Google、SANS等数据源。

　　专为大数据提取而设计；每个数据都被传递到相应的模块以提取有价值的信息。

　　它是跨平台且完全开源的。因此，您可以将其移至 GitHub 自行开发和添加各种功能模块。

　　可视化。内置基于 JavaScript 的可视化或导出为 GEXF/CSV 格式，以便在 Gephi 等其他工具中使用。

　　基于Web的UI界面，更易于使用。

　　高可配置性。几乎每个模块都是可配置的，因此您可以自定义入侵级别和功能。

　　模块化的。每个 main 函数都是一个用 Python 编写的模块。因此用户可以随意添加和编写自己的模块。

　　SQLite 后端。所有扫描结果将存储在本地 SQLite 数据库中，可用于后续分析。

　　同时扫描。每个 SpiderFoot 扫描都在自己的线程上运行，因此您可以同时对不同目标执行多次扫描。

　　有关更多信息，请参阅文档。

　　数据源

　　以下是 SpiderFoot 使用的相关数据源列表，并且仍在增长中。一些数据源可能需要 API 密钥，但它们都是免费的。

　　SpiderFoot 遵循模块化设计，这意味着我们任何人都可以通过编写和添加我们自己的功能模块来完成我们的工作。例如，您可以创建一个自动填充用户名和密码的蛮力模块。

　　安装环境

　　SpiderFoot是基于Python(2.7）编写的，所以可以在Linux/Solaris/FreeBSD等系统上运行。除了安装Python2.7，还需要安装lxml , netaddr , M2Crypto, CherryPy, bs4, requests 和 Mako 模块。

　　要使用 pip 安装依赖项，请运行以下命令：

　　在某些发行版上，您可能需要使用 APT 来安装 M2Crypto：

　　其他模块如 PyPDF2、SOCKS 等已经收录在 SpiderFoot 包中，因此您不需要单独安装它们。

　　蜘蛛脚下载：