网页表格抓取 Darkweb(暗网) OSINT 2022 年调查资源
优采云 发布时间: 2022-04-29 23:23网页表格抓取 Darkweb(暗网) OSINT 2022 年调查资源
2021 年底,暗网格局发生了巨大变化——V2 洋葱域名终于被弃用,导致许多旧网站无法访问。
Tor 项目最终取消了“根本不安全”的域,敦促所有者和用户迁移
当前版本的 Tor 浏览器不再支持旧的 16 个字符的字符串域名,而是支持更长的 56 个字符的域名。使用 Tor 浏览器的旧的、预更新版本仍然可以访问一些 V2 域——但是没有多大意义,因为普遍的共识是继续前进。
现在是更新暗网 OSINT 调查工具包并在其中包含一些当代 2022 材料的时候了。
明网资源
Ahmia – 【】最古老、最可靠的 .onion 搜索引擎之一,可从暗网和明网访问。
洋葱搜索引擎 —【】用于搜索洋葱网站。它带有适用于 Chrome 和 Firefox 的浏览器扩展。各种支持的搜索选项包括图像、视频、地图和粘贴。
Tor Taxi – 【】一个带有多个不同洋葱域链接的启动板网站。它有一个方便的颜色编码系统,用于显示当前关闭的网站。
Darkweb Wiki—【】 一个有点混乱且不经常更新的洋葱站点列表——仍然是一个有价值的资源。
Hunchly –【】 以电子表格的形式提供有关洋葱域上升/下降的每日暗网报告。
IACA Darkweb Tools –【】 国际反*敏*感*词*学院提供的免费资源。
Reddit 社区 ——可以找到许多专门针对暗网各个方面的 subreddit,其中一些很受欢迎。但是,有 3 个始终良好且最新:
Discord – 一个新兴的 Reddit 替代品,用于新兴的在线社区和利基主题,Discord 在某些方面已经占据主导地位。虽然我还没有找到值得推荐的公开频道,但您可以使用暗网关键字搜索 可用的 Discord 服务器【】
暗网资源
Ahmia – 如上所述,但专门针对 Tor:
Haystak – 自称为“暗网最大的搜索引擎”,拥有数以千计的索引 .onion 域名——包括一些历史域名。
Kilos – 暗网市场搜索引擎,允许搜索供应商、列表、评论、论坛和论坛帖子。对于跨多个暗网实体进行广泛的基于关键字的搜索很有用。
TOR66—— 在标准搜索之上,这使得“新鲜洋葱”和“随机洋葱”匹配;谨慎行事,这些可以将您带到一些真正随机的站点。
Github 工具
首先,Apurv Singh Gautam 提供的很棒的工具列表可以 在这里找到【】 (但需要注意的是,我还没有使用或测试过所有这些工具)。
Onioff–【】 用于搜索 .onion URL 的 Python 工具。
OnionIngestor—【】用于抓取和收集暗网情报——与 Kibana 仪表板配合使用。
Onion Search– 【】从暗网搜索引擎抓取 .onion URL 的工具。
The Devils Eye– 【】用于在不连接 Tor 的情况下提取 .onion 站点链接和描述。
TorBot –【】 洋葱爬虫,许多附加功能仍在积极开发中。