搜索引擎优化ppt文档(信安之路利用搜索引擎信息收集的功能和价值，后续完整内容将发布)

　　搜索引擎优化ppt文档(信安之路利用搜索引擎信息收集的功能和价值，后续完整内容将发布)

　　HT1001系列是Principal Road推出的一系列黑客工具。结合使用场景对安全工具进行测试总结，通过实用的方法介绍各种开源工具的功能和价值。全文将发布在校长路的知识中。星球和成长平台，部分内容将通过校长路公众号分享。

　　关于搜索引擎信息采集的自动化使用，主要关注域名和企业邮箱两部分信息。通过搜索引擎搜索结果有两种方式。一种是模拟浏览器直接获取搜索结果，另一种是模拟浏览器获取搜索结果。搜索引擎提供的 API 使用个人申请的身份验证令牌来获取搜索结果。

　　由于所有的搜索引擎都提供了自动搜索的API，所以第一种方法是非法操作，类似于自定义爬虫，爬取搜索引擎的搜索结果。但是第二种方法需要使用API​​认证令牌，并且搜索的次数和获得的结果数量有限，所以使用搜索引擎获取想要的信息比较复杂和受限。

　　由于是自动化的，所以不需要考虑各种搜索引擎的限制和条件。一键获取信息是我们的目标。如果有足够的资源当然是好的。毕竟，除了通过这种方式采集域名和邮箱信息外，还有其他方式可以补充，所以今天的测试站是在没有任何额外资源的情况下进行的。

　　工具 1：收割机

　　该项目使用非常简单，功能强大，信息来源广泛。项目地址：

　　安装需要python3.7+，CentOS安装python3.83：

　　# 安装更新及必要组件

sudo yum -y update

sudo yum -y groupinstall "Development Tools"

sudo yum -y install openssl-devel bzip2-devel libffi-devel sqlite-devel

# 下载Python安装包

wget https://www.python.org/ftp/python/3.8.3/Python-3.8.3.tgz

tar xvf Python-3.8.3.tgz

cd Python-3.8*/

# 编译安装

./configure --enable-optimizations --enable-loadable-sqlite-extensions

sudo make altinstall

# 完成安装，查看版本

python3.8 --version

# 更新 pip

pip3.8 install --upgrade pip

　　安装 Harvester 必要组件：

　　pip3.8 install -r requirements/base.txt

　　安装成功后，运行截图：

　　我们尝试以它为目标，并指定搜索引擎为百度。命令如下：

　　python3.8 theHarvester.py -d -b baidu

　　如果您有多个平台的 API 密钥，您可以编辑 api-keys.yaml 文件以使该工具的搜索结果更丰富：

　　然后你就可以享受这个工具带来的乐趣了。

　　工具 2：metagoofil

　　自动搜索文档信息工具metagoofil，可以通过谷歌搜索下载pdf、doc、xls、ppt、odp、ods、docx、xlsx、pptx等文件，项目地址：

　　安装命令：

　　pip install requests && rm -rf /usr/share/metagoofil/ && git clone

　　运行截图：

　　以项目提供的案例为例，搜索域名相关的doc和pdf文档：

　　除了文档信息之外，还有一些用户和电子邮件地址信息：

　　查看下载的文档信息：

　　搜索的原理是通过site和filetype两个关键词的组合来获得搜索结果。获取数据的方式是爬取谷歌搜索结果，而不是API的方式。

　　总结

　　这两个工具的侧重点不一样，但是搜索引擎的高级用法已经可以包括在内了。其他项目暂不分享。工具不多，但使用它们的人如何才能更好地使用工具来实现自己的目标。想要达到的目的，除了这些开源项目，还可以自己开发一些脚本来达到自动化的目的。当然，你也可以参考这些成熟的开源软件。里面有很多想法，值得参考。

　　更多精彩内容请关注公众号“校长之路”，加入校长之路知识星球获取更多内部学习资料，注册校长之路成长平台，学习沉淀安全技术。