干货教程:微信小程序，Python爬虫抓包采集实战，采集某成考题库小程序

　　干货教程:微信小程序，Python爬虫抓包采集实战，采集某成考题库小程序

　　文章目录

　　⛳️实战场景

　　从这篇博客开始，我们将为微信小程序编写一系列爬虫。这些爬虫还是通过案例连接的，保证对大家的学习有帮助。

　　正式开始前准备好工具，一个可以解析https协议请求的软件fiddler，微信电脑版。

　　由于微信在 2022 年 5 月调整了小程序架构，因此需要在正式启动前对环境进行基本配置，以方便抓包网络数据包。

　　如果你的 fiddler 启动后能成功抓包，则不需要这一步。

　　在如下路径找到文件夹，然后清空文件夹，然后重启微信，即可在小程序中获取https请求，效果如下图。

　　C:\Users\Administrator\AppData\Roaming\Tencent\WeChat\

　　教程:搜索引擎爬虫工具

　　1.简介：

　　引擎爬虫主要用在Linux系统上，抓取*敏*感*词*主流搜索引擎搜索返回的URL内容，相比之下，Windows搜索引擎爬虫工具非常多，但我是卡利，我不能用Windows软件，我必须写一个小工具简单，写这个小工具的原因是我测试了厂商， 我发现了一个 Web 应用程序的通用漏洞。现在你需要根据URL的特征值采集大量的URL，然后分批测试它们，手动复制粘贴URL各种疲惫，此时这个小工具可以派上用场了~

　　该工具采用多进程并发来提高网页抓取的效率，可以自定义模块添加到工具中，目前支持以下搜索引擎：百度，谷歌，雅虎，ecosia，teoma，360，hotbot，支持直接使用百度或谷歌的高级搜索语法进行搜索，谷歌搜索引擎不需要翻墙， 抓取的数据是我自己的谷歌镜像网站....

　　2.依赖关系：

　　安装要求.txt

　　3.用法：

　　选项：

　　-h， --帮助显示此帮助消息并退出

　　-r 规则， --规则规则引擎高级搜索规则

　　-p 页， --页 页 搜索引擎返回的页数

　　-e 发动机， --发动机 发动机 发动机

　　指定以逗号分隔的搜索引擎列表

　　-o 输出， --输出输出

　　将结果保存到文本文件

　　示例：蟒蛇 EngineCrawler.py -e 百度，雅虎 -r 'inurl：php？id=1' -p 10 -o 网址.txt

　　4.截图：

　　如果代码中存在任何缺陷，请多加改正~

　　项目地址：