网站内容抓取工具(一下各种爆款的抓包工具的优劣势，你了解多少？)

　　网站内容抓取工具(一下各种爆款的抓包工具的优劣势，你了解多少？)

　　作为软件测试工程师，抓包总是不可避免的：遇到问题需要抓包分析；需要定位bug，抓包；检查数据传输的安全性需要抓包；接口测试遇到不完整的需求 还需要抓包...正因为抓包在测试工作中无处不在，所以市场上就会有大量的抓包工具供大家选择。

　　之前我也发了一些文章来介绍一些常用的抓包工具，比如wireshark、Charles等，然后很多朋友在私信或留言中最常问的问题之一就是“什么是这个工具和xxx工具的区别？？”或者“这个工具和xxx工具哪个更好用？”

　　那么，为了解决您的疑惑，让您合理选择更合适的工具，更好地辅助测试工作的执行，今天我们就来分析一下各种流行的抓包工具的优缺点。

　　提琴手

　　Fiddler 工具非常经典和强大。这一点大家应该明白。可以提供电脑端和移动端抓包，包括http和https协议，可以对消息进行抓包和分析；可以设置断点调试，拦截请求替换和数据篡改的消息，还可以进行请求构建，可以设置网络丢包延迟，APP弱网测试等。

　　所以，fiddler的第一个优点就是功能强大，功能齐全；

　　第二个优点是Fiddler是开源免费的，所有电脑只要安装就可以直接使用所有功能！这无疑是一个很大的优势，因为它也吸引了大量的用户！

　　当然，它也有自己的缺点：只能在windows下安装使用。如果你想在其他系统上抓包，比如MacOS系统，Linux系统，那么Fiddler就没用了。

　　查尔斯

　　Charles工具别名“Vase”，它是通过proxy抓包的，也就是我们访问网页的时候，我们配置proxy指向Charles*敏*感*词*的端口，然后所有的请求Charles都会帮忙我们转发并记录。

　　Charles 使用起来非常简单。配置好代理后，Charles 开始抓包。我们可以通过它的 GUI 直接查看包的内容。其实功能和用法和Fiddler很相似。还可以在电脑和手机上提供抓包分析、设置断点、弱网环境模拟等功能。那么它就不同于fiddler。它在哪里？

　　优点：Charles基于Java开发，具有良好的跨平台性能。因此，它不仅支持Windows系统，还支持MacOS和Linux操作系统；所以基本的非windows电脑都会选择Charles工具。捕获https协议的配置也很简单，只要安装charles的证书即可。缺点：

　　Charles 工具不是免费的。它需要购买许可证。如果你不买它，它会每30分钟断开一次。体验非常糟糕！

　　Wireshark

　　Wireshark 也可以在各种平台上安装使用，但其功能侧重点与 Charles&Fiddler 不同。主要用于捕获网络中所有协议的数据包，非常专业的分析网络协议和网络问题！

　　Wireshark工具的优点：可以选择特定的网卡来抓流量，那么只会抓到你关心的网卡通过的数据，针对性很强；可以捕获所有协议的数据包，捕获数据包的文本可以完全以OSI七层网络模型的格式显示出来，客户端和服务器之间的每一条交互消息都可以清楚地看到，以及详细的每个数据包的每个网络级别的内容显示。因此，该工具非常适合学习和分析网络协议。提供非常强大的过滤规则。 Wireshark 可以提供捕获前过滤或捕获后过滤，过滤规则非常详细，可以实现非常高的精度和细粒度的包过滤；它可以与TCPdump结合使用，分析在线服务器（Linux系统）上捕获的数据报文本，定位在线问题。 Wireshark工具的缺点：要想灵活使用，需要有一定的网络基础，对于初学者来说有一定的难度；无法解析https数据包，因为wireshark是链路层获取的数据包信息，所以获取的https数据包是加密数据，所以无法解析数据包的内容。当然，我们可以解密https包，但是操作有一定的复杂性，可能会消耗很多时间。打嗝套件

　　Burpsuite 工具也是基于 Java 语言开发的，因此它也可以在各种平台上使用，包括 Windows、MacOS 和 Linux。

　　Burpsuite 可以提供抓包功能。它还作为浏览器和网站之间的代理，实现消息拦截；还可以修改数据内容，转发功能；它甚至可以选择使用爬虫爬下网站相关数据...

　　但是，它绝对不仅仅是一个抓包工具，它集成了很多有用的小工具来完成更强大的功能，比如http请求转发、修改、扫描等，同时这些小工具还可以与BurpSuite 框架下相互定制攻击和扫描方案。

　　此工具的许*敏*感*词*测试人员将使用它进行消息捕获和篡改数据。许多安全测试人员将使用它进行*敏*感*词*网络安全审计。开发者还可以使用其扫描工具网站压力测试和攻击测试具有更广泛的功能。

　　但是它也有自己的缺点，就是不免费！每位用户每年费用为299美元，使用成本较高。

　　F12

　　F12是众多抓包工具中最简单最轻量的，因为它是浏览器内置的开发者工具，提供从浏览器抓包数据的功能。免安装，打开浏览器直接使用。它非常易于使用，适合入门级的初学者。