工欲善其事，必先利其器。
　　工欲善其事必先利其器的道理相信你们都懂。而作为常常要和各大网站做拉锯战的爬虫工程师们，则更需要借助借助好身边的一切法器，以便更快的击溃对方防线。今天我就以日常爬虫流程，给你们介绍十款工具，相信你们把握以后，必定才能在工作效率上，提升一个量级
　　1.Chrome
　　https://mmbiz.qpic.cn/mmbiz_pn ... %3Dpng" />
　　Chrome属于爬虫的基础工具，一般我们用它做初始的爬取剖析，页面逻辑跳转、简单的js调试、网络恳求的步骤等。我们早期的大部分工作都在它里面完成，打个不恰当的比喻，不用Chrome，我们就要从智能时代倒退到马车时代
　　同类工具： Firefox、Safari、Opera
　　2.Charles
　　https://mmbiz.qpic.cn/mmbiz_pn ... %3Dpng" />
　　Charles与Chrome对应，只不过它是拿来做App端的网路剖析，相较于网页端，App端的网路剖析较为简单爬虫软件，重点放到剖析各个网路恳求的参数。当然，如果对方在服务端做了参数加密，那就涉及逆向工程方面的知识，那一块又是一大筐子的工具，这里姑且不谈
　　同类工具：Fiddler、Wireshark、Anyproxy
　　3.cUrl
　　https://mmbiz.qpic.cn/mmbiz_pn ... %3Dpng" />
　　维基百科这样介绍它
　　cURL是一个借助URL句型在命令行下工作的文件传输工具，1997年首次发行。它支持文件上传和下载，所以是综合传输工具，但按传统，习惯称cURL为下载工具。cURL还包含了用于程序开发的libcurl。
　　在做爬虫剖析时，我们常常要模拟一下其中的恳求，这个时侯假如去写一段代码，未免很小题大做了，直接通过Chrome拷贝一个cURL，在命令行中跑一下瞧瞧结果即可，步骤如下
　　https://mmbiz.qpic.cn/mmbiz_pn ... %3Dpng" />
　　https://mmbiz.qpic.cn/mmbiz_pn ... %3Dpng" />
　　4.Postman
　　https://mmbiz.qpic.cn/mmbiz_pn ... %3Dpng" />
　　https://mmbiz.qpic.cn/mmbiz_pn ... %3Dpng" />
　　当然，大部分网站不是你拷贝一下cURL链接，改改其中参数就可以领到数据的，接下来我们做更深层次的剖析，就须要用到Postman“大杀器”了。为什么是“大杀器”呢？因为它着实强悍。配合cURL，我们可以将恳求的内容直接移植过来，然后对其中的恳求进行整修，勾选即可选择我们想要的内容参数，非常甜美
　　5.Online JavaScript Beautifier
　　https://mmbiz.qpic.cn/mmbiz_pn ... %3Dpng" />
　　用了以上的工具，你基本可以解决大部分网站了，算是一个合格的中级爬虫工程师了。这个时侯，我们想要进阶就须要面对更复杂的网站爬虫了，这个阶段，你除了要会前端的知识，还须要了解一些后端的知识，因为好多网站的反爬举措是置于后端的。你须要提取对方站点的js信息，并须要理解和逆向回家，原生的js代码通常不适于阅读，这时，就要它来帮你低格吧
　　6.EditThisCookie
　　https://mmbiz.qpic.cn/mmbiz_pn ... %3Dpng" />
　　爬虫和反爬虫就是一场没有烽烟的拉锯战，你永远不知道对方会给你埋什么坑，比如对Cookies动四肢。这个时侯你就须要它来辅助你剖析，通过Chrome安装EditThisCookie插件后，我们可以通过点击右上角小图标，再对Cookies里的信息进行增删改查操作，大大提升对Cookies信息的模拟
　　7.Sketch
　　https://mmbiz.qpic.cn/mmbiz_pn ... %3Dpng" />
　　当我们早已确定能爬取以后，我们不应当着急动手写爬虫。而是应当着手设计爬虫的结构。按照业务的需求，我们可以做一下简单的爬取剖析爬虫软件，这有助于我们以后开发的效率，所谓磨刀不误砍柴工就是这个道理。比如可以考虑下，是搜索爬取还是遍历爬取？采用BFS还是DFS？并发的恳求数大约多少？考虑一下这种问题后，我们可以通过Sketch来画一下简单的构架图
　　同类工具：Illustrator、 Photoshop
　　终于要进行开发了，经过前面的那些步骤，我们到这一步，已经是万事俱备只欠东风了。这个时侯，我们仅仅只须要做code和数据提取即可
　　8.XPath Helper
　　https://mmbiz.qpic.cn/mmbiz_pn ... %3Dpng" />
　　在提取网页数据时，我们通常须要使用xpath句型进行页面数据信息提取，一般地，但我们只能写完句型，发送恳求给对方网页，然后复印下来，才晓得我们提取的数据是否正确，这样一方面会发起好多不必要的恳求，另外一方面，也浪费了我们的时间。这个就可以用到XPath Helper了，通过Chrome安装插件后，我们只须要点击它在对应的xpath中写入句型，然后便可以太直观地在左侧看见我们的结果，效率up+10086
　　9.JSONView
　　https://mmbiz.qpic.cn/mmbiz_pn ... %3Dpng" />
　　我们有时候提取的数据是Json格式的，因为它简单易用，越来越多的网站倾向于用Json格式进行数据传输。这个时侯，我们安装这个插件后，就可以很方便的来查看Json数据啦
　　10.JSON Editor Online
　　https://mmbiz.qpic.cn/mmbiz_pn ... %3Dpng" />
　　JSONView是直接在网页端返回的数据结果是Json，但多数时侯我们恳求的结果，都是后端渲染后的HTML网页数据，我们发起恳求后得到的json数据，在终端(即terminal)中难以挺好的诠释怎样办？借助JSON Editor Online就可以帮你挺好的低格数据啦，一秒低格，并且实现了贴心得折叠Json数据功能
　　既然见到这儿，相信大家一定是真爱粉啦，送大家一个彩蛋工具。
　　0.ScreenFloat
　　https://mmbiz.qpic.cn/mmbiz_pn ... %3Dpng" />
　　它能来干嘛？见名思意，就是一个屏幕漂浮工具，然而我近来才发觉它非常重要，尤其我们须要剖析参数时，经常须要在几个界面来回切换，这个时侯有一些参数，我们须要比较她们的差别，这个时侯，你就可以通过它先漂浮着，不用在几个界面中来切换。非常便捷。再送你一个隐藏玩法，比如前面这样
　　有其他好用的工具，欢迎小伙伴留言哈！
　　-------------------End-------------------