web前端开发工程师实时抓取网页数据包下载的方法

　　web前端开发工程师实时抓取网页数据包下载的方法

　　实时抓取网页数据是每个网站web前端开发工程师一直必须去做的事情，通过这些收集来的数据对相关性进行处理，在以后的部署需求中做数据参考。fiddler是网络开发者应该熟悉的抓包工具，fiddler实现从socket到数据包的抓取是任何web前端开发工程师必须学习的部分内容。fiddler工作原理：使用fiddler连接或输入http协议的服务器，然后在服务器中下载可以以明文发送的数据包，然后向socket发送数据包。

　　fiddler工作流程：使用fiddler连接服务器在浏览器中访问源代码，在源代码的shell中下载dom对象，并创建两个类对象data，info对象。需要注意的是，在下载dom对象时，需要添加dom1，dom2标签。在shell中下载dom对象并创建三个方法：datapath(string)：下载文件内容datapath(client)：下载文件的路径，其中必须放在指定文件夹下backup(string)：存入已存入文件backup(request)：backup(request)的路径，若放在默认路径下的文件，则backup(request)只包含在下载文件时创建的文件夹中，如果放在默认路径下的文件，则backup(request)包含在下载文件时被创建的路径下.fiddler提供四种数据包下载类型：datapath//已下载数据包backup()//下载文件的复制数据包backup(request)//下载文件的修改数据包datapath(string)//下载路径下载的数据包默认下载第三种数据包，该方法将下载文件的当前目录的所有数据。

　　下载整个当前目录下所有数据时，如果目录下没有文件则返回datapath(string)，否则将会创建新文件，并且创建新文件时window环境和主机环境都是backup(request)。当fiddler连接上服务器或使用浏览器连接fiddler，fiddler将会下载数据包并保存到自己的工作目录中。使用fiddler连接其他开发者的服务器fiddler请求web服务器将数据转发到socket。

　　从远程服务器下载到数据包，但是从web服务器上下载数据包，这对服务器不稳定有关。使用fiddler并不能保证只下载单个数据包。下面的fiddler请求将数据和参数放在一个文件中，但是url不能是数据包的url，因为fiddler必须下载所有数据，参数只是请求方法。下载数据的地址fiddler并不能知道你数据是来自于url，这样数据包会丢失（使用chrome查看自己服务器http页面地址，fiddler会无法识别，因为查看自己服务器如果有数据包会编写回源代码，fiddler会识别不了）。

　　数据提取命令：window-window-fiddler-fsfiddler.exe这个命令将所有数据包下载到一个文件夹中。然后应用任。