如何抓包分析手机APP的请求数据整合的那么齐全?

优采云 发布时间: 2021-07-02 01:26

  如何抓包分析手机APP的请求数据整合的那么齐全?

  最近一段时间,网页采集做了很多工作。使用curl技术开发了微信文章聚合产品,将抓取到的数据转换为json格式,并在android端调用json数据接口进行展示;基于weiphp,做了一个palm头条插件,也是一个网页采集技术;与创业团队合作搭建高考志愿报送系统,所有数据也是从外地获取。总而言之,网络爬虫和网页采集技术是一项非常实用的技能,可以让我们高效快速地获取一些开发产品所需的基础数据。

  在网页爬取和网页采集的过程中,难免需要用到抓包技术。所谓抓包,是指当我们访问一个目标网站时,需要对我们提交给浏览器的一些http请求和提交进行分析。对于浏览器的一些数据,我们可以在知道请求是如何发起的以及发布了什么数据后,为目标网页编写相应的采集程序。尤其是在模拟登录某些需要用户进行登录验证的网站时,抓包分析就显得尤为重要。

  一些浏览器有自己的抓包分析工具或有可扩展的抓包插件。例如,Firefox 有 firebug 插件,Internet Explorer 有 HttpWatch。每个抓包工具都有自己独特的功能,这里就不一一介绍了。今天给大家介绍一个好用的抓包工具Fiddler。

  您可以查看只允许微信浏览器访问的页面。例如

  

  一、下载地址:

  链接:密码​​:yoy9

  二、基本介绍:

  三、使用教程:

  四、补充介绍:

  手机APP抓拍:

  现在我们结合一个具体的例子来谈谈如何抓取和分析手机APP的请求数据,满足我们自己的需求。下面给大家讲一个LOL盒子抓包的例子。

  我们知道LOL box没有网页版,或者网页版的功能没有手机APP的数据整合那么完善。如果我们想做一个微信版的LOL盒子,让用户在微信上回复一些关键词,查看一些基本信息。比如用户在微信回复“英雄”就可以查看LOL的所有英雄信息,包括制作、符文等。那么我们要在微信端实现这些功能,肯定是需要数据库的支持的,如果我们的数据是从LOL官网抓取的,难免要写很多匹配规则,所以一个简单高效的方法就是直接抓取集成的LOL box数据。那么话题开始了,我们开始抓取LOL盒子中集成的所有英雄的数据。

  1、先在手机上下载LOL盒子,进入首页(请忽略我五渣男的战斗力指数)

  

  2、打开 Fiddler,点击全部删除,清除所有捕获的信息

  

  3、点击LOL框中的英雄进入英雄页面

  

  4、,可以看到查看英雄页面有三个选项:免费,我的英雄,三者皆可

  

  5、此时我们可以看到Fiddler已经抓到了我们需要的数据接口

  

  6、我们在其中一个数据接口上右击,复制url地址在浏览器中打开

  

  7、可以看到我们需要的周冕英雄的数据接口,json格式

  

  到此,抓包和分析的整个过程大家都清楚了。拿到json接口后,我们可以使用curl技术采集down数据,将json格式的数据转换成数组或者其他格式,然后就可以存储到我们自己的数据库中了。当用户在微信中回复关键词时,我们会从数据库中检索相应的数据并回复给用户。

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线