如何使用网页抓取工具抓取APP数据
优采云 发布时间: 2020-08-09 16:01大家就会使用网页抓取工具优采云采集器来采集网页数据,但是有许多同事还不知道怎样借助采集器来采集APP中的数据。毕竟随着联通互联网的发展,APP中可供挖掘的数据还是十分多的,那下边就给你们分享一下怎样使用网页抓取工具采集移动App的数据。
网页抓取工具优采云采集器是可以抓取http以及https恳求中的内容,所以假如APP也是通过这两种恳求类型与服务器进行交互的,那我们就有可能象采集网站一样来施行采集了。下面以易迅APP为例来介绍具体如何操作:
(1)首先手机上要安装了APP,并且将手机与PC联接传输。
(2)打开抓包工具,查看fiddler的端口号,例右图:
(3)查看本地局域网的固定IP,例右图:
(4)在手机中设置代理服务器,将端口号以及IP写入,例右图:
如上图在手机中设置好后,就可以将fiddler保持Capturing的状态,然后操作易迅的APP,打开想要采集的页面,此时抓包工具都会显示出该操作触发的网路恳求和应答。如下图:
然后我们就可以在优采云采集器中剖析恳求写规则,并测试该http是否可以采集。这样借助网页抓取工具实现APP采集的步骤就基本完成了,大家多试几次,不过APP和网页一样,我们看不到的数据是采不到的,比如很多人问的后台用户数据怎么获取,这类是难以采集的。