手机app上面的数据抓取，动态的在服务器上发布需要抓取

　　手机app上面的数据抓取，动态的在服务器上发布需要抓取

　　关键词采集文章发布文章做读书笔记引导链接回复“python”获取资料。不定期更新，欢迎关注我。在python的学习中，我们经常遇到这样的情况：需要有真实的数据源，例如实际用到的关系型数据库，例如mysql数据库，但是不能实时抓取，只能下下来，每天定时采集。那么今天给大家介绍一个手机app上面的数据抓取，动态的在服务器上发布需要抓取的数据，这样一来我们就可以保持服务器更新，实时采集数据。

　　初识数据抓取1.概念我们在python的学习中，看到一个关键词，例如web开发，或者web爬虫开发，会引导我们定义这样一个对象webpage，可以看出webpage就是python实现web开发的基础。一般的抓取web页面可以认为python处理所有网页的功能，也有部分网页，需要根据url获取ajax加载，对javascript等等的支持，让javascript触发一些ajax事件，也就是爬虫的开发。

　　可是这些都不复杂，抓取手机app上面的数据也是类似，因为app就是web上面的一种网页。2.常用包解决这个问题首先要解决python版本的问题，可能你想抓取、京东或者其他实际上有api对象的app，这些app应该不是python处理，而是java，或者jsp等等语言处理。这些都没有提供官方标准api，例如的api地址，客户端主页面api地址，或者每个app自己的api，可能无法直接操作。

　　那么我们解决方案是用androidapisdk。我们知道python很多库都支持android的api对象，比如xmlhttprequest，还有websocket等等。而且你可以写插件，把这些关键对象处理好，再用python封装起来，web基本上不必开发。至于复杂点的抓取方式，通过插件进行操作，可以在github上找到几十个。

　　当然我们也可以用浏览器抓取，例如pc端firefox插件等等。不过这个工作量大，回报不一定很多。3.抓取规则代码本篇教程的使用环境使用android4.5+，包括android模拟器。规则如下：支持重定向点击打开多个链接页面可以操作整个app可以在item.java中封装接口或者定义加载的方式例如打开，下拉可以打开一个页面，并同时展示上面所有页面，并且item.java中定义了操作上下页面的方法，如res.loadnavigation等等。

　　至于为什么使用这个抓取方式，如果你之前使用scrapy这样的框架，可以参照scrapy源码看看，我们简单分析一下的思路：基本上把所有涉及的方法封装起来，用一个方法get_urls_step_1+封装urls_step_2进行代码封装，这样可以专注在于dom操作上，同时也实现了把页面抓取整理在一起。