云端 自动 采集(我做的微信小程序云采集的案例分享！！)

　　云端 自动 采集(我做的微信小程序云采集的案例分享！！)

　　云端自动采集，传统大数据采集平台往往只能采集app的数据，而小程序可以采集新闻头版、固定栏目头版，部分类目甚至可以采集电商平台的头版数据，很大程度拓宽了大数据采集的平台范围，下面分享一个我做的微信小程序云采集的案例。案例背景介绍：一个经常通过美图秀秀等应用商店下载应用的手机游戏玩家，近期需要对新游戏进行采集并进行留存。

　　问题：目前微信小程序大部分是json格式的数据，由于json格式里没有包含id属性，玩家可能无法查看到这些游戏的相关信息。如果用api自己接口使用接口自动收集，每个页面至少要有一个入口才行。建议把小程序完整数据请求包写在单独的json文件里，这样省事省力。小程序相关接口介绍：商品的id请求在后台查看是无法显示的。

　　通过每次请求的服务器返回数据，根据提供服务的数据库的id查询该列表下商品的所有id，得到的即为该商品的值。列表接口不支持id查询，可以添加-id_object，即可查询商品id。当然，只要支持id查询，就一定能够搜索到了。准备工作由于小程序的数据请求规范并不能根据一个商品就自动判断该商品的id值，我们需要先做第一步的准备工作。

　　需要准备服务器、小程序、数据库。由于我们只有要应用商店和小程序两个接口，所以请求网站的外部接口使用网站的统一接口请求，小程序的pagelet接口使用小程序自带的统一接口请求，路由地址使用页面统一外部请求，此时页面会跳转到小程序入口，在小程序的页面中获取数据。由于一个小程序需要通过两个接口请求，所以小程序测试请求服务器要配置网站域名的ip以及登录用户名和密码、小程序本地数据库的id和密码。

　　将接口文件写在本地小程序目录下，保存成一个url。建议路由文件名统一写成url，这样比较方便统一维护。准备工作完成后，小程序控制台开启自动化功能，在控制台左侧的设置中勾选自动化请求。点击自动化请求后面的自动化请求按钮，我们会得到一个以下图片的请求，这个即为小程序服务器返回的数据，它会绑定多个请求。图中的autodefail是true，如果设置为false，就需要玩家在采集到数据后手动手动去点击按钮。

　　//develop.json{"autodefail":true}develop.json用于存放小程序对外部服务提供的二进制数据，该json文件需要单独写在服务器上，请求路由与autodefail一致。正式案例部分主要介绍接口名称、登录信息、商品id等几个接口的业务流程。接口名称主要是方便后期判断，如果一个接口名称包含多个列表页面就会不好阅读。登录信息之前需要预设好要采集的用户名和密码，