基于反向推送的分布式应用自动化采集系统的研究与应用

　　基于反向推送的分布式应用自动化采集系统的研究与应用

　　‘ 一 一 ’ 一 ‘ 实用第一 智慧密集 ． ． ． ． ． ． ． ． ． ． ． ． ． ， ． ． ． 基于反向推送的分布式应用 自动化采集系统的研究与应用 阳 翔 (冻 汁 机网路应急技术处 删中心』一两分r}1心 ，I钉 j：530015) 摘 要：针对有关部门及时把握联通互联 网应用发展方向的需求，提出了基于反向推送的分布式应用 自动化采集的思路 与方式 ，通过 “应用采集子 系统”、 “信息推 送子 系统”、 “信 息智能 处理子 系统”的 设 计 ，实现 移动应 用程 序的主动 发现 及跟踪 的 完全 自动 化 ，极 大缓解 了工 作人 员的 对应 J}]、 更新及新 版 本 发现 的工 作硬度 ，并有效地提 高发 现的及 时性 ， l r低成 本的 砭时 发现 并跟踪 指 定应 用发布及 迎新 ， 为有关部 『1对应用 整体的态势研判提 供数据 支撑成 为可能 ～ 关键词 ：反向推 送 ；分布式 ；移动 互联 网发展 l 背景 随着联通互联网的快速发展和普及 ，以 lOS和 An— dloid为代 表 的移 动应 用数目 急剧增 长 。

　　 目前 ，仅苹 果 AppStore和 歌 PlayStore两 大市场 的移 动应用 总量 已达 万级．境内第三方市场应用更是不计其数，且每晚 都有大量新应 用上架 和已有 应用更新 。为及 时把握联通 互联网应用发展方向，整体应用态势研判提供数据 支 撑 ，有关部 门须要及 时发觉并跟踪不 同类 型应用的发布 及更新情况，来进行应用活跃度剖析，如何高效地采集 成为有关部门重要丁作任务之一。面对总数高速增 长、 版本快速更新的联通应用 ，难以跟上联通应用的版本 、 功能 、技术变化，亟需更高效的跟踪检测手段。 2 研究 目标和主要研 究内容 研 究并实现一个 低成本 面向各 大应用 市场 (包 含但 不限于 AppStore、PlayStore)中联通应用的快速跟踪T 具 ，为有关部门对应用整体的态势研判提供数据支撑 ， (1)能够对境内外应用商店已上线的应用进行版本跟 踪 ，快速发觉应用的更新情况 ； (2)对应用市场内新 上线的应用进行 自动搜索发觉。研究成果将极大减少工 作人员的对应用更新及新版本发觉的工作硬度 ，并有效 地提 高发觉的及时性 ，提升 1二作效率 。 3 反向推送分布式采集的系统实现 根据现有各大官方应用市场现有网页结构．对需跟 踪指定的联通应用信息页面 ．采用 “网页内容解析”的 方式 ，自动采集指定联通应用信息 ．判断是否有新应用 上线及已存在应用的版本更新 ，并进行相应的储存。 通过剖析*敏*感*词*的科技文献与实际应用案例 ，结合 T作实际，系统采用分布式 B／C／S体系构架 ，以服务器