软文采集系统(微信公众号数量已达2000万+,平均每月产出1.07亿篇)

　　软文采集系统(微信公众号数量已达2000万+,平均每月产出1.07亿篇)

　　[摘要]：进入移动互联网时代，社交媒体层出不穷，如推特、脸书、微博、知乎等。作为后起之秀，微信月活跃用户近10亿。据统计，微信公众平台微信公众号已达2000万+，月均输出1.7亿条内容，成为信息传播和舆论的主要场所之一发酵。全面高效的采集和微信数据分析在热点话题发现、突发事件实时跟踪、舆情监测等领域具有重要应用。本文重点关注微信API请求限速、接口开放程度低、网络爬虫采集 依赖第三方方法如搜狗微信、采集、采集数据不完整、效率低等问题，设计并实现移动数据采集系统。系统将数据采集迁移到移动端，在应用中使用自动化测试框架模拟正常的用户点击、浏览等对服务器的请求，实现公众号的全历史和单一文章 采集 包括正文、用户评论、点赞等全维度数据。此外，在对采集接收到的数据进行主题检测和演化分析中，本文提出了一种基于去噪的主题检测方法和一种基于增强字体的主题演化方法。公众号文章 收录热点新闻和大量非热点新闻。如果直接使用聚类算法进行聚类，容易受到异常值（非热点新闻）的影响，聚类效果较差。根据论文设计的系统采集的数据综合性，本文提出了一种多维有效的报告检测方法去除噪声，一方面提高聚类效果，另一方面降低聚类成本，尤其是大数据时代的海量数据。其次，考虑到即使是信息类公众号通常也会发布软文、广告投放等非新闻报道类微信，传统的基于标题和引导词的新闻主题方式已不再适用于微信公众号。