对各大新闻网站中热点话题的检查与跟踪系统

　　1 项目施行的目的、意义

　　随着信息传播手段的进步，尤其是互联网这一新媒体的出现，我们早已甩掉了信息贫乏的拴橘。由于网路信息数目庞大，与一个话题相关的信息常常孤立地分散在好多不同的地方而且出现在不同的时间，仅仅通过这种孤立的信息，人们对个别风波无法做到全面的掌握。

　　所以我们须要这样一种工具，可以帮助人们把分散的信息有效地汇集并组织上去，从整体上了解一个风波的全部细节以及与该风波与其它风波之间的关系。

　　2 项目研究内容和拟解决的关键问题2.1 爬取网站数据

　　本项目涉及两个概念，一是话题topic, 二是报导report(语料)。 话题包括名称ID)和特点(feature)。 ID可以理解为关键词（主题词，事件名），比如“三星折叠屏”， “斯里兰卡爆燃”等。Feature是我们依照语料库挖掘出的特点。

　　为了获取足够的训练数据，本项目将使用网路爬虫技术对各大新闻网站的数据进行爬取，以抽取话题和报导。

　　2.2 报告/话题相似性的比较以及降维和分类处理2.2.1 初始话题、报道集抓取，话题报导关联模型建立

　　根据若干关键词话题ID抓取若干相关语料信息，进行特点抓取，构建初始话题报导关联模型。

　　2.2.2 新话题与初始模型话题集相似性比较

　　对于爬取得到的新话题和新报导，与初始模型话题集进行相似性比较。根据相似性阀值将其归结到某已有话题，或扩展模型添加新的话题。阈值的合理选定是解决的关键问题。

　　2.2.3 上述相关的模式辨识训练过程

　　根据爬取得数据合理、高效地训练机器学习模型，尤其是深度神经网络等技术，是本项目要解决的另一关键问题。

　　2.3 数据库存储和管理/分布式系统的应用

　　网络话题和报导爬取得数据量较大。当话题规模达到一定程度时，使用分布式存储、数据库进行信息组织以满足容量及性能需求，是本项目的另一研究内容。

　　3 项目研究与施行的基础条件我们团队已具备对热点峰会、微博大V文章的信息采集能力。数聚 (专为个人订制的信息流) 这个是我们团队之前做的一个数据采集的项目。说明团队成员有协作完成赛事项目的能力。团队成员有阿里云服务器良好的使用能力，对服务器知识有一定的存贮。团队成员是软件卓越计划班的成员，具有良好的接受和学习、探索新知识的能力我们有优秀的计算机、概率论、量子数学老师的亲自指导的机会

　　项目参考文献

　　[1] 互联网中风波测量与跟踪系统设计与实现 于兆鹏

　　[2] 基于英文微博的热门话题提取与追踪 叶永涛

　　[3] 网络热门话题的跟踪建模与测量剖析 李晶

　　[python] 基于k-means和tfidf的文本降维代码简单实现

　　中文文本聚类（切词以及Kmeans降维）

　　4 项目施行方案

　　image

　　image

　　image

　　image

　　4.1 数据搜集，并进行文本预处理借助网路爬虫，采集指定网页上的信息去除数据中少量的非文本部份处理英文编码问题英文动词，结巴动词引入停用词特点处理， 用scikit-learn的TfidfVectorizer类来进行TF-IDF特点处理4.2 建立数据模型,进行降维剖析对文本类数据进行数据化模型化处理，使用语言模型，向量空间模型。对报导数据进行降维剖析，通过增量k-mwans算法。4.3 对处理的数据的展示：根据时间、因果等诱因对热点话题生成风波网路图谱借助js后端技术，实现动态展示，新颖别致。5 学校可以提供的条件

　　5.1 物质条件的支持：

　　因为我们这个项目挺有挑战性，所以我们班委之间太须要时常讨论交流，所以我们须要一间适中大小的实验环境。最新的科研资料及书籍。服务器的采购费用、新技术的学习费用等资金支持。

　　5.2 教师指导

　　由于我们对这方面的技术仍未成熟，还须要班主任对我们的偏正。不过，我们还有时间去学习去磨练，应该是没问题的该项目的实现须要用到概率论的高等算法知识以及神经网路和分布式系统等高档技术的支持，所以我们须要两位专业级老师的指导。6 预期成果

　　能够实现对各大国外著名新闻网站信息进行时政话题追踪的系统。