温州文章智能采集上传(温州市统计局开发统计舆情感知机器人，采用爬虫文本分析算法)

　　温州文章智能采集上传(温州市统计局开发统计舆情感知机器人，采用爬虫文本分析算法)

　　随着社会各界对统计工作的重视程度越来越高，各级统计机构发布的数据、信息和分析往往成为公众讨论的焦点。为了第一时间了解公众讨论的与统计工作相关的话题，温州市统计局开发了一款统计舆情感知机器人，利用爬虫技术自动采集信息，分析信息，发送促进及时分析、研究和舆论反应的早期预警。目前，该项目已应用于温州市局人口普查中心普查业务。名为“大禹”的机器人为中心提供7×24小时实时监控信息发布和预*敏*感*词*务。

　　一、采集信息内容齐全，时效性强。机器人采集系统采用爬虫技术，对搭载反爬虫技术的平台采用模拟用户行为、IP代理等多种方式避免被平台检测到。虚拟机器人在微博上预设温州本地热门论坛和温州本地知名博主，并实时监控他们的文章和微博更新。一旦发布了新内容，它将立即被捕获并存储在自己的数据库中。并进行分析和预警。

　　二、Analyzing 信息快速准确。信息分析算法采用多种文本分析算法，采用目前数据处理领域领先的python语言开发。除了最基本的直接对比，还包括关键词抽取、相似度计算、文章域分析等，配合不同的算法，以后可能会采用更好的算法来提升分析性能。用户只需在管理页面设置如下关键词即可，如“温州市统计局”。当微博博主或论坛发布与“温州市统计局”相关的内容时，机器人可以准确掌握情况，并及时向用户发送预警。由于不同专业用户的需求不同，虚拟机器人动态分析其库中的文章是否属于需要关注的信息。

　　三、预*敏*感*词*式多样，覆盖面广。该机器人不仅具有发送短信的功能，还可以连接浙江省政府系统使用的钉钉群发机器人。钉钉群发机器人向钉钉群发出警报，以便工作人员及时查看相应警告。