数据视频分析监控真实用户搜索相关的文本分析及其应用

　　数据视频分析监控真实用户搜索相关的文本分析及其应用

　　采集系统上云采集系统实时抓取终端安卓、ios全平台，进行实时抓取、存储和检索，将终端用户想要查询的数据进行分类、存储等处理，最终实现对大数据的抓取、转换、整合，提高终端用户的使用体验。同时通过云采集系统，可以快速的调取终端手机终端数据的抓取。智能推送手机的app应用，根据手机设置的时间来触发所查询的文件的实时图文报告分析，将最新的海量数据一键推送到终端用户手机上，可大大缩短用户的等待时间。

　　小程序抓包抓取用户查询的图文内容，抓取用户视频时间线分析，通过终端用户手机的应用来构造应用、搜索数据（关键词、日期等），构建关键词库。在相关搜索框内填写相关关键词，例如“日期抓取”“操作方式”，最终将会根据字段匹配所查询的数据，并且实时展示到相关搜索页。语义分析将文字、照片、视频、二维码等转换成语义分析系统能理解的文字串，能够用于语义的多样化分析处理。

　　中文分词对文字进行词性的划分，对词进行词频统计。检索语句检索多种类型的语句，例如日期类型、年月统计等。tags系统中统计主题，中英文数据库，并可存储文本分类、词频等。关键词分析检索“关键词”，根据关键词的字段组合情况，对文件进行定位。*敏*感*词*、一对多、多对多的句对关系，对文件分析，查找到某段数据。分词统计检索关键词概括搜索相关的多种类型的文本分析需求，对每篇文章进行分词统计。

　　词频统计根据关键词的概括，对词进行词频统计。真实用户数据查询分析真实用户的实时搜索数据，对查询数据进行排序、概括。数据视频分析监控真实用户搜索相关的图文视频采集，对查询的图文视频图文进行反向生成。视频存储系统整合视频数据中心，进行*敏*感*词*的视频存储。文本识别、网页识别对查询的文本内容进行拆分、生成。提取tags文本分析匹配分词系统对图文数据中的tag进行匹配识别，根据tag进行分词。

　　同时分析用户获取的tag。文本转换转换相关图文、视频流式传输，手机端转换为视频，在终端屏幕展示。文本语句识别通过抓取用户查询的句子，对图文语句进行句式识别，并按字段分类。句子包括表达式、词对识别、重复语句识别、疑问语句识别等等。根据文本词对、重复语句、疑问语句等识别相关句子，再进行概括匹配分词。最终将所有句子进行归一化，对词语进行分组，文本将一次性实现对查询的文本一次性的转换。

　　文本聚合识别一段一句转换成文本格式。话术话术可以实现用户的转发和转发，图文等内容。根据用户的重复数据对话术聚合。文本分析识别抓取内容的语言（新浪微博或者知乎等等的各种语言等）。