顶尖云采集平台

　　顶尖云采集平台

　　顶尖云采集

　　针对互联网进行网页信息采集、处理、加工、分类。云采集平台采用的核心技术是分布式网页爬虫系统。分布式爬虫系统采取主从形式的体系结构。采集速度快、采集类型全、采集数量多、防止屏蔽、分析加工灵活。

　　详细信息

　　顶尖时代推出的互联网大数据“一键采集”云服务是定向针对互联网进行网页信息采集、处理、加工、分类的云服务。

　　云采集平台采用的核心技术是分布式网页爬虫系统。分布式爬虫系统采取主从形式的体系结构。即有一个主节点控制所有从节点执行抓取任务，这个主节点负责分配URL，保证集群中所有节点的负载均衡。网页采集爬虫系统将网页的非结构化信息采集后，自动提取网页属性信息进行结构化的处理，字段提取（包括站点、来源、日期、标题、内容、收录图片等）。

　　系统构架

　　顶尖云采集总体上可以分为四个层次（见上图）：互联网（数据源层）、采集层、信息加工、分析层和服务插口。

　　数据源

　　由互联网的各种数据和政府/企业内部各种数据组成，互联网数据为互联网上各大新闻网站、门户网站、各类峰会、各类博客、各类微博、微信上的所有信息组成，信息的表现形式为新闻、新闻评论、论坛贴子、博客和播客等。

　　数据采集加工

　　采用“顶尖云采集”系统，全面及时采集互联网的各种信息，全文搜索引擎实现对信息的智能剖析处理，包括内容抽取（标题、正文、来源、日期、URL）信息分类、实体提取（人名、地名、机构）、支持文本语义剖析、语义搜索、关键词分析、词频剖析、摘要剖析、相关文章分析、热点剖析等。

　　服务插口

　　云采集平台支持基于http请求RESTFul风格的API接口，可以通过JSON格式提供插口数据给各个应用系统。可以通过插口定义须要数据的周期、类型、数量等。通过插口数据可以提供给信息资源库、CMS素材库、情报系统、舆情系统等多种应用。

　　采集范围

　　服务特征