云优采集接口(顶尖时代推出的互联网大数据“一键采集”云服务 )

　　云优采集接口(顶尖时代推出的互联网大数据“一键采集”云服务

)

　　Top Times推出的互联网大数据“一键式采集”云服务是针对互联网进行网页信息采集处理、加工、分类的云服务。

　　云采集平台采用的核心技术是分布式网络爬虫系统。分布式爬虫系统采用主从架构。即有一个主节点控制所有从节点执行爬取任务，而这个主节点负责分配URL，保证集群中所有节点的负载均衡。网页采集爬虫系统自动提取网页属性信息的非结构化信息采集进行结构化处理、字段提取（包括站点、出处、日期、标题、内容，包括图片等） .

　　系统结构

　　Top Cloud采集一般可以分为四层（见上）：Internet（数据源层）、采集层、信息处理层、分析层和服务接口。

　　它由互联网上的各种数据和政府/企业内部的各种数据组成。互联网数据包括重大新闻网站、门户网站、各种论坛、各种博客、各种微博，微信上的所有信息由新闻、新闻评论、论坛帖子、博客和播客组成。

　　“顶云采集”系统全面及时采集互联网上的各类信息，全文搜索引擎实现信息的智能分析和处理，包括内容提取（标题, text, source, date, URL) 信息分类，实体抽取（人名，地名，机构），支持文本语义分析，语义搜索，关键词分析，词频分析，摘要分析，相关文章分析、热点分析等

　　cloud采集平台支持基于http请求的REST Ful风格API接口，可以JSON格式向各种应用系统提供接口数据。可以通过接口定义所需数据的周期、类型、数量等。通过接口数据可以提供给信息资源库、cms素材库、情报系统、舆论系统等应用。

　　采集范围

　　服务特色