优采集平台(沈阳中公优就业IT培训--大数据核心技术)

　　优采集平台(沈阳中公优就业IT培训--大数据核心技术)

　　大数据采集平台来源：沉阳中工优秀就业IT培训时间：2020/5/26 17:46:13 大数据的核心技术主要涉及区块：大数据采集处理；大数据分析；大数据 数据存储、组织和管理。

　　如今，大数据领域每年都会涌现大量新技术，成为大数据获取、存储、处理、分析或可视化的有效方法。大数据技术可以挖掘出隐藏在海量数据中的信息和知识，为人类社会经济生活提供基础，提高各个领域的运行效率，乃至整个社会经济的集约化程度。

　　大数据采集平台

　　Flume 是 Apache 旗下的一个开源、高度可靠、高度可扩展、易于管理和客户可扩展的数据采集 系统。Flume 使用 JRuby 构建，所以它依赖于 Java 运行时环境。

　　Flume 最初是由 Cloudera 工程师设计用于整合日志数据，然后逐渐发展为处理流数据事件。

　　来源

　　Source 负责接收输入数据并将数据写入管道。Flume 的 Source 支持 HTTP、JMS、RPC、NetCat、Exec、Spooling Directory。其中，Spooling 支持监视目录或文件并分析新生成的事件。

　　渠道

　　Channel 存储和缓存从源到*敏*感*词*的中间数据。Channel可以使用不同的配置，比如内存、文件、JDBC等，内存的使用性能高但不持久，可能会丢失数据。使用文件更可靠，但性能不如内存。

　　下沉

　　Sink 负责从管道中读取数据并将其发送到下一个 Agent 或最终目的地。Sink 支持的不同目的地类型包括：HDFS、HBASE、Solr、ElasticSearch、File、Logger 或其他 Flume Agent。

　　尊重原创文章，转载请注明出处和链接：违者必究！以上是沉阳中工优秀就业IT培训编辑为您整理的大数据采集平台的全部内容。