优采集平台(石家庄中公优就业IT培训--大数据核心技术内存性能不如内存)
优采云 发布时间: 2022-02-04 06:30优采集平台(石家庄中公优就业IT培训--大数据核心技术内存性能不如内存)
大数据采集平台来源:石家庄中工友就业IT培训时间:2022/1/19 10:14:17 大数据核心技术主要涉及区块:大数据采集处理;大数据分析;大数据 数据存储、组织和管理。
每年,大数据领域涌现出大量新技术,成为大数据获取、存储、处理、分析或可视化的有效手段。大数据技术可以挖掘出海量数据中隐藏的信息和知识,为人类社会经济生活提供基础,提高各个领域的运行效率,乃至整个社会经济的集约化。
大数据采集平台
Flume 是 Apache 下的一个开源、高可靠、高扩展、易于管理、客户可支持的数据采集 系统。Flume 是使用 JRuby 构建的,因此它依赖于 Java 运行时环境。
Flume 最初是由 Cloudera 工程师设计的用于合并日志数据的系统,后来逐渐发展为处理流数据事件。
来源
Source 负责接收输入数据并将数据写入管道。Flume 的 Source 支持 HTTP、JMS、RPC、NetCat、Exec、Spooling Directory。其中,Spooling 支持监视目录或文件,并解析其中新生成的事件。
渠道
通道存储和缓存从源到*敏*感*词*的中间数据。Channel可以使用不同的配置,如内存、文件、JDBC等。使用内存性能高但不耐用,可能会丢失数据。使用文件更可靠,但性能不如内存。
下沉
Sink 负责从管道中读取数据并将其发送到下一个 Agent 或最终目的地。Sink 支持的不同目标类型包括:HDFS、HBASE、Solr、ElasticSearch、文件、记录器或其他 Flume 代理。
获得试听课
每日名额有限,先到先得
尊重原创文章,转载请注明出处和链接:违者必究!以上是石家庄中工友就业IT培训小编为大家整理的大数据采集平台的全部内容。