1.Flume概述

1.1.Flume是什么？

  Flume是Cloudera提供的一个高可用、高可靠的、分布式海量日志采集、聚合和传输的系统
1.Flume支持在日志系统中定制各类数据发送方，用于收集数据；
2.Flume提供对数据进行简单处理，并写道各种数据接收方（可定制）的能力。

1.2.Flume使用场景

  1.Flume将数据表示为事件（Event）,每个事件本质上必须是一个独立的记录，而不是记录的一部分。如果数据不能表示为多条独立的记录，Flume可能不适用于此场景。
2.如果每几个小时才产生几个G的数据，并不值得使用Flume组件。
3.Flume适合实时推送事件，处理海量、持续的数据流。

1.3.Flume在生态圈中的位置

2.Flume系统架构

  Agent:一个独立的Flume进程，一个agent中包含多个sources，channels,和sinks.
Event:Flume的基本数据单位，可以是记录日志、arvo对象等。
Source:采集外部数据，传递给Channel.
Channel：中转Event的一个临时存储，保存Source组件传递过来的Event，其实就是连接Source 和 Sink ，有点像一个消息队列。
Sink：从Channel拉取数据，运行在一个独立线程，将数据发送给下一个Agent或者下一个系统.

2.1.Source

  1.Source负责接收Event或通过特殊机制产生Event，并将Events批量的放到一个或多个Channel。
2.Source 有不同的类型。
a. 与系统集成的Source，比如Syslog，NetCat。
b. 自动生成事件的Source，比如Exec。
c. 用于Agent和Agent之间的通信的RPC Source，比如Avro，Thrift。
3.Source必须与Channel进行关联。

2.2.Channel

  1.Channel位于Source和Sink之间，用于缓存进来的Event。
当Sink成功的将Event发送到下一个Agent中的Channel或最终目的地，
Event才从Channel中移除。
不同的Channel提供的持久化水平也是不一样的：
2.Memory Channel：volatile（不稳定）。
File Channel：基于WAL（Write-Ahead Logging）实现。
JDBC Channel：基于嵌入Database实现。
3.Channel可以和任何数量的Source和Sink工作。

2.3.Sink

  1.Sink负责将Event传输到下一个Agent或最终目的地，成功完成后将
Event从Channel移除。
;2.有不同类型的Sink：
存储Event到最终目的的终端Sink，比如HDFS，HBase。
自动消耗的Sink，比如：Null Sink。
用于Agent间通信的RPC sink，比如Avro，thrift。