flume 组件概述与列表

转载请注明原地址：http://blog.csdn.net/m0_37739193/article/details/77570046

Apache版flume-1.7.0源码下载地址：http://archive.apache.org/dist/flume/1.7.0/apache-flume-1.7.0-src.tar.gz

一、Source列表：

简要说明：
1、Avro Source：支持Avro协议（实际上是Avro RPC），内置支持
2、Netcat Source：监控某个端口，将流经端口的每一个文本行数据作为Event输入
3、Sequence Generator Source：序列生成器数据源，生产序列数据
4、Exec Source：基于Unix的command在标准输出上生产数据
5、Syslog Sources：读取syslog数据，产生Event，支持UDP和TCP两种协议
6、Spooldir Source：监控指定目录内数据变更
7、HTTP Source：基于HTTP POST或GET方式的数据源，支持JSON、BLOB表示形式
8、Taildir Source：1.7增加的新组件。tail监控目录下匹配上正则表达式的的所有文件，并实现了断点续传。更像是Spooldir和Exec的超强结合版
9、Thrift Source：支持Thrift协议，内置支持
10、JMS Source：从JMS系统（消息、主题）中读取数据，该Source目前只在ActiveMQ中测试。
11、Kafka Source：从kafka Topic中读取数据
12、Legacy Sources：兼容老的Flume OG中Source（0.9.x版本），支持Avro和Thrift两种协议
13、Stress Source：压力测试用。
14、Twitter 1% firehose Source：通过API持续下载Twitter数据，试验性质
15、Custom Source：自定义Source
16、Scribe Source：另一种类型的摄取系统（官网的解释，不是很懂，网上关于这个Source的资料也很少）

二、Channel列表：

简要说明：
1、Memory Channel：用内存做channel，优点是速度最快，容易配置；缺点是，可靠性最差，因为一旦flume进程挂了内存中还未出来的数据也就没了；
2、JDBC Channel：Event数据存储在数据库中，目前的JDBC Channel支持嵌入式Derby。主要是为了数据持久化，并且可恢复的特性。
3、Kafka Channel：apache下一个版本(1.6)将会带来一个新的组件KafKaChannel，顾名思义就是使用kafka做channel，当然在CDH5.3版本已经存在这个channel。
4、File Channel：用本地文件做channel，优点是可靠性最高，数据都存在磁盘文件中，进程挂了重启后还会断点续传；缺点是速度最慢；
5、Spillable Memory Channel：中和memory channel和file channel，本质上是一个file channel，但是优先存储在内存中，内存满了之后再溢出到磁盘，优点是兼顾上面俩的优点；同样缺点也兼顾了；
6、Pseudo Transaction Channel：只是用于单元测试并不是意味着生产使用
7、Custom Channel：是对channel接口的实现。需要在classpath中引入实现类和相关的jar文件。这Channel对应的type是该类的完整路径

三、Sink列表：