监控端口数据官方案例

案例需求：

首先启动Flume任务，监控本机44444端口，服务端；
然后通过netcat工具向本机44444端口发送消息，客户端；
最后Flume将监听的数据实时显示在控制台。

需求分析：

实现步骤：

安装netcat工具

[liujh@hadoop102 software]$ sudo yum install -y nc

判断44444端口是否被占用

[liujh@hadoop102 flume-telnet]$ sudo netstat -tunlp | grep 44444

功能描述：netstat命令是一个监控TCP/IP网络的非常有用的工具，它可以显示路由表、实际的网络连接以及每一个网络接口设备的状态信息。
基本语法：netstat [选项]
选项参数：
-t或–tcp：显示TCP传输协议的连线状况；
-u或–udp：显示UDP传输协议的连线状况；
-n或–numeric：直接使用ip地址，而不通过域名服务器；
-l或–listening：显示监控中的服务器的Socket；
-p或–programs：显示正在使用Socket的程序识别码（PID）和程序名称；

创建Flume Agent配置文件flume-netcat-logger.conf
在flume目录下创建job文件夹并进入job文件夹。

[liujh@hadoop102 flume]$ mkdir job
[liujh@hadoop102 flume]$ cd job/

在job文件夹下创建Flume Agent配置文件flume-netcat-logger.conf。

[liujh@hadoop102 job]$ touch flume-netcat-logger.conf

在flume-netcat-logger.conf文件中添加如下内容

[liujh@hadoop102 job]$ vim flume-netcat-logger.conf
添加内容如下：
# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# Describe/configure the source
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444
# Describe the sink
a1.sinks.k1.type = logger
# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

配置文件来源于官方手册http://flume.apache.org/FlumeUserGuide.html

先开启flume监听端口
第一种写法：

[liujh@hadoop102 flume]$ bin/flume-ng agent --conf conf/ --name a1 --conf-file job/flume-netcat-logger.conf -Dflume.root.logger=INFO,console

第二种写法：

[liujh@hadoop102 flume]$ bin/flume-ng agent -c conf/ -n a1 –f job/flume-netcat-logger.conf -Dflume.root.logger=INFO,console

参数说明：
–conf conf/ ：表示配置文件存储在conf/目录
–name a1 ：表示给agent起名为a1
–conf-file job/flume-netcat.conf ：flume本次启动读取的配置文件是在job文件夹下的flume-telnet.conf文件。
-Dflume.root.logger==INFO,console ：-D表示flume运行时动态修改flume.root.logger参数属性值，并将控制台日志打印级别设置为INFO级别。日志级别包括:log、info、warn、error。

使用netcat工具向本机的44444端口发送内容

[liujh@hadoop102 ~]$ nc localhost 44444
hello 
liujh

在Flume监听页面观察接收数据情况

实时读取本地文件到HDFS案例

案例需求：

实时监控Hive日志，并上传到HDFS中

需求分析：

实现步骤：

Flume要想将数据输出到HDFS，必须持有Hadoop相关jar包

将commons-configuration-1.6.jar、
hadoop-auth-2.7.2.jar、
hadoop-common-2.7.2.jar、
hadoop-hdfs-2.7.2.jar、
commons-io-2.4.jar、
htrace-core-3.1.0-incubating.jar
拷贝到/opt/module/flume/lib文件夹下。

创建flume-file-hdfs.conf文件
创建文件

[liujh@hadoop102 job]$ touch flume-file-hdfs.conf

注：要想读取Linux系统中的文件，就得按照Linux命令的规则执行命令。由于Hive日志在Linux系统中所以读取文件的类型选择：exec即execute执行的意思。表示执行Linux命令来读取文件。

[liujh@hadoop102 job]$ vim flume-file-hdfs.conf
添加如下内容
# Name the components on this agent
a2.sources = r2
a2.sinks = k2
a2.channels = c2
# Describe/configure the source
a2.sources.r2.type = exec
a2.sources.r2.command = tail -F /opt/module/hive/logs/hive.log
a2.sources.r2.shell = /bin/bash -c
# Describe the sink
a2.sinks.k2.type = hdfs
a2.sinks.k2.hdfs.path = hdfs://hadoop102:9000/flume/%Y%m%d/%H
#上传文件的前缀
a2.sinks.k2.hdfs.filePrefix = logs-
#是否按照时间滚动文件夹
a2.sinks.k2.hdfs.round = true
#多少时间单位创建一个新的文件夹
a2.sinks.k2.hdfs.roundValue = 1
#重新定义时间单位
a2.sinks.k2.hdfs.roundUnit = hour
#是否使用本地时间戳
a2.sinks.k2.hdfs.useLocalTimeStamp = true
#积攒多少个Event才flush到HDFS一次
a2.sinks.k2.hdfs.batchSize = 1000
#设置文件类型，可支持压缩
a2.sinks.k2.hdfs.fileType = DataStream
#多久生成一个新的文件
a2.sinks.k2.hdfs.rollInterval = 60
#设置每个文件的滚动大小
a2.sinks.k2.hdfs.rollSize = 134217700
#文件的滚动与Event数量无关
a2.sinks.k2.hdfs.rollCount = 0
# Use a channel which buffers events in memory
a2.channels.c2.type = memory
a2.channels.c2.capacity = 1000
a2.channels.c2.transactionCapacity = 100
# Bind the source and sink to the channel
a2.sources.r2.channels = c2
a2.sinks.k2.channel = c2

注意：
对于所有与时间相关的转义序列，Event Header中必须存在以 “timestamp”的key（除非hdfs.useLocalTimeStamp设置为true，此方法会使用TimestampInterceptor自动添加timestamp）。
a3.sinks.k3.hdfs.useLocalTimeStamp = true

执行监控配置

[liujh@hadoop102 flume]$ bin/flume-ng agent --conf conf/ --name a2 --conf-file job/flume-file-hdfs.conf

开启Hadoop和Hive并操作Hive产生日志

[liujh@hadoop102 hadoop-2.7.2]$ sbin/start-dfs.sh
[liujh@hadoop103 hadoop-2.7.2]$ sbin/start-yarn.sh
[liujh@hadoop102 hive]$ bin/hive
hive (default)>

在HDFS上查看文件。

实时读取目录文件到HDFS案例

案例需求：

使用Flume监听整个目录的文件

需求分析：

实现步骤：

创建配置文件flume-dir-hdfs.conf

创建一个文件
[liujh@hadoop102 job]$ touch flume-dir-hdfs.conf
打开文件
[liujh@hadoop102 job]$ vim flume-dir-hdfs.conf
添加如下内容
a3.sources = r3
a3.sinks = k3
a3.channels = c3
# Describe/configure the source
a3.sources.r3.type = spooldir
a3.sources.r3.spoolDir = /opt/module/flume/upload
a3.sources.r3.fileSuffix = .COMPLETED
a3.sources.r3.fileHeader = true
#忽略所有以.tmp结尾的文件，不上传
a3.sources.r3.ignorePattern = ([^ ]*\.tmp)
# Describe the sink
a3.sinks.k3.type = hdfs
a3.sinks.k3.hdfs.path = hdfs://hadoop102:9000/flume/upload/%Y%m%d/%H
#上传文件的前缀
a3.sinks.k3.hdfs.filePrefix = upload-
#是否按照时间滚动文件夹
a3.sinks.k3.hdfs.round = true
#多少时间单位创建一个新的文件夹
a3.sinks.k3.hdfs.roundValue = 1
#重新定义时间单位
a3.sinks.k3.hdfs.roundUnit = hour
#是否使用本地时间戳
a3.sinks.k3.hdfs.useLocalTimeStamp = true
#积攒多少个Event才flush到HDFS一次
a3.sinks.k3.hdfs.batchSize = 100
#设置文件类型，可支持压缩
a3.sinks.k3.hdfs.fileType = DataStream
#多久生成一个新的文件
a3.sinks.k3.hdfs.rollInterval = 60
#设置每个文件的滚动大小大概是128M
a3.sinks.k3.hdfs.rollSize = 134217700
#文件的滚动与Event数量无关
a3.sinks.k3.hdfs.rollCount = 0
# Use a channel which buffers events in memory
a3.channels.c3.type = memory
a3.channels.c3.capacity = 1000
a3.channels.c3.transactionCapacity = 100
# Bind the source and sink to the channel
a3.sources.r3.channels = c3
a3.sinks.k3.channel = c3

启动监控文件夹命令

[liujh@hadoop102 flume]$ bin/flume-ng agent --conf conf/ --name a3 --conf-file job/flume-dir-hdfs.conf

说明：在使用Spooling Directory Source时
(1) 不要在监控目录中创建并持续修改文件
(2) 上传完成的文件会以.COMPLETED结尾
(3) 被监控文件夹每500毫秒扫描一次文件变动

向upload文件夹中添加文件
在/opt/module/flume目录下创建upload文件夹

[liujh@hadoop102 flume]$ mkdir upload
向upload文件夹中添加文件
[liujh@hadoop102 upload]$ touch liujh.txt
[liujh@hadoop102 upload]$ touch liujh.tmp
[liujh@hadoop102 upload]$ touch liujh.log

查看HDFS上的数据
等待1s，再次查询upload文件夹

[liujh@hadoop102 upload]$ ll
总用量 0
-rw-rw-r--. 1 liujh liujh 0 5月  20 22:31 liujh.log.COMPLETED
-rw-rw-r--. 1 liujh liujh 0 5月  20 22:31 liujh.tmp
-rw-rw-r--. 1 liujh liujh 0 5月  20 22:31 liujh.txt.COMPLETED

单数据源多出口案例(选择器)

单Source多Channel、Sink如图所示

案例需求：

使用Flume-1监控文件变动，Flume-1将变动内容传递给Flume-2，Flume-2负责存储到HDFS。同时Flume-1将变动内容传递给Flume-3，Flume-3负责输出到Local FileSystem。

需求分析：

实现步骤：

准备工作

在/opt/module/flume/job目录下创建group1文件夹
[liujh@hadoop102 job]$ cd group1/
在/opt/module/datas/目录下创建flume3文件夹
[liujh@hadoop102 datas]$ mkdir flume3

创建flume-file-flume.conf
配置1个接收日志文件的source和两个channel、两个sink，分别输送给flume-flume-hdfs和flume-flume-dir。
创建配置文件并打开

[liujh@hadoop102 group1]$ touch flume-file-flume.conf
[liujh@hadoop102 group1]$ vim flume-file-flume.conf
添加如下内容
# Name the components on this agent
a1.sources = r1
a1.sinks = k1 k2
a1.channels = c1 c2
# 将数据流复制给所有channel
a1.sources.r1.selector.type = replicating
# Describe/configure the source
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /opt/module/hive/logs/hive.log
a1.sources.r1.shell = /bin/bash -c
# Describe the sink
# sink端的avro是一个数据发送者
a1.sinks.k1.type = avro
a1.sinks.k1.hostname = hadoop102
a1.sinks.k1.port = 4141
a1.sinks.k2.type = avro
a1.sinks.k2.hostname = hadoop102
a1.sinks.k2.port = 4142
# Describe the channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
a1.channels.c2.type = memory
a1.channels.c2.capacity = 1000
a1.channels.c2.transactionCapacity = 100
# Bind the source and sink to the channel
a1.sources.r1.channels = c1 c2
a1.sinks.k1.channel = c1
a1.sinks.k2.channel = c2

注：Avro是由Hadoop创始人Doug Cutting创建的一种语言无关的数据序列化和RPC框架。
注：RPC（Remote Procedure Call）—远程过程调用，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。

创建flume-flume-hdfs.conf
配置上级Flume输出的Source，输出是到HDFS的Sink。
创建配置文件并打开

[liujh@hadoop102 group1]$ touch flume-flume-hdfs.conf
[liujh@hadoop102 group1]$ vim flume-flume-hdfs.conf
添加如下内容
# Name the components on this agent
a2.sources = r1
a2.sinks = k1
a2.channels = c1
# Describe/configure the source
# source端的avro是一个数据接收服务
a2.sources.r1.type = avro
a2.sources.r1.bind = hadoop102
a2.sources.r1.port = 4141
# Describe the sink
a2.sinks.k1.type = hdfs
a2.sinks.k1.hdfs.path = hdfs://hadoop102:9000/flume2/%Y%m%d/%H
#上传文件的前缀
a2.sinks.k1.hdfs.filePrefix = flume2-
#是否按照时间滚动文件夹
a2.sinks.k1.hdfs.round = true
#多少时间单位创建一个新的文件夹
a2.sinks.k1.hdfs.roundValue = 1
#重新定义时间单位
a2.sinks.k1.hdfs.roundUnit = hour
#是否使用本地时间戳
a2.sinks.k1.hdfs.useLocalTimeStamp = true
#积攒多少个Event才flush到HDFS一次
a2.sinks.k1.hdfs.batchSize = 100
#设置文件类型，可支持压缩
a2.sinks.k1.hdfs.fileType = DataStream
#多久生成一个新的文件
a2.sinks.k1.hdfs.rollInterval = 600
#设置每个文件的滚动大小大概是128M
a2.sinks.k1.hdfs.rollSize = 134217700
#文件的滚动与Event数量无关
a2.sinks.k1.hdfs.rollCount = 0
# Describe the channel
a2.channels.c1.type = memory
a2.channels.c1.capacity = 1000
a2.channels.c1.transactionCapacity = 100
# Bind the source and sink to the channel
a2.sources.r1.channels = c1
a2.sinks.k1.channel = c1

创建flume-flume-dir.conf
配置上级Flume输出的Source，输出是到本地目录的Sink。
创建配置文件并打开

[liujh@hadoop102 group1]$ touch flume-flume-dir.conf
[liujh@hadoop102 group1]$ vim flume-flume-dir.conf
添加如下内容
# Name the components on this agent
a3.sources = r1
a3.sinks = k1
a3.channels = c2
# Describe/configure the source
a3.sources.r1.type = avro
a3.sources.r1.bind = hadoop102
a3.sources.r1.port = 4142
# Describe the sink
a3.sinks.k1.type = file_roll
a3.sinks.k1.sink.directory = /opt/module/data/flume3
# Describe the channel
a3.channels.c2.type = memory
a3.channels.c2.capacity = 1000
a3.channels.c2.transactionCapacity = 100
# Bind the source and sink to the channel
a3.sources.r1.channels = c2
a3.sinks.k1.channel = c2

提示：输出的本地目录必须是已经存在的目录，如果该目录不存在，并不会创建新的目录。

执行配置文件
分别开启对应配置文件：flume-flume-dir，flume-flume-hdfs，flume-file-flume

[liujh@hadoop102 flume]$ bin/flume-ng agent --conf conf/ --name a3 --conf-file job/group1/flume-flume-dir.conf
[liujh@hadoop102 flume]$ bin/flume-ng agent --conf conf/ --name a2 --conf-file job/group1/flume-flume-hdfs.conf
[liujh@hadoop102 flume]$ bin/flume-ng agent --conf conf/ --name a1 --conf-file job/group1/flume-file-flume.conf

启动Hadoop和Hive

[liujh@hadoop102 hadoop-2.7.2]$ sbin/start-dfs.sh
[liujh@hadoop103 hadoop-2.7.2]$ sbin/start-yarn.sh
[liujh@hadoop102 hive]$ bin/hive
hive (default)>

检查HDFS上数据
检查/opt/module/datas/flume3目录中数据

[liujh@hadoop102 flume3]$ ll
总用量 8
-rw-rw-r--. 1 liujh liujh 5942 5月  22 00:09 1526918887550-3

单数据源多出口案例(Sink组)

单Source、Channel多Sink(负载均衡)如图所示

案例需求：

使用Flume-1监控文件变动，Flume-1将变动内容传递给Flume-2，Flume-2负责存储到HDFS。同时Flume-1将变动内容传递给Flume-3，Flume-3也负责存储到HDFS

需求分析：

实现步骤：

准备工作
在/opt/module/flume/job目录下创建group2文件夹

[liujh@hadoop102 job]$ cd group2/

创建flume-netcat-flume.conf
配置1个接收日志文件的source和1个channel、两个sink，分别输送给flume-flume-console1和flume-flume-console2。
创建配置文件并打开

[liujh@hadoop102 group2]$ touch flume-netcat-flume.conf
[liujh@hadoop102 group2]$ vim flume-netcat-flume.conf
添加如下内容
# Name the components on this agent
a1.sources = r1
a1.channels = c1
a1.sinkgroups = g1
a1.sinks = k1 k2
# Describe/configure the source
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444
a1.sinkgroups.g1.processor.type = load_balance
a1.sinkgroups.g1.processor.backoff = true
a1.sinkgroups.g1.processor.selector = round_robin
a1.sinkgroups.g1.processor.selector.maxTimeOut=10000
# Describe the sink
a1.sinks.k1.type = avro
a1.sinks.k1.hostname = hadoop102
a1.sinks.k1.port = 4141
a1.sinks.k2.type = avro
a1.sinks.k2.hostname = hadoop102
a1.sinks.k2.port = 4142
# Describe the channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinkgroups.g1.sinks = k1 k2
a1.sinks.k1.channel = c1
a1.sinks.k2.channel = c1

注：Avro是由Hadoop创始人Doug Cutting创建的一种语言无关的数据序列化和RPC框架。
注：RPC（Remote Procedure Call）—远程过程调用，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议

创建flume-flume-console1.conf
配置上级Flume输出的Source，输出是到本地控制台。
创建配置文件并打开

[liujh@hadoop102 group2]$ touch flume-flume-console1.conf
[liujh@hadoop102 group2]$ vim flume-flume-console1.conf
添加如下内容
# Name the components on this agent
a2.sources = r1
a2.sinks = k1
a2.channels = c1
# Describe/configure the source
a2.sources.r1.type = avro
a2.sources.r1.bind = hadoop102
a2.sources.r1.port = 4141
# Describe the sink
a2.sinks.k1.type = logger
# Describe the channel
a2.channels.c1.type = memory
a2.channels.c1.capacity = 1000
a2.channels.c1.transactionCapacity = 100
# Bind the source and sink to the channel
a2.sources.r1.channels = c1
a2.sinks.k1.channel = c1

创建flume-flume-console2.conf
配置上级Flume输出的Source，输出是到本地控制台。
创建配置文件并打开

[liujh@hadoop102 group2]$ touch flume-flume-console2.conf
[liujh@hadoop102 group2]$ vim flume-flume-console2.conf
添加如下内容
# Name the components on this agent
a3.sources = r1
a3.sinks = k1
a3.channels = c2
# Describe/configure the source
a3.sources.r1.type = avro
a3.sources.r1.bind = hadoop102
a3.sources.r1.port = 4142
# Describe the sink
a3.sinks.k1.type = logger
# Describe the channel
a3.channels.c2.type = memory
a3.channels.c2.capacity = 1000
a3.channels.c2.transactionCapacity = 100
# Bind the source and sink to the channel
a3.sources.r1.channels = c2
a3.sinks.k1.channel = c2

执行配置文件
分别开启对应配置文件：flume-flume-console2，flume-flume-console1，flume-netcat-flume。

[liujh@hadoop102 flume]$ bin/flume-ng agent --conf conf/ --name a3 --conf-file job/group2/flume-flume-console2.conf -Dflume.root.logger=INFO,console
[liujh@hadoop102 flume]$ bin/flume-ng agent --conf conf/ --name a2 --conf-file job/group2/flume-flume-console1.conf -Dflume.root.logger=INFO,console
[liujh@hadoop102 flume]$ bin/flume-ng agent --conf conf/ --name a1 --conf-file job/group2/flume-netcat-flume.conf

使用netcat工具向本机的44444端口发送内容

$ nc localhost 44444

查看Flume2及Flume3的控制台打印日志

多数据源汇总案例

多Source汇总数据到单Flume如图所示
多Flume汇总数据到单Flume

案例需求：

hadoop103上的Flume-1监控文件/opt/module/group.log，
hadoop102上的Flume-2监控某一个端口的数据流，
Flume-1与Flume-2将数据发送给hadoop104上的Flume-3，Flume-3将最终数据打印到控制台。

需求分析：

实现步骤：

准备工作
分发Flume

[liujh@hadoop102 module]$ xsync flume
在hadoop102、hadoop103以及hadoop104的/opt/module/flume/job目录下创建一个group3文件夹。
[liujh@hadoop102 job]$ mkdir group3
[liujh@hadoop103 job]$ mkdir group3
[liujh@hadoop104 job]$ mkdir group3

创建flume1-logger-flume.conf
配置Source用于监控hive.log文件，配置Sink输出数据到下一级Flume。
在hadoop103上创建配置文件并打开

[liujh@hadoop103 group3]$ touch flume1-logger-flume.conf
[liujh@hadoop103 group3]$ vim flume1-logger-flume.conf 
添加如下内容
# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# Describe/configure the source
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /opt/module/group.log
a1.sources.r1.shell = /bin/bash -c
# Describe the sink
a1.sinks.k1.type = avro
a1.sinks.k1.hostname = hadoop104
a1.sinks.k1.port = 4141
# Describe the channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

创建flume2-netcat-flume.conf
配置Source监控端口44444数据流，配置Sink数据到下一级Flume：
在hadoop102上创建配置文件并打开

[liujh@hadoop102 group3]$ touch flume2-netcat-flume.conf
[liujh@hadoop102 group3]$ vim flume2-netcat-flume.conf
添加如下内容
# Name the components on this agent
a2.sources = r1
a2.sinks = k1
a2.channels = c1
# Describe/configure the source
a2.sources.r1.type = netcat
a2.sources.r1.bind = hadoop102
a2.sources.r1.port = 44444
# Describe the sink
a2.sinks.k1.type = avro
a2.sinks.k1.hostname = hadoop104
a2.sinks.k1.port = 4141
# Use a channel which buffers events in memory
a2.channels.c1.type = memory
a2.channels.c1.capacity = 1000
a2.channels.c1.transactionCapacity = 100
# Bind the source and sink to the channel
a2.sources.r1.channels = c1
a2.sinks.k1.channel = c1

创建flume3-flume-logger.conf
配置source用于接收flume1与flume2发送过来的数据流，最终合并后sink到控制台。
在hadoop104上创建配置文件并打开

[liujh@hadoop104 group3]$ touch flume3-flume-logger.conf
[liujh@hadoop104 group3]$ vim flume3-flume-logger.conf
添加如下内容
# Name the components on this agent
a3.sources = r1
a3.sinks = k1
a3.channels = c1
# Describe/configure the source
a3.sources.r1.type = avro
a3.sources.r1.bind = hadoop104
a3.sources.r1.port = 4141
# Describe the sink
# Describe the sink
a3.sinks.k1.type = logger
# Describe the channel
a3.channels.c1.type = memory
a3.channels.c1.capacity = 1000
a3.channels.c1.transactionCapacity = 100
# Bind the source and sink to the channel
a3.sources.r1.channels = c1
a3.sinks.k1.channel = c1

执行配置文件
分别开启对应配置文件：flume3-flume-logger.conf，flume2-netcat-flume.conf，flume1-logger-flume.conf。

[liujh@hadoop104 flume]$ bin/flume-ng agent --conf conf/ --name a3 --conf-file job/group3/flume3-flume-logger.conf -Dflume.root.logger=INFO,console
[liujh@hadoop102 flume]$ bin/flume-ng agent --conf conf/ --name a2 --conf-file job/group3/flume2-netcat-flume.conf
[liujh@hadoop103 flume]$ bin/flume-ng agent --conf conf/ --name a1 --conf-file job/group3/flume1-logger-flume.conf

在hadoop103上向/opt/module目录下的group.log追加内容

[liujh@hadoop103 module]$ echo 'hello' > group.log

在hadoop102上向44444端口发送数据

[liujh@hadoop102 flume]$ telnet hadoop102 44444

检查hadoop104上数据

关注微信公众号
简书：https://www.jianshu.com/u/0278602aea1d
CSDN：https://blog.csdn.net/u012387141

查看全文
如若内容造成侵权/违法违规/事实不符，请联系编程学习网邮箱：809451989@qq.com进行投诉反馈，一经查实，立即删除！

网站收藏
网站收藏面试收藏网站 http://hollischuang.gitee.io/tobetopjavaer/#/ https://github.com/Snailclimb/JavaGuide https://github.com/Snailclimb/JavaGuide idea快捷键 https://www.cnblogs.com/xzhuan/articles/idea.html https://www.cnblogs.com/weixinyu98/p/9822048.ht…...
2024/5/2 1:02:23
炉石传说
问题描述《炉石传说：魔兽英雄传》（Hearthstone: Heroes of Warcraft，简称炉石传说）是暴雪娱乐开发的一款集换式卡牌游戏（如下图所示）。游戏在一个战斗棋盘上进行，由两名玩家轮流进行操作，本题所使用的炉石传说游戏的简化规则如下：* 玩家会控制一些角色，每个角色有自己…...
2024/4/24 11:46:20
Restful风格api设计(HttpMethod)
文章目录写操作修改禁用这篇文章主要是讨论对于各种业务需求如何选择HttpMethod,一般来说HttpMethod的选择应该和URL一起考虑,所以这里也有涉及,但是主要是讨论HttpMethod 写操作对于某些记录用户操作的系统(特别是还提供了对操作记录的查看)而言,有些应该是读的操作变成了写…...
2024/5/2 0:53:01
Java IO 也称为IO流，IO = 流，它的核心就是对文件的操作，对于字节、字符类型的输入和输出流。
IO体系 Java IO 也称为IO流，IO = 流，它的核心就是对文件的操作，对于字节、字符类型的输入和输出流。IO是指对数据流的输入和输出，也称为IO流，IO流主要分为两大类，字节流和字符流。字节流可以处理任何类型的数据，如图片，视频等，字符流只能处理字符类型的数据。 IO流的…...
2024/4/24 11:46:24
mysql中如何使用合适的字段和字段长度
下面是mysql一个字段中含有哪些信息一般重要的字段为类型，长度，属性，非空，索引，自增等等。注：A_I：auto_increment，代表自增。字段的类型有好多种，先说下字段中比较常用的类型和长度整数型 1、整数型的数值类型已经限制了取值范围，有符号整型和无符号整型都有，而M值…...
2024/4/24 11:46:14
ps中给图层新建文件夹
快捷键：Ctrl+G 或者点击菜单中–图层–新建–组...
2024/5/2 0:42:01
javascript md5 函数
转载自品略图书馆 http://www.pinlue.com/article/2020/04/0122/0010101893045.htmlvar hexcase = 1;var b64pad = "";var chrsz = 8;var mode = 16; //模式选择 (16为16位的加密 32 为32位的加密)function preprocess(form){var str = "";str += form.ver…...
2024/5/2 0:16:59
10转2拆分法
十进制转二进制，在数值不大的情况下可以选择拆分法拆分法：将十进制整数拆分成若干个二进制数权重的和，有该权重的下面写1，没有写0二进制数权重有：20=1、21 =2、22=4、23=8、24=16、25=32、26=64、27=128… 45拆分成小于邻近权重的值：32+13 13不属于权重值，继续将13拆…...
2024/5/1 21:21:32
docker跨主机网络
overlay与macvxlanoverlaymacvlanmacvlan多网段 overlay overlay网络模型在docker集群节点间的加入了一层虚拟网络，它有独立的虚拟网段，意味着docker容器发送的内容，会先发送到虚拟子网，再由虚拟子网包装为宿主机的真实网址进行发送。也意味着在overlay网络模型上，docker…...
2024/5/2 0:47:45
智慧交通大数据可视化管理平台建设方案
智慧交通大数据可视化管理平台建设方案.docx“智慧交通大数据可视化与虚拟仿真突发事件应对管理决策服务平台”是一个针对交通管控单位的综合型辅助管理决策服务平台和三维仿真突发事件应对系统，系统以实际的交通设备和运输能力分布为基础，运用虚拟现实技术、3DGIS技术、大数…...
2024/4/30 10:49:27
js中打开新窗口与页面跳转的方法总结
js中打开新窗口与页面跳转的方法总结 1.在当前窗口中打开窗口 window.location.href="http://www.baidu.com". // 等同于 <a href="http://www.baidu.com" title="百度">百度一下</a>2.在新窗口中打开新窗口 window.open（"ht…...
2024/4/15 4:57:13
时隔三个月，再获权威认可 | 联想Filez入选Gartner内容协作工具市场指南
近日，国际知名调研机构Gartner正式发布2020年《内容协作工具市场指南》（Market Guide for Content Collaboration Tools），联想Filez凭借行业知名度和市场影响力成功入选！这是继今年2月IDC发布《中国企业网盘软件市场份额》报告，联想Filez蝉联第一后的又一权威认可。 Gart…...
2024/4/28 17:36:18
php redis拓展的基本操作时间 17 : 15 , Apr 08,2018
Redis 是key-value类型，运程的基于内存的非关系型数据库。常用于缓存，队列，数据存储（内存快照、日志追加）。数据类型String 字符串、整数、浮点，二进制安全的，可以保存图片和视频。List 序列集合，双向链表结构。可实现消息队列。Set …...
2024/5/1 23:09:34
作业题：使用多个线程复制同一份文件，每个线程仅复制文件的一部分
作业题：使用多个线程复制同一份文件，每个线程仅复制文件的一部分思路： 1.首先获取文件的长度，设置线程数，并计算出每个线程平均应该复制的文件大小 2.计算出每个线程复制的起始位置和终止位置 long start = pj * i; long end = (i + 1) * pj - 1;3.当文件的大小不能够平均…...
2024/5/2 1:48:53
机器学习——支持向量机SVMpython实现
一、SVM理论可见以下文章：《机器学习——支持向量机SVM之线性模型》《机器学习——支持向量机SVM之非线性模型低维到高维映射》《机器学习——支持向量机SVM之非线性模型原问题与对偶问题》《机器学习——支持向量机SVM之非线性模型原问题转化为对偶问题》《机器学习——支持向…...
2024/5/1 23:26:00
div+css常用属性(持续更新)
div+css 盒子属性： 1.scrollHeight:盒子内容高度 2.offsetHeight:盒子总高度 content+border 3.clientHeight:可见部分高度，content背景样式： 1. Background-color:单词/rgb/rgba(opacity)/十六进制 2.`Background-imge:url(“”);（位置）或加渐变 3. background-repeat:n…...
2024/5/1 22:15:24
linux下caffe模型可视化操作
安装相关依赖 pip3 install pydot sudo apt-get install graphviz 在caffe-master/python目录下 python3 draw_net.py /home/xxx/caffe-master/examples/mnist/lenet_train_test.prototxt lenet.png...
2024/5/1 21:34:09
6月8日随机3位数中奖系统编写
今天继续分享python 做题我今天做到第4章的14题，应该说从6月7日到今天上午。我一直在做着道题。随机产生3个数字，然后我们猜全中给10000，数字猜中但顺序不对给3000.猜对一个数给1000 该程序原为随机出2位数，然后猜2位数。习题改成了3位数。 import random lottery = random…...
2024/4/24 11:46:12
K-means聚类算法：一种无监督学习算法
1 描述k-means聚类算法是基于距离的聚类算法，该算法采用距离大小作为相似性的评价指行标，即认为两个数据点的距离越近，其相似性就越大。该算法认为簇是由距离靠近的数据点组成的，因此把得到的紧凑且独立的簇作为最终目标。2 算法核心思想k-means聚类算法是一种迭代求解的聚…...
2024/4/24 11:46:16
Spring Boot介绍
spring boot是什么？Spring Boot是由Pivotal团队提供的全新框架，其设计目的是用来简化新Spring应用的初始搭建以及开发过程。在Spring框架这个大家族中，产生了很多衍生框架，比如 Spring、SpringMvc框架等，Spring的核心内容在于控制反转(IOC)和依赖注入(DI),所谓控制反转并…...
2024/4/24 11:46:10

Flume超详细开发案例

监控端口数据官方案例

案例需求：

需求分析：

实现步骤：

实时读取本地文件到HDFS案例

案例需求：

需求分析：

实现步骤：

实时读取目录文件到HDFS案例

案例需求：

需求分析：

实现步骤：

单数据源多出口案例(选择器)

案例需求：

需求分析：

实现步骤：

单数据源多出口案例(Sink组)

案例需求：

需求分析：

实现步骤：

多数据源汇总案例

案例需求：

需求分析：

实现步骤：

相关文章

最新文章