flume系列之:监控flume有没有关闭上个小时的gz.tmp文件
一、flume落到hdfs文件格式
设置flume落到hdfs文件格式:
- sinks.sink1.hdfs.codeC sinks.sink1.hdfs.codeC = gzip
- 文件压缩格式,包括:gzip,bzip2, lzo, lzop, snappy
设置flume落到hdfs文件大小:
- sinks.sink1.hdfs.rollSize
- sinks.sink1.hdfs.rollSize = 134217728
- 默认值1024字节
- 当临时文件达到该大小(单位:bytes)时,滚动成目标文件
版权声明:本文为zhengzaifeidelushang原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明。