flume系列之：监控flume有没有关闭上个小时的临时文件gz.tmp，并发送告警信息

flume系列之：监控flume有没有关闭上个小时的gz.tmp文件

一、flume落到hdfs文件格式

设置flume落到hdfs文件格式：

  • sinks.sink1.hdfs.codeC sinks.sink1.hdfs.codeC = gzip
  • 文件压缩格式，包括：gzip,bzip2, lzo, lzop, snappy

设置flume落到hdfs文件大小：

  • sinks.sink1.hdfs.rollSize
  • sinks.sink1.hdfs.rollSize = 134217728
  • 默认值1024字节
  • 当临时文件达到该大小（单位：bytes）时，滚动成目标文件
版权声明：本文为zhengzaifeidelushang原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接和本声明。