【HDFS】datanodeReport RPC优化

cat datanodeReport.txt | awk ‘{print $8}’ | sort | uniq | wc -l
结果15，说明我们有15个router。

每15秒一个router8次调用这个rpc。15秒是我们的监控采集间隔。

看下router为什么要调用这个rpc。

顺着这个配置项去寻找：dfs.federation.router.dn-report.time-out

一共有两处调用点：
NamenodeBeanMetrics、RBFMetrics

一、先看RBFMetrics

  /** Prevent holding the page from load too long. */
  private final long timeOut;

NN：
“NodeUsage” : “{“nodeUsage”:{“min”:“18.29%”,“median”:“79.80%”,“max”:“83.12%”,“stdDev”:“16.19%”}}”,

Router：
“NodeUsage” : “{“nodeUsage”:{“min”:“18.20%”,“median”:“79.34%”,“max”:“83.08%”,“stdDev”:“14.03%”}}”,

主要是在getNodeUsage方法里用的：