metron框架实现数据富化

logstash接收日志

logstash检测探针上报日志将对应端口接收的日志上报到指定的kafkaTopic

日志上报后初步解析过滤

当日志接收完成后将日后启动storm拓扑spout接收数据进行解析返回jsonArray

统一分配解析

将日志解析完成后同意下发到下一层拓扑同时将jsonArray拆开分配到指定的方法中 根据source_type来决定 然后发送到enrichments topic当中

启动富化拓扑

• 接收相应json数据然后启动steal函数将数据进行富化
• 这个其中可以连接其它模块比如hbase redis将数据持久话到其它数据库,同时也可以接收其它数据库的数据进行数据的进一步富化

ElasticsearchWriter

富化的数据默认写入到es当中

后端

后端springboot+springcloud

通过phoenix+es读入数据展示