1.离线数据开发架构
(1)离线数据接入
离线数据来源：MongoDB、MySQL、SQL_Server、Oracle、Log、HBase、Elasticsearch
接入处理：根据不同数据源做适配
存储层：将接入的数据写入HDFS文件，建Hive表进行关联查询
(2)数据仓库分层：主要分为基础层、中间层、应用层
2.实时数据开发
(1)实时数据接入
实数数据源：MySQL、Log、sdk上报等
接入层：接入kafka
处理层：Flink实时流处理引擎
存储层：Kafka、ES、HBase、MySQL、HDFS、Redis
(2)实数数据分层：原始数据层、明细层、汇总层、应用层
版权声明：本文为weixin_43291055原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接和本声明。