1 DWS层和DWM层的设计
1.1 DWS层 前面的总结
DWS层的定位是什么呢?
- 轻度聚合,因为DWS层要应对很多实时查询,如果是完全的明细那么查询的压力非常大。
- 将更多的实时数据以主题的形式组合起来便于管理,同时也能减少维度查询的次数。
ODS层:
-- 日志数据:
nginx+日志采集服务器(3台) 将数据采集到Kafka(ods_base_log)
-- 业务数据:
Maxwell监控MySQL(binlog) 将数据采集到Kafka版权声明:本文为qq_43523503原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明。