hive数仓中的拉链表

拉链表是针对hive中数据仓库设计中为表存储数据的方式而设计的，所谓拉链表。就是记录一个事物从开始，一直到当前状态的所有变化的信息，表中每个事物的每一个变化都清晰可见。

以此表为例

左侧his表就是拉链表，记载着表中每个id的变化记录；

而右侧的inc表为增量表，记载以day为分区的前一天的增量数据，为第二天数据查询提供数据支持。

注意两表联合查询时，

-- 两表查询合并 UNIN ALL --
-- 通过his left join inc 找出订单状态有更新的数据 --
-- 将inc 2021-11-21的数据添加end_time为9999-12-31后插入his表 --

注意点： 1.以his表为主，以inc为辅 2.去除 null

3.当end_time>modifiedtime,把end_time时间改成modifiedtime时间

4.两表查询后，最后排一下序，按照id、start_time

然后，两张表的联合查询语句如下，为了方便后面查询，我把查询结果放在了一个新表里

create table dws_his_20211122_tmp as
select t.orderid,t.createtime,t.modifiedtime,
t.status,t.start_time,t.end_time
from
(
select
t1.orderid,
t1.createtime,
t1.modifiedtime,
t1.status,
t1.start_time,
case when t2.orderid is not null and t1.end_time > '2021-11-22' then '2021-11-22' else t1.end_time end end_time
from dws_orders_his t1
left join
(select orderid from ods_orders_inc where day='2021-11-22') t2
on t1.orderid=t2.orderid
union all
select
orderid,
createtime,
modifiedtime,
status,
modifiedtime as start_time,
'9999-12-31' as end_time
from ods_orders_inc where day='2021-11-22'
) t
order by t.orderid,t.start_time

hive> select * from dws_his_20211122_tmp;
OK
1   2021-11-20   2021-11-20   创建   2021-11-20   2021-11-21
1   2021-11-20   2021-11-21   支付   2021-11-21   2021-11-22
1   2021-11-20   2021-11-22   完成   2021-11-22   9999-12-31
2   2021-11-20   2021-11-20   创建   2021-11-20   2021-11-21
2   2021-11-20   2021-11-21   支付   2021-11-21   9999-12-31
3   2021-11-20   2021-11-20   创建   2021-11-20   2021-11-22
3   2021-11-20   2021-11-22   支付   2021-11-22   9999-12-31
4   2021-11-21   2021-11-21   创建   2021-11-21   2021-11-22
4   2021-11-21   2021-11-22   支付   2021-11-22   9999-12-31
5   2021-11-22   2021-11-22   创建   2021-11-22   9999-12-31

最后，为了方便下一次的查询，我们把查出来的结果表dws_his_20211122_tmp的数据覆盖写入拉链表dws_orders_his，形成新的拉链表
hive> insert overwrite table dws_orders_his select * from dws_his_20211122_tmp;

乐于奉献共享，帮助你我他！

原文链接：https://blog.csdn.net/tiantang2renjian/article/details/121541068