阿里OneData数仓体系建设框架
1、指导思想
流程:数据调研-框架设计-规范定义-模型设计
2、数据调研
业务领域、业务对象、指标、纬度
3、框架设计
数据域划分、数据总线矩阵(数据域、业务过程、纬度)
4、指标体系搭建
(1)基本概念:业务过程、原子指标、修饰类型、修饰词、派生指标、时间周期、维度、维度属性
(2)操作细则:
事务型指标:指业务活动
存量型指标:指实体对象的状态
复合型指标:上述二合一
5、模型设计
数据分层: ODS接入层-DWD明细层-DWS汇总层-DM集市层-APP应用层
6、维度设计
(1)设计方法:新建维度、确定主纬度、相关维度、纬度属性
(2)遵守第三范式、一致性。交叉探查
(3)维度整合:垂直整合、水平整合、拉链表(分区存储、定时清理)
(4)维度层次递归、多维值、杂项维度
7、事实(度量)表设计
(1)表类型:可加、半可加、不可加
(2)设计原则: 包含业务过程、分解组件、声明粒度
(3)事实表设计方法:确定维度类型、声明粒度、确定维度、确定事实、冗余维度。
(4)事实表业务类型:单事务、多事务、周期快照、累积周期快照。事务、快照成对设计。
8、其他规范。
(1)数据层调用约定
应用层优先调研公共层
不允许跨中间层调数据
中间层最大化沉淀公共层
避免过度调用ODS层
(2)命名规范
不依赖非数据团队节点
不擅自修改他人节点owner数据
不随意变更节点owner
评论留言