数据治理阿里OneData数仓体系框架及建设内容

大数据
后台-插件-广告管理-内容页头部广告(手机)

阿里OneData数仓体系建设框架

1、指导思想

流程:数据调研-框架设计-规范定义-模型设计

2、数据调研

业务领域、业务对象、指标、纬度

3、框架设计

数据域划分、数据总线矩阵(数据域、业务过程、纬度)

4、指标体系搭建

(1)基本概念:业务过程、原子指标、修饰类型、修饰词、派生指标、时间周期、维度、维度属性

(2)操作细则:

事务型指标:指业务活动

存量型指标:指实体对象的状态

复合型指标:上述二合一

5、模型设计

数据分层: ODS接入层-DWD明细层-DWS汇总层-DM集市层-APP应用层

6、维度设计

(1)设计方法:新建维度、确定主纬度、相关维度、纬度属性

(2)遵守第三范式、一致性。交叉探查

(3)维度整合:垂直整合、水平整合、拉链表(分区存储、定时清理)

(4)维度层次递归、多维值、杂项维度

7、事实(度量)表设计

(1)表类型:可加、半可加、不可加

(2)设计原则: 包含业务过程、分解组件、声明粒度

(3)事实表设计方法:确定维度类型、声明粒度、确定维度、确定事实、冗余维度。

(4)事实表业务类型:单事务、多事务、周期快照、累积周期快照。事务、快照成对设计。

8、其他规范。

(1)数据层调用约定

应用层优先调研公共层

不允许跨中间层调数据

中间层最大化沉淀公共层

避免过度调用ODS层

(2)命名规范

不依赖非数据团队节点

不擅自修改他人节点owner数据

不随意变更节点owner

后台-插件-广告管理-内容页尾部广告(手机)
标签:

评论留言

我要留言

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。