来源公众号：优享智库
建设内容
- 建设背景和需求分析
- 大数据治理管理平台
- 大数据治理可视化
- 大数据治理管理方案
1、建设背景和需求分析
企业大数据治理现象和需求
随着业务的不断发展和信息化的不断深入，需建设的业务系统越来越多，随着业务系统的数据种类不断丰富完善， 数据量的不断增大，如果不采取有效手段解决问题，随着信息化建设的深入，下列的问题会越积越多。
现象和需求
企业大数据治理价值
企业大数据治理价值
2、大数据治理管理平台
数据管理范围
数据管理范围
数据管理框架
从上至下指导，从下而上推进，形成一个多层次、多维度、多视角的全方位框架。
数据管理框架
总体解决思路
总体解决思路
大数据(资源)管理平台总体架构
大数据管理平台总体架构
大数据(资源)管理平台总体架构
大数据(资源)管理平台总体架构
数据治理子平台在整个平台中的定位
数据治理子平台在整个平台中的定位
统一管控框架
提供统一的管控框架，管理的最小单元为数据对象，数据对象包含了数据本身、业务元数据、技术元数据、数据的加工方法、数据的质量检查和控制。
在统一管控框架下，可进行概念数据对象设计、物理数据对象开发、模型管理和开发管理。
统一管控框架
组件化设计
提供各类组件，支持通过拖拉组件的方式快速形成数据生产线，缩短应用的开发周期、节约应用的开发成本、提高应用的开发质量，帮助用户更快地完成数据模型、数据处理的开发。
组件采用松耦合式的架构，支持自定义扩展。分为三种类型：功能组件、模板组件、管控组件。
组件化设计
数据处理可视化
根据不同的数据生产环境，具备不同的数据处理能力，可根据自身需求，基于平台扩展自主的数据处理功能。平台提供数据处理各项能力的开发功能，提供包括数据采集、处理、装载、分发、校验等功能开发。
具备执行标准的开源 Hadoop 接口调用能力，以及基于个性化 Hadoop 接口封装能力。
数据处理可视化
统一调度管理
提供统一的调度管理，用于数据层和应用层的任务调度。
在统一调度下，每个任务都是一个个的数据对象，任务的前后关系严格按照元数据血缘关系进行调度，实现数据从源头到目标的全程的元数据血缘与数据调度的一致性。
在统一调度下，可进行调度关系管理、调度周期管理、调度状态管理和调度资源管理。
统一调度管理
元数据管理
提供元数据管理功能，获取和管理在开发过程中沉淀的各类元数据信息，并提供开放视图，以支持管理人员、业务人员和技术人员快速准确地了解系统， 同时支持数据质量管理、安全管理、应用开发等功能。
元数据管理
数据质量管理
平台提供从设计、开发到运行全过程的数据质量管理功能，以及从数据来源、数据加工到数据输出的全流程监控功能。
数据质量管理
开放性
开放性
3、大数据治理管理方案
数据资产盘点：暗数据发现和分类
在数据治理的实际操作中，只有先发现数据，对数据进行有效分类，才能避免一刀切的控制方式， 也才能对数据的安全管理采用更加精细的措施，使数据在共享使用和安全使用之间获得平衡。
经过大量的案例实践，总结出了数据分级分类的方式：
暗数据发现和分类
让数据变得更干净，少歧义
让数据变得更干净，少歧义
数据采集与清洗达到的效果
数据采集与清洗达到的效果
数据清洗、转换
数据清洗、转换
元数据管理
元数据是“关于数据的数据”。元数据标注、描述或者刻画其他数据，以使检索、解读或使用信息更容易。对数据上下 文背景、历史和起源进行完整的记录并管理，建立元数据标准，提升战略信息（如数据仓库、CRM等）的价值，帮助分析人 员作出更有效的决策。
元数据管理方法如下：
元数据管理
数据标准化治理
数据标准化治理旨在遵循国家及本地相关标准化规范的基础上，根据实际需要制订一套完整、统一 的标准规范体系，是实现信息高度共享、系统运行高度协调的保障。
标准规范包括技术标准、数据标准和管理制度三类：
数据标准化治理
重新组织数据
重新组织数据
主数据建设
建立主数据是一个庞大的工程，结合DAMA理论体系和具体实践经验，提出了以下主数 据建设中具体的操作流程，以及在这些流程中所需要完成的具体工作内容：
主数据建设
真实世界模型
经过多年在数据领域的经验积累，创造性提出“真实世界模型”建模方法论，主张从数据的角度反映真实业务的本来面目，建立规范的建模体系；
真实世界模型
数据仓库
数据仓库
数据标签和画像
数据标签和画像
数据治理持久化
有必要对数据治理工作持久化，一次治理，永久治理。
数据治理持久化
数据治理的延伸：数据管理
数据治理的结束是数据管理的开始！
数据管理
数据治理体系架构
数据治理体系架构
方案价值
方案价值
评论留言