原文《大数据治理管理与运营体系数据治理平台建设方案》PPT格式，主要从平台设计理念·一个标准化工厂、平台设计理念·四大治理原则、平台设计理念·五大治理标准、平台设计理念·三大实施策略、平台总体架构、平台技术架构、平台功能特性、平台功能设计、平台应用案例等进行建设。
来源网络，旨在交流学习，如有侵权，联系速删，更多参考公众号：优享智库
一、数据治理平台总体概述
大数据时代组织普遍要面对数据多样化，缺少统一标准，集成困难；数据分散，形成信息孤岛，共享困难；数据质量低下，导致统计不准确的 诸多问题。如何有效管理数据资源使之能够驱动业务的快速发展，成为数据治理产品的核心价值所在。
数据治理平台适用于分析型系统数据处理的各个过程，负责数据的加工处理以及加工处理过程数据标准、元数据和数据质量的管理。平台可以提供数据输入、数据加工、数据输出等数据流图各个过程的全生命周期、全流程的数据处理，并在数据处理全过程提供中提供数据治理和数据管控的一站式解决方案。
二、数据治理平台设计理念
1、一个标准化工厂
数据治理产品以为组织打造通用的数据工厂为设计理念，以构建流水式数据产线为核心，帮助组织快速实现从“数据原料” 到“数据产品” 整个过程的加工处理、价值转化以及规范管控。
2、四大治理原则
3、五大治理标准
数据处理工厂化：数据处理工作，必须实现工厂化的建设和管理，以“极速、低成本、高质量”要求来响应业务部门的个性化数据需求。
数据模型标准化：通过数据治理平台将数据模型的要求严格落地，杜绝不满足标准的数据模型出现在系统中。
数据治理产品化：数据治理的成果和内容，必须通过切实可行的 IT 手段落实到系统来严格执行。
数据安全可控化：体现安全的重要性、必要性，保障系统数据安全和数据服务开放过程中数据的安全可控。
数据运营全员化：体现“平台化、开放性”的思想，提高数据开放的可视化，实现人人参与数据治理、数据建设和数据运维。
4、三大实施策略
系统管控：
1）有实现数据全程的可见、可管、可控，最小化业务和技术沟通成本的理论和机制；
2）有实现数据的全生命周期管理的理论和机制；
3）有实现开发管理规范和数据管理规范低成本的严格执行的理论和机制；
4）有实现系统建设过程中问题的低成本监管和解决的理论和机制；
5）有实现引入第三方独立监管供应商来负责系统的监控和维护的理论和机制。
质量管控：
1）有保证业务元数据与技术元数据的一致性的理论和机制；
2）有保证元数据与数据加工环节的一致性的理论和机制；
3）有实现基于历史经验的告警机制；
4）有低成本高效地解决传统调度面临的问题定位和修复问题最小代价等难题的理论和机制。
知识管控：
1）有保证文档与实现的一致性机制；
2）有实现对文档系统的低依赖性的机制。
三、数据治理平台总体架构
数据治理平台技术架构
采用工厂化的数据处理和管理模式，通过数据生产计划、数据生产执行和数据生产管理三大子模块，保障数据处理全过程透明可控，实现工具化、流程化和自动化的开发、运维、管理，提升数据开发、生产效率，保持系统健康、持续、稳定的发展。
1、组件化应用
提供各类组件，支持通过拖拉组件的方式快速形成数据生产线，缩短应用的开发周期、节约应用的开发成本、提高应用的开发质量，帮助用户更快地完成数据模型、数据处理的开发。
组件采用松耦合式的架构，支持自定义扩展。分为三种类型：功能组件、模板组件、管控组件。
2、元数据管理
提供元数据管理功能，获取和管理在开发过程中沉淀的各类元数据信息，并提供开放开视图，以支持管理人员、业务人员和技术人员快速准确地了解系统， 同时支持数据质量管理、安全管理、应用优化、应用开发等功能。
3、数据处理
根据不同的数据生产环境，具备不同的数据处理能力，可根据自身需求，基于平台扩展自主的数据处理功能。数据治理平台提供数据处理各项能力的开发功能，提供包括数据采集、处理、装载、分发、校验等功能开发。
具备执行标准的开源 Hadoop 接口调用能力，以及基于个性化 Hadoop 接口封装能力。
4、质量管理
平台提供从设计、开发到运行全过程的数据质量管理功能，以及从数据来源、数据加工到数据输出的全流程监控功能。
5、统一调度
提供统一的调度管理，用于数据层和应用层的任务调度。
在统一调度下，每个任务都是一个个的数据对象，任务的前后关系严格按照元数据血缘关系进行调度，实现数据从源头到目标的全程的元数据血缘与数据调度的一致性。
在统一调度下，可进行调度关系管理、调度周期管理、调度状态管理和调度资源管理。
评论留言