“大数据”名词通俗解释(二):什么是数据交换平台?

大数据
后台-插件-广告管理-内容页头部广告(手机)

上一期讲了什么是大数据。大数据是一门技术,就像一座城市一样,如果城市要正常的运转,还需要市政府、公安、财政、医院、学校、商场、银行、餐厅、公园、超市等等,每一样都是城市能够正常运转不可或缺的内容。

而大数据作为一门技术,其内部也是包罗万象。今天讲的是大数据的一个过渡产物:数据交换平台

首先回答一个问题,为什么需要数据交换平台?

数据交换平台的出现,源于不同系统的建设周期、建设供应商的选择不同、建设架构的不同以及数据库不同等等原因,因为这些不同,导致不同系统之间形成了信息孤岛,数据之间无法交流,无法形成真正的价值。为了解决这样的问题,数据交换平台应运而生。

所谓的数据交换平台,就像连接两岸的桥梁一样,将本来无法连通的一个个孤岛都给连了起来。

桥相当于数据交换平台,上面的车辆相当于数据

为了完成这样的使命,数据交换平台第一个要具备的就是全面的数据交换能力,这里包含了实时与批量两部分内容,简称批流一体。还要支持各种形式的数据交换,像数据库到文件、文件到数据库、数据库到数据库、文件到文件等,还得提供实时的数据库变化到数据消息中间件的功能。

除此之外,数据交换平台还得具有丰富的数据源管理功能。因为系统不一样,开发者不一样,开发时间不一样,开发工具不一样,数据库不一样等等原因,数据源的差异性就跟中国人与美国人的差异性一样,大到离谱。丰富的数据源管理功能,可以将任意数据源管理起来,最好是能提供Web配置能力,这样就更加直观地将配置选项展现出来,特别方便业务人员来使用。

最后,数据交换平台需要灵活的作业配置功能,这就牵扯到一款应用的应用范围了。因为不同数据源的差异性过于巨大,如果没有作业配置功能,那么数据交换平台可能就成一次性的了。这里面包括了定义数据交换标准、数据交换的流程等内容。

某金融机构的数据平台架构图

总之一句话来概括,数据交换平台的作用,就是为了不同的系统之间来分享数据。因为系统不一样,迫不得已地产生了数据交换平台,可以在产品的层面上解决这一问题,而不是每一次的数据交换都需要换数据工程师来手动实现。当然,手动实现也不错,就是有点贵。仔细看一下现在的人才市场,一名技术人员的身价,大部分客户还是会想办法用一款产品来解决问题。

其实,要不是数据库种类这么多,存储方式这么多样性,软件开发商这么多,根本就用不到数据交换平台。只有一个标准,只有一种形态,那么也只需要直接调用数据就好了。

数据交换平台同时也是数据中台的一部分,也是数据中台当中靠近业务服务的核心功能组件,众多的功能也都是以数据交换平台作为起点和基础。

你认识几个?

后台-插件-广告管理-内容页尾部广告(手机)
标签:

评论留言

我要留言

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。