Hadoop大数据可视化平台架构简析

大数据
后台-插件-广告管理-内容页头部广告(手机)

大数据可视化的目标,就是让用户更便捷、更快速、更精准的理解数据;大数据可视化是大数据分析海量数据解决问题的最重要最关键的步骤之一。原始海量的数据以图像直观的形式展现时,基于包含大量有价值信息且容易看懂的图形,企业高层领导就可以更容易、更快速、更精准做出决策。

 

大数据可视化体系架构的核心组件包括:数据源、数据采集、数据存储、数据治理、数据仓库、机器学习、前端可视化等应用场景。如下图所示:

 

数据采集:通过Flume、Sqoop等技术完成;

数据存储:通过HDFS、Hbase、HIVE技术实现;

数据治理:通过MapReduce、Spark等技术,对数据进行预处理、清洗过滤、血缘分析等操作;

任务调度:一个完整的数据分析系统通常都是由大量任务单元组成:

1)简单的任务调度:直接使用linux的crontab来定义;

2)复杂的任务调度:自研调度平台;使用开源调度系统,比如ooize、azkaban,zeus(宙斯)等。

数据呈现:通过Vue、H5等技术报表形式展示。

 
后台-插件-广告管理-内容页尾部广告(手机)
标签:

评论留言

我要留言

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。