CDH（Cloudera’s Distribution Including Apache Hadoop）是大数据平台Hadoop的Cloudera发行版。

Cloudera Manager(简称CM)是Cloudera公司开发的一款CDH大数据集群部署运维工具，具有集群自动化安装、中心化管理、集群监控、报警等功能，使得安装集群从几天的时间缩短在几小时以内，运维人员从数十人降低到几人以内，极大的提高集群管理的效率。

CM提供HDFS，YARN，MapReduce，HBase，Hive等组件，可满足大数据的存储和数据分析、数据仓库、数据挖掘的需要。本文介绍集群部署时CM组件的部署安装。

1 CM组件安装

集群规划

 

1.1 配置CM运行环境

选择CM 企业版试用版本

在群集安装时，选择方法-》更多选项，删除远程地址。

 

消除主机正确性检查的警告：

echo 10 > /proc/sys/vm/swappiness

echo never > /sys/kernel/mm/transparent_hugepage/defrag

echo never > /sys/kernel/mm/transparent_hugepage/enabled

 

1.2 增加report数据库

CDH运行时生成的报告需要使用的数据库。

create database report;

create user 'reportmanager'@'%' identified by 'reportmanager';

grant all on report.* TO 'reportmanager'@'%';

grant all on report.* TO 'reportmanager'@'localhost' identified by 'reportmanager';

1.3 安装HDFS

修改目录，将/etc修改为/home/cdh

注意：HDFS的节点路径不能有777权限，应使用755。

 

安装完成后进入主界面

 

1.4 增加HDFS的节点

需要先将主机加入集群。

群集-》HDFS-》实例-》添加角色实例。

 

自定义-》选择主机，按照向导逐步完成。

 

1.5 ZooKeeper

规划：3个节点的zk

集群-》操作-》添加服务，选择ZooKeeper。

 

主机选择01,02,03，部署3个节点的zk

 

按照向导，默认安装。

 

1.6 YARN

集群规划

 

修改目录，将/etc修改为/home/cdh,其他默认

   

1.7 HBase

集群规划

 

默认安装

 

1.8 Hive

集群规划

 

默认安装

 

1.9 Impala

集群规划

   

修改目录，将/etc修改为/home/cdh,其他默认

   

如果服务未启动，执行重启

 

1.10 Solr

默认安装Solr，需要HDFS，ZooKeeper支持

 

1.11 Flume

添加Flume服务，在指定主机（03）安装agent

安装完成后在03主机可以运行flume命令

 

1.12 Sqoop

添加Sqoop2服务，在指定主机（02）安装agent

 

安装完成后，在主机运行sqoop命令

 

sqoop import --connect jdbc:mysql://172.18.0.5:3306/test --username root --password root --table student -m 1

 

查看结果

 

1.13 Oozie

添加Oozie服务，在指定主机（01）安装

   

1.14 HUE

安装loadBalance依赖服务

yum install httpd -y

yum install mod_ssl –y

添加hue服务，在指定主机（01）安装Server，在01，03安装Load Balancer。

   

1.15 Spark

添加hue服务，在（01）安装Server，在01，02，03安装Gateway。

   

主机端可以进行spark交互

 

关于spark gateway不启动和不适用的说明

spark gateway标识的服务器具有spark-shell和spark-submit环境，没有服务，所以显示为灰色不适用。在节点中打开spark-shell正常使用就OK。

 

1.16 CM、HUE、Oozie时区统一

CM设置时区：CM服务器的时区设置

HUE设置时区：修改为 Asia/Shanghai