四川IT培训优就业

大数据学习流程图--四川优就业的老师为您分析：

学习大数据的话，看下面这个大纲，入门可以参考。

一般的学习方法如下：

1、Linux 命令基础实战

大数据架构体系结构及开源组件介绍 （要掌握）

Linux 基本操作 （常见的 Linux 命令需要会）

2：Hadoop 基础

Hadoop 基础，对 Hadoop 架构、核心组件 HDFS/YARN 做了深入浅出的介绍，让你

快速把握 Hadoop 的核心技术和工作原理，逐渐形成分布式思维；

Hadoop 介绍

Hadoop 运行模式

四川优就业

3：Hadoop 集群搭建

Hadoop 集群搭建——安装 Linux 虚拟机

Hadoop 集群搭建——远程连接

Hadoop 集群搭建(on Linux)——Hadoop(上）

Hadoop 集群搭建(on Linux)——Hadoop（下）

Hadoop 集群搭建(on Mac)——Hadoop

4：HDFS 原理

番外篇-课程体系

HDFS 架构原理

FS Shell 命令介绍及实践

5：YARN 工作原理

YARN 的产生背景

YARN 的设计思想

YARN 的基本架构

YARN 的工作流程(小结)

四川优就业

6：Sqoop

Sqoop，作为关系型数据库与 Hadoop 之间的桥梁，批量传输数据，让你自然的从

关系型数据库过度到 Hadoop 平台，在关系型数据库与 Hadoop 之间游刃有余的进

行数据导入导出；

Sqoop & Hive 课程内容介绍

Sqoop 介绍与安装

Sqoop 的基本使用

Sqoop 导入参数详解

Sqoop 导入实战

Sqoop 增量导入（上）

Sqoop 增量导入（下）

Sqoop 导出实战（上）

Sqoop 导出实战（下）

Sqoop Job

7：Hive

Hive，基于 Hadoop 大数据平台的数据仓库，可以让你实现传统数据仓库中的绝

大部分数据处理、统计分析，让你在 Hadoop 大数据平台上感受到 Hive QL 带来

的便利的交互式查询体验；Mars 将以日志分析或其他示例带大家熟练掌握 Hive

的应用；

Hive 架构介绍（一）

Hive 架构介绍（二）

Hive 环境搭建（一）

Hive 环境搭建（二）

Hive CLI 初探

Beeline 介绍

Hive 数据类型

四川优就业

Hive 表一——标准建表语句解析&内、外表

Hive 表二——文件及数据格式

Hive 分区&桶&倾斜概念

Hive 表——Alter

Hive 视图&索引简介

Hive 表——show & Desc 命令

Hive 数据导入--load

Hive 数据导入--insert

Hive 分区表实战

Hive 复杂数据类型的嵌套实例

Hive 源码阅读环境

Hive 执行原理

Hive 查询优化

UDF 函数实例

Hive 终极实例——日志分析

（1）网站日志分析的术语、架构介绍

（2）建表及数据准备

（3）数据处理及统计分析

（4）数据采集到统计分析结果的 crontab 定时调度

8：HBase

HBase，列式存储数据库，提供了快速的查询方式，是 Apache Kylin 的默认数据

存储结果；

HBase 介绍及架构

HBase 安装

HBase 操作实战

Hive 与 HBase 集成实战

9：Kylin

Kylin，基于 Hadoop 的 OLAP 分析引擎，在 Kylin 中可以实现传统 OLAP 的各种操

作，直接读取 Hive 的数据或流式数据作为数据源，把这些数据根据业务模型构

建成 Cube，Kylin 提供了基于 Hadoop（MapReduce）的 Cube 构建，Build 完成的

Cube 数据直接存储于 HBase 中。Kylin 提供了 Web UI 供查询，包括一些图表展

现，是基于大数据的完美 OLAP 工具；

维度建模

Kylin 背景及原理架构

Kylin 环境搭建

维度建模知识

Kylin Cube Build 步骤解析

Kylin Cube 实战

Kylin 增量 Cube

Kylin 优化

10：Spark

Spark，基于内存计算的大数据计算引擎，提供了 Spark SQL、Spark MLlib(基

于 Spark 的机器学习）、SparkR 等框架适应不同的应用需求，Spark 专题将和大

家一起实践操作各种应用和算法；

Spark 集群搭建

Spark Core

Spark WordCount（Spark-shell/pyspark..）

IDEA IntelliJ 搭建 Spark 开发环境

Spark 编程实例

Spark SQL 及 DataFrame

Spark SQL 实例

Spark Streaming

Spark Streaming 实例

Spark MLlib

Spark MLlib 应用实例

Spark R 介绍

更多知识干货分享，尽在四川优就业 IT 培训。