【内容过多，关注博主！会持续更新哟！】

2023版AI人工智能课程大纲

一、 线性分类算法

阶段概述：

本阶段讲解，逻辑回归算法，Softmax 回归算法，SVM 支持向量机算法，SMO 优化算法。

达成目标：

通过本阶段学习，推导逻辑回归算法、SVM 算法的判别式和损失函数，算法的优化、实现算法和应用开发实战。将会对分类算法有深入认知，对于理解后续神经网络算法和深度学习至关重要。

实战教学项目：

Ø 鸢尾花数据集类别划分案例

Ø SVM 人脸识别案例

Ø 天猫京东复购神预测综合项目实战

6.1逻辑回归

1)Sigmoid 函数特点

2) 逻辑回归算法原理推导

3) 推导出逻辑回归损失函数 log loss

4) 推导出损失函数导函数用于最优化

5) 逻辑回归解决多分类问题 OVR

6) 损失函数立体化呈现

7) 逻辑回归代码实战--鸢尾花数据集分类

8) 逻辑回归原理之概率计算

6.2 Softmax 回归

1) Softmax 函数特点

2) Softmax 回归损失函数 cross-entropy

3) 证明逻辑回归是 Softmax 的特例

4) Softmax 回归分类案例

5) 代码实战逻辑回归Softmax概率计算

6) 逻辑回归多分类和 Softmax 多分类的本质区别

6.3 SVM 支持向量机

1) SVM 与感知机关系

2) 几何距离和函数距离

3)SVM 支持向量机算法原理

4) SVM 的损失函数

5) 硬间隔 SVM 的优化步骤

6) 软间隔 SVM

7) 非线性 SVM 与核函数

8) SVM 在 sklearn 模块中参数详解

9) SVM 人脸识别案例

10) SVM 的概率化输出

11) SVM 的 OVO 多分类

12) SVM 的 hinge loss

13) SMO 算法介绍

二、 无监督学习算法

阶段概述：

本阶段讲解，K-means 聚类算法，K-means 聚类算法的变形，密度聚类，层次聚类、谱聚类、PCA 降维算法、EM 期望最大化、GMM 高斯混合模型。

达成目标：

通过本阶段学习，掌握无监督机器学习算法的作用和原理，透彻理解聚类和降维的本质区别，今后可以正确选择无监督学习算法，并实战开发。

实战教学项目：

Ø 微博用户聚类分析

Ø PCA 提取人脸图片特征脸

Ø 图片前景背景分离

Ø 根据声音判别性别

Ø 根据声音判别用户

7.1聚类系列算法

1)相似度测量方法

2) K-means 算法原理

3) 聚类评价指标轮廓系数

4) 聚类评级指标调整兰德系数

5) K-means 图像应用案例

6) DBSCAN 密度聚类算法

7) 分层聚类算法原理

8) 分层聚类算法应用

9) 不同聚类算法之间的异同

7.2 PCA 降维算法

1) 特征选择与特征映射

2)最大投影方差原理与推导

3) 最小投影距离原理与推导

4) PCA 过程的中心化

5) 特征值分解代码实现 PCA 算法

6) SVD 奇异值分解代码实现 PCA 算法

7.3 LDA与 NMF非负矩阵分解

1)协方差与散度矩阵

2) 线性代数之特征值特征向量分解

3) 线性代数之SVD奇异值分解

4) LDA算法原理

5) LDA代码实现

6) NMF非负矩阵分解原理

7) NMF非负矩阵代码案例

7.4 EM与GMM 算法

1) Jensen 不等式

2)EM 算法的 E-step

3) EM 算法的 M-step

4) EM 在 GMM 公式推导中应用

5) 单一高斯分布的参数估计

6) 混合高斯分布的似然函数

7) GMM 的计算流程

8) GMM 高斯混合模型聚类与其他聚类异同

一、 决策树系列算法

阶段概述：

本阶段讲解，决策树算法、随机森林算法、Adaboost 算法、GBDT 算法、XGBoost 算法。

达成目标：

通过本阶段学习，掌握非线性决策树系列算法，重点掌握 Kaggle 神奇 XGBoost 算法，理解 GBDT 和 XGBoost 涉及的公式推导，本阶段的掌握将大大提升学员数据挖掘的能力，对于后续理解 Kaggle 实战阶段内容会起到很大的帮助。

实战教学项目：

Ø 通过 graphvis 绘制决策树模型

Ø 天池工业蒸汽量项目

Ø Adaboost 算法做人脸识别

Ø 心跳信号类别分类预测

8.1决策树算法

1)决策树的算法原理与数学表达

2) 分裂指标 Gini 系数、信息增益、信息增益率

3) 前剪枝与后剪枝

4) 决策树 ID3、C4.5 和 CART

5) 决策树算法优略比较

6) 决策树之鸢尾花数据集分类案例

7) 通过 graphvis 绘制决策树模型

8.2随机森林算法

1)集成学习算法思想 Bagging、Boosting、Stacking

2) 随机森林随机性之所在

3) 随机森林算法与决策树算法比较

4) 随机森林副产品之特征选择

5) 极限森林算法原理与应用

8.3 Adaboost 算法

1) Adaboost 算法概述

2) Adaboost 算法原理

3) 数据的权重与权重错误率

4) Adaboost应用案例

5) Adaboost代码实现

8.4 GBDT 算法

1)函数空间的梯度下降与负梯度

2) 推导 GBDT 回归是拟合残差

3) Shrinkage 衰减系数的作用

4) 推导 GBDT 分类亦是拟合残差

5) GBDT 二分类模型训练和使用

6) GBDT 多分类模型训练和使用

7) GBDT 副产品之特征组合用于降维

8) 实现 GBDT+LR 架构代码实战

8.5 XGBoost 算法

1)XGBoost 算法与决策树集成学习关系

2) XGBoost 目标函数与正则项

3) XGBoost 目标函数用二阶泰勒展开

4) 推导简化 XGBoost 目标函数引入 g h

5) XGBoost 目标函数加入树的复杂度

6) 推导出 XGBoost 目标函数最终形式和叶子节点表达式

7) 详解 XGBoost 算法参数与交叉验证

一、 Kaggle实战

阶段概述：

本阶段讲解，海难生死预测项目、Rossmann销量预测案例、信用卡反欺诈案例。

达成目标：

通过本阶段学习，实战代码深刻理解前面学过的算法和工具，Kaggle 竞赛数据集全部来自于公司，并且需求直接是企业里面的需求，并且此阶段讲解的代码均是大牛级开源的代码。要知道 Kaggle 上的大牛会比一般企业的算法工程师水平高，所有同学学习 Kaggle 实战将会受益匪浅。

实战教学项目：

Ø 海难生死预测案例

Ø 信用卡反欺诈案例

Ø Rossmann销量预测案例

9.1 海难生死预测案例

https://www.kaggle.com/c/titanic

9.2 信用卡反欺诈案例

https://www.kaggle.com/jacklizhi/creditcard

9.3 Rossmann销量预测案例

https://www.kaggle.com/c/rossmann-store-sales

二、 概率图模型算法

阶段概述：

本阶段讲解，贝叶斯分类算法、隐含马尔可夫模型、最大熵模型、条件随机场

达成目标：

通过本阶段学习，掌握 NLP 自然语言处理的一些基本算法，本阶段的理解对于后续完成 NLP 大项目很重要。

实战教学项目：

Ø 代码实战垃圾邮件分类

10.1 贝叶斯分类

1) 贝叶斯原理

2) 朴素贝叶斯算法原理

3) 代码实战垃圾邮件分类

10.2 HMM 算法

1) 马尔可夫过程

2) 初始概率、转移概率、发射概率

3) 隐含马尔可夫模型原理

4) 维特比算法

10.3最大熵模型

1)熵、条件熵、相对熵、互信息

2) 最大熵模型算法原理

3) 有约束条件的函数最优化问题

4) 最大熵和最大似然估计关系

5) IIS 算法

10.4 CRF 算法

1)条件随机场的性质

2) 条件随机场的判别函数

3) 条件随机场的学习

4) 条件随机场的推断

5) CRF 与 HMM 关系

三、 深度学习课程大纲

11.1 机器视觉

阶段概述：

本阶段讲解，OpenCV模块的使用、图片处理的一系列操作、计算机视觉处理、人脸检测、目标追踪。

达成目标：

过本阶段学习，开启机器视觉之旅，熟练掌握OpenCV相关操作，掌握图像的基本处理方法与技巧，了解基本的物体检测模型，掌握物体追踪，车道线检测，交通标志识别等技术，为后面课程打下坚实的基础。

11.1.1 视频的加载和显示

课程定位:

这章是OpenCV中关于视频和图像的加载和显示内容，帮大家进入机器视觉领域打好基础，以便更好地学习TensorFlow、PyTorch、YOLO等众多高级课程。在图像识别企业开发中实战中，OpenCV是必备的工具。

课程内容:

1) OpenCV介绍

2) 环境搭建

3) 创建显示窗口

4) 加载显示图片

5) 加载图片问题

6) 保存文件

7) 从摄像头采集视频

8) 读取视频帧

9) 制作多媒体文件

10) 控制鼠标

11) TrackBar控件

11.1.2 OpenCV基础知识

课程定位:

这章是OpenCV基础知识，图像处理内容非常丰富，处理的技巧非常多。通过本章学习，掌握图像的基础知识比如颜色空间转换,图像通道分割与合并等知识，为后面无人驾驶目标检测的学习，打牢基础。

课程内容:

1) RGB和BGR

2) HSV和HSL

3) 实战色彩空间转换

4) OpenCV的重要数据结构Mat

5) Mat的深拷贝和浅拷贝

6) 图像的属性

7) 图像通道的分割与合并

11.1.3 OpenCV绘制图形

课程定位:

通常我们在使用OpenCV的时候会把识别到的物体通过绘制图形的方式把物体标注出来.这章是OpenCV绘制图像内容，教我们如何使用OpenCV绘制各种图形。

课程内容:

1) 绘制直线

2) 绘制椭圆

3) 绘制圆

4) 绘制多边形

5) 绘制文本

6) 实现鼠标绘制基本图形

11.1.4 OpenCV的运算

课程定位:

本章是OpenCV的运算内容，教我们如何使用OpenCV对图形进行各种运算, 比如图形的加减法, 图形的融合, opencv的位运算等。

课程内容:

1) 图形的加法运算

2) 图形的减法运算

3) 图形的融合

4) OpenCV的位运算

5) 为图像添加水印

11.1.5 图形基本变换

课程定位:

本章是图形基本变换内容，教我们如何使用OpenCV对图形进行各种基本变换, 比如图形的放大与缩小, 翻转和旋转,平移和透视变换等等。

课程内容:

1) 图像的放大与缩小

2) 图像的翻转和旋转

3) 图像的平移

4) 变换矩阵

5) OpenCV的透视变换

11.1.6 滤波器

课程定位:

本章是滤波器内容，教我们如何使用OpenCV对图形进行各种滤波操作, 比如方盒滤波, 均值滤波, 高斯滤波, 双边滤波等等。

课程内容:

1) 图像滤波

2) 卷积概念

3) 方盒滤波和均值滤波

4) 高斯滤波

5) 中值滤波

6) 双边滤波

7) 高通滤波之Sobel算子

8) 高通滤波之Scharr算子

9) 高通滤波之Laplacian算子

10) 边缘检测Canny

11.1.7 形态学

课程定位:

本章是形态学内容，教我们如何使用OpenCV对图形进行各种形态学变换, 比如图形的二值化, 腐蚀操作, 膨胀操作, 开闭运算,顶帽操作和黑帽操作等等。

课程内容:

1) 形态学概述

2) 图像全局二值化

3) 阈值类型

4) 自适应阈值二值化

5) 腐蚀操作

6) 获取形态学卷积核

7) 膨胀操作

8) 开运算

9) 闭运算

10) 形态学梯度

11) 顶帽操作

12) 黑帽操作

11.1.8 基于OpenCV的虚拟计算器项目

课程定位:

本章是基于OpenCV的虚拟计算器项目，教我们如何使用所学的OpenCV知识创建虚拟计算器进行交互。

课程内容:

1) 项目介绍

2) 数据集收集

3) 图像预处理

4) 图像标注

5) 目标图像分割

6) HOG特征提取

7) 训练模型

8) 识别预测

9) 结果展示

10) 项目总结

11.1.9 基于OpenCV的车辆统计项目

课程定位:

本章是基于OpenCV的车辆统计项目，教我们如何使用OpenCV对车辆进行统计。

课程内容:

1) 项目介绍

2) 数据获取

3) 数据处理

4) 查找轮廓

5) 绘制轮廓

6) 轮廓的面积与周长

7) 外接矩形

8) 项目总览

9) 视频加载

10) 形态学处理

11) 去背景

12) 逻辑处理

13) 显示信息

11.1.10 基于OpenCV的信用卡数字识别项目

课程定位:

本章是基于OpenCV的信用卡数字项目，教我们如何使用OpenCV对信用卡数字。

课程内容:

1) 项目介绍

2) 获取数据

3) 图片预处理

4) 读取ROI区域

5) ROI区域灰度化

6) ROI区域膨胀

7) ROI区域腐蚀

8) 边缘检测(Canny算子)

9) 霍夫变换

10) 直线分组

11) 直线延长

12) 输出结果

13) 项目总结

11.2深度学习基础

阶段概述:

本阶段介绍深度学习基础知识。在充分掌握机器学习基础上入门深度学习并不困难.深度学习的基础是线性回归, 逻辑回归等经典机器学习算法. 在本章中我们会介绍深度学习经典算法神经网络.

达成目标：

通过本阶段学习，掌握深度学习入门知识, 建立机器学习和深度学习的区别, 掌握神经网络的基础算法—逻辑回归, 掌握浅层神经网络和深层神经网络的结构。

11.2.1 深度学习介绍

课程定位:

本章对深度学习进行总体介绍, 让学生对深度学习有一个全面的清晰的认识, 包括深度学习和机器学习的区别, 深度学习的应用场景等。

课程内容:

1) 深度学习和机器学习的区别

2) 深度学习应用场景

3) 深度学习代表算法--神经网络

4) 为什么深度学习效果非常好

11.2.2 神经网络基础

课程定位:

本章节介绍深度学习的经典算法神经网络算法的基础内容. 神经网络算法的本质实际上是逻辑斯蒂回归.我们会介绍神经网络的基础知识, 包括逻辑回归, 梯度下降算法, 导数, 向量化编程和正向传播反向传播等神经网络的核心知识.

课程内容:

1) 逻辑斯蒂回归

2) 梯度下降算法

3) 导数

4) 向量化编程

5) 正向传播和反向传播

11.2.3 浅层神经网络

课程定位:

本章介绍浅层神经网络的结构和相关知识, 会涉及到浅层神经网络的表示, 单个样本的向量化表示和激活函数等知识, 其中激活函数是重点.

课程内容:

1) 浅层神经网络表示

2) 单个样本的向量化表示

3) 激活函数

11.2.4 深层神经网络

课程定位:

本章介绍深层神经网络的结构, 让大家对深层神经网络有一个全面的认识.

课程内容:

1) 深层神经网络表示

2) 四层网络的前向传播和反向传播

3) 参数和超参数

11.3深度学习进阶

阶段概述:

本阶段介绍深度学习进阶知识。在充分掌握深度学习基础上深入深度学习, 其中包括梯度下降算法改进算法, 正则化, 批标准化等核心知识.掌握本阶段内容可以为后续学习各种深度学习算法打下坚实基础.

达成目标：

通过本阶段学习，掌握深度学习进阶知识,包括梯度下降算法改进算法, 正则化, 批标准化等核心知识。

11.3.1 多分类

课程定位:

本章对深度学习中的多分类问题进行讲解, 多分类问题是应用领域常见的问题, 在深度学习中通常用softmax来解决.

课程内容:

1) softmax回归

2) 交叉熵损失

11.3.2 梯度下降算法改进

课程定位:

本章节介绍梯度下降算法改进算法. 梯度下降算法是贯穿整个深度学习的基石, 常规梯度下降算法速度慢, 容易陷入局部最优, 本章重点介绍梯度下降算法的一系列改进算法, 让我们在后续构建神经网络过程中有更多的选择和空间.

课程内容:

1) 优化遇到的问题

2) 参数初始化策略

3) 批梯度下降算法

4) 指数加权平均

5) 动量梯度下降算法

6) RMSProp算法

7) Adam算法

8) 学习率衰减

9) 其他非算法优化的方式--标准化输入

11.3.3 正则化

课程定位:

本章介绍正则化相关的知识点. 众所周知, 深度学习有一个很大的问题就是容易过拟合, 而正则化则是解决过拟合的方法, 本章介绍常见的正则化方法比如L1正则, L2正则, Dropout等正则化核心知识.

课程内容:

1) 偏差和方差

2) 正则化

3) Dropout

4) 其他正则化方法

11.3.4 神经网络调优和BN

课程定位:

本章介绍神经网络调优和BN.让大家学会如何对神经网络进行调优以及如何实现批标准化处理(BN).

课程内容:

1) 神经网络调优

2) 批标准化(Batch Normalization)

11.4卷积神经网络

阶段概述:

本阶段介绍深度学习经典算法卷积神经网络. 卷积神经网络在机器视觉领域是必学算法, 由卷积神经网络而衍生出一系列机器视觉领域的前沿算法, 比如ResNet, GoogleNet等.本阶段重点介绍卷积神经网络的原理, 以及如何使用卷积神经网络进行图片识别.

达成目标：

通过本阶段学习，掌握卷积神经网络原理, 掌握如何快速搭建卷积神经网络进行图片识别。