什么是回归？

回归分析是在一系列的已知或能通过获取的自变量与因变量之间的相关关系的基础上，建立变量之间的回归方程，把回归方程作为算法模型，通过其来实现对新自变量得出因变量的关系。因此回归分析是实用的预测模型或分类模型。

凡事皆有因果关系，解读“回归”二字，其实就是由因回溯果的过程，最终得到的因与果的关系，就称为回归。回归其实就是一个名词，没有特别的含义。

线性回归

线性回归（linear regression）意味着可以将输入项分别乘以一些常量，再将结果加起来得到输出。

线性回归的一个问题是有可能出现欠拟合现象，因为它求的是具有最小均方误差的无偏估计。为了降低预测的均方误差，可以在估计中引入一些偏差，其中一个方法是局部加权线性回归（Locally Weighted Linear Regression, LWLR）。如果数据的特征比样本点还多，也就是说输入数据的矩阵X不是满秩矩阵，非满秩矩阵在求逆时会出现问题。为了解决这个问题，可以使用岭回归（ridge regression）、lasso法、前向逐步回归。

随机梯度下降算法

随机梯度下降算法的理念，其实是借鉴了随机样本抽样的方式，并提供了一种动态步长的策略，希望做到又优化精度，同时又满足必要的收敛速度。

每次迭代并非计算训练集中所有数据，而仅随机抽取了训练集中部分样本数据进行梯度计算，从而可以有效避免陷入局部极小值情况。

然而天下无免费的午餐，鱼和熊掌无法兼得，同样随机梯度下降算法在平衡精度与迭代次数，牺牲了一部分精度，增加了一定数量的迭代次数（增加的迭代次数远远小于样本总量），换取了整体的优化效率提升。

北京尚学堂科技有限公司成立，现旗下业务覆盖：JAVA开发技术培训、高级架构师培训、大数据云计算培训、人工智能python培训、H5前端开发培训、项目开发业务、团队激励、在线教育集群业务。

尚学堂12大精英团队，覆盖IT行业十大领域，实战团队240人，服务学员累计超过10万人，就业合作企业数量500+。