1.1 知识点
1、优化算法的基本介绍；
2、梯度下降算法的实现；
3、随机梯度下降的实现；
4、其他优化算法的对比；
优化算法常用在最优化模型上，使得模型的损失值为最小。经典的优化算法分为直接法和迭代法。直接法是指能够直接获取到优化问题的最优解。其要求目标函数需要满足两个条件：（1）目标函数需要是凸函数，若目标函数是凸函数，其最优解处的梯度为0；（2）对于求解目标函数梯度为0，需要有其闭式解。常见的直接优化算法有岭回归，有想要更深了解的同学可以自行加深学习。
迭代法是指通过迭代的方式对最优解的估计，其可以分为一阶法和二阶法。本文所讲解的梯度下降法就属于是一阶法。二阶法也叫作牛顿法，Hessian矩阵就是目标函数的二阶信息。
人工智能中常见的优化算法有梯度下降法（BGD）、随机梯度下降法（SGD）、小批次梯度下降法（MBGD）、Adagrad和Adam等。
梯度下降法需要求解每一步函数的梯度，按照梯度*固定步长的方式对上一步的数值进行加和，为了使得梯度最快拟合，使用梯度负数可以最快拟合。
特点：每次都会对全局数据进行更新，易造成训练缓慢。
如上所述，
