我们要寻找最小损失函数时的模型参数
一般研究对象：
①损失函数（L2、LP、huber、hinge、cross-entropy（分布的差·）、）
②优化方法
③约束、非约束问题
基于梯度的一阶方法，针对某一个点选定的梯度方向，选择合适的步长进行下降
也就是机器学习中最常用的梯度下降法：
随机梯度下降：避免停在某个极值
梯度下降法，只关心此次的变更，不会考虑全局效率；（不同方向的权重（步长）决定最终方向）不会损失上一次的努力
牛顿法二阶方法：更快更准但是计算量大（Hessian矩阵的计算求逆—梯度）
避免求Hessian矩阵的逆
拉格朗日乘数法可以对有约束的问题进行整合
