- 机器学习本质上是一种数学模型。机器学习的目的就是自动找函数。
- 因为现实问题往往非常复杂，难以（或者不可能）建立完全精确的数学解析模型，因此机器学习就非常必要。
机器学习分类高中数学学习的最小二乘法也能算得上是一种机器学习，但是现实生活中，能有多少场景能简单到用线性函数就能表达的呢
- Regression(回归)：要有数值返回值
- Classification（分类）：分为Binary（Yes or No分类），和Multi-class（多种类分类选择）
- Generation（生成）：生产有结构的语句或图片
- 提供给机器（数学模型）有label的资料进行学习
- 评估模型的准确程度的函数
- loss的来源：Bias和Variance
- 通过机器学习得出的模型，在train组表现很好，在test组表现很差即为Overfitting；如果在train组表现就很差，即为Underfitting
- 一般，使用简单的模型，Variance也会较小，但是Bias可能会更大。使用复杂的模型，Bias可能会较小，但是Variance可能会更大
- 如果模型的Variance很大，解决的有效方法是增加train的sample数量；另一个方法就是在loss中增加Regularization（权重的平方和乘以系数λ，让拟合出的函数更加平滑）
- 速率太小：步骤太多，耗时长
- 速率太大：可能跨过（忽略）Loss函数最低点
- 自适应学习速率：学习速率随着学习进展进行变更，每个参数的学习速率也不同
- 最优化的几种方法（对步长的计算方式不同）：SGD, SGDM, Adagrad, RMSProp, Adam, SWATS(Adam 和 SGDM综合使用)
