机器学习-吴恩达 单变量线性回归模型（笔记）

文章目录

• • Terminology 术语
  • • Notation
  • 得到线性回归模型的流程
  • • 单变量线性回归Function的表达式
  • Cost Function 代价函数
  • • 如何寻找最小的Cost Function?
    • • f(x) 与 J(w) 之间的变化关系

Terminology 术语

• Training set 训练集：已知结果数据集，用来训练模型

Notation

x = “input” variable feature 输入的变量
y = “output” variable / “target” variable 输出的变量或目标变量
m = number of training examples 训练集中的数量
(x,y) = single training example 训练集中的一组数据
(x⁽ⁱ⁾, y⁽ⁱ⁾) = i^th training example 训练集中第i组数据
xⁱ != x⁽ⁱ⁾
Example：

得到线性回归模型的流程

1. 选择一个监督学习算法
2. 把训练集中的features（输入变量）和output（输出）提供给学习算法
3. 得到一个model / function （模型 / 函数）
4. 把想要预测的数据输入这个模型
5. 最终这个模型将输出一个值"y-hat",这就是模型给出的预测结果

单变量线性回归Function的表达式

f_w,b(x) = wx + b 或者 f(x) = wx+b
w,b: parameters（参数）

Cost Function 代价函数

作用：找到最优解的目标函数
Loss Funtion（损失函数）: 定义在单个样本上，算的是一个样本的误差。
Cost Funtion: 定义在整个训练集上的，是所有样本误差的平均值，也就是loss function的平均值。

所谓误差，就是我们的样本输出值和函数的输出值之间的距离。当我们得到的函数的Cost Function最小的时候,这个函数就是我们要找的目标函数。

Cost Funtion公式：
其中y-hat = f(w,b) = wx+b
我们的目标是找到最小的J(w,b)，让每一个样本的输出值最靠近我们的目标函数的输出值。

如何寻找最小的Cost Function?

从单一参数开始来看，当只有w时：f(x) = wx
那么：

f(x) 与 J(w) 之间的变化关系

假设有一组训练集为：(1,1),(2,2),(3,3)
现在我们取w = 1时：

那么J(w)：


当我们取w = 0.5时：
那么J(w)：
当我们取多个和w的值时，它的图像会变成一个二次函数：

此时将这个二次函数进行求导，就能得到这个函数的最小值，也就是误差最小的w值。

当参数增加时，也是同样的道理，但是维度会增加。

J(w,b) 图像：

对于回归问题，我们可以归结为得到代价函数的最小值