一个适当的学习问题定义如下：
从经验E中学习解决任务T进行性能度量P，并通过性能度量P判断任务T的表现因经验E提高，即经验E使得任务T得到性能改善。
- 在垃圾邮件分类问题中，
经验E指 已经标记好是否为垃圾邮件的邮件；
任务T指 要求程序划分是否为垃圾邮件并过滤垃圾邮件；
性能P指 程序划分的垃圾邮件标签与正确标签对比的正确率；
监督学习：从打好标签的数据中学习，即“有正确答案”
无监督学习：给定一个无标签数据集，按不同标准划分成不同的类（聚类思想），即“开放题”
分类：离散值预测输出
回归：连续值预测输出
在单变量线性回归问题中：
假设函数：输入x用于输出预测y的函数
代价函数：平方误差和代价
为了尽可能地拟合数据，使得h(i)的值接近y(i),就要解决一个代价最小的问题，即使得 最小。( 这里的1/2m是为了开导时刚好抵消平方 对优化结果无影响)
如果采用简化后的假设函数
即要解决一个代价函数最小的问题，发现代价函数呈右侧分布的样子
而如果是采用原本的假设函数，则代价函数分布也是呈现类似碗装，如下图
也可以使用等高线图来绘制成下图的样子：
而我们要找到的 则是这个“碗”的最深位置，为使得程序找到这个位置对应的参数，引入了梯度下降算法
使用梯度下降算法可以用于解决最小化任意函数的问题，也可以解决面临更多参数的问题
在解决中，首先给定θ_0和θ_1的初始值（通常初始为0），在坐标轴中对应的位置出发，沿着“最佳（尽快）下山的方向”下降一小步，在到达新位置后不断重复以上步骤直至收敛至局部最优解。
（起始点的不同可能会有多个不同的局部最优解）
更新规则数学定义如下图：
注：
:=表示赋值
α为学习率 始终为正决定了下降的速度 以多大的速率更新这个参数θ_j
α太小，计算量大，耗时长，但是结果更精确；
α太大，计算量小，跨步大，但结果不够精确，可能跨步越过最低点和找到最低点，导致无法收敛甚至发散的局面；
如下图所示中 在跨过最低点的第一个点，此时斜率变大即偏导值变大导致下次更新跨步会更大，会更加远离最低点，数值越来越偏离最低点
偏导项表示 函数沿θ_j方向的变化率
梯度下降要实现θ_0和θ_1同步更新，必须遵守左侧顺序
右侧的算法也可以解决问题但是不属于梯度下降法
———————————正在更新中—————————————
