1 都是对输入的数据进行预测。输出不同 分类输出的是离散值 回归是连续值
2 先看两者公式
最小均方误差 MSE Mean Squared Error Loss
L_{mse} frac{1}{2}(a - y)^2
交叉熵误差CEE Cross Entropy Error Loss
L_{cee} -(y*ln(a) (1-y)*ln(1-a))
看下这两个Loss function对w的导数 也就是SGD梯度下降时 w的梯度。
sigmoid sigma^{’}(z) 在输出接近 0 和 1 的时候是非常小的 故导致在使用最小均方差Loss时 模型参数w会学习的非常慢。而使用交叉熵Loss则没有这个问题。为了更快的学习速度 分类问题一般采用交叉熵损失函数。
3 线性回归的参数计算方法是最小二乘法 逻辑回归的参数计算方法是梯度下降
4 朴素贝叶斯 对线性回归分类的简化
在线性判别分析中 我们假设每种分类类别下的特征遵循同一个协方差矩阵 每两个特征之间是存在协方差的 因此在线性判别分析中各种特征是不是独立的。但是 朴素贝叶斯算法对线性判别分析作进一步的模型简化 它将线性判别分析中的协方差矩阵中的协方差全部变成0 只保留各自特征的方差 也就是朴素贝叶斯假设各个特征之间是不相关的。在之前所看到的偏差-方差理论中 我们知道模型的简化可以带来方差的减少但是增加偏差 因此朴素贝叶斯也不例外 它比线性判别分析模型的方差小 偏差大。
