目录

第三章 线性模型

0️⃣基本形式

1️⃣线性回归

✏️一元线性回归/univariate linear regression

✏️多元线性回归/multivariate linear regression

✏️广义线性回归模型

2️⃣对数几率回归

3️⃣线性判别分析

4️⃣多分类学习

5️⃣类别不平衡问题

第三章 线性模型

0️⃣基本形式

给定由d个属性描述的示例 ，其中  是  是第  个属性上的取值，线性模型/linear model 试图学得一个通过属性的线性组合来进行预测的函数，即

向量形式：

1️⃣线性回归

给定数据集，其中，. “线性回归/linear regression”试图学得一个线性模型以尽可能准确地预测实值输出标记。

如何确定  和  呢？

第二章中说到过均方误差是回归任务中最常用的性能度量，因此让均方误差最小化，即

均方误差有非常好的几何意义，它对应了常用的欧几里得距离或简称“欧氏距离/Euclidean distance”。基于均方误差最小化来进行模型求解的方法称为“最小二乘法/least square method”。在线性回归中，最小二乘法就是试图找到一条直线，使所有样本到直线上的欧氏距离之和最小。

✏️一元线性回归/univariate linear regression

 此时使得  最小化即对  和  分别求偏导对应零点。

令公式（3.5）为零：

得到 

 令公式（3.6）为零：

 得到

✏️多元线性回归/multivariate linear regression

✏️广义线性回归模型

2️⃣对数几率回归

讨论了回归任务，分类任务怎么办？

答案蕴含在式（3.15）的广义线性模型中：只需要找一个单调可微函数将分类任务的真实标记  与线性回归模型的预测值联系起来。

 

3️⃣线性判别分析

线性判别分析/Linear Discriminant Analysis（简称LDA）是一种经典的线性学习方法，在二分类问题上因为最早由[Fisher，1936]提出，亦称“Fisher判别分析”。

  

4️⃣多分类学习

5️⃣类别不平衡问题