- 前言
- 3.1 基本形式
- 3.2 线性回归
- 3.2.1 单属性线性回归学得函数
- 3.2.2多元线性回归学的函数：
- 3.2.3 对数线性回归
- 3.2.4 广义线性模型：
- 3.3 对数几率回归
- 3.4 线性判别分析
- 3.5 多分类学习
- 3.6类别不平衡问题
- 总结
前言
本章先从回归任务开始，之后讨论二分类与多分类任务来介绍几种典型的线性模型。
3.1 基本形式
给定d个属性描述的示例x=(x1;x2;……;xd),其中xi是x在第i个属性上的取值，则
预测(学得)函数：
f
(
x
)
=
w
1
x
1
+
w
2
x
2
+
…
+
w
d
x
d
+
b
f(x)=w_1x_1+w_2x_2+…+w_dx_d+b
f(x)=w1x1+w2x2+…+wdxd+b
预测函数的向量形式：
f
(
x
)
=
w
T
x
+
b
,
式中
w
=
(
w
1
;
w
2
;
…
…
;
w
d
)
f(x)=w^Tx+b~~~~,式中w=(w_1;w_2;……;w_d)
f(x)=wTx+b ,式中w=(w1;w2;……;wd)
3.2.1 单属性线性回归学得函数给定数据集D={(x1,y1),((x2,y2),…,(xm,ym)},其中xi=(xi1;xi2;……;xid),yi∈R。
f
(
x
i
)
=
w
x
i
+
b
f(x_i)=wx_i+b
f(xi)=wxi+b
考虑通过使得均方差最小化来确定w与b,即
( w ∗ , b ∗ ) = a r g w , b m i n ∑ i = 1 m ( f ( x i ) − y i ) 2 = a r g w , b m i n ∑ i = 1 m ( y i − w x i − b ) 2 (w^*,b^*)=arg_{w,b} minsum^{m}_{i=1}(f(x_{i})-y_{i})^{2}=arg_{w,b} minsum^{m}_{i=1}(y_{i}-wx_{i}-b)^{2} (w∗,b∗)=argw,bmini=1∑m(f(xi)−yi)2=argw,bmini=1∑m(yi−wxi−b)2
对上式分别对w、b求偏导，并令偏导值为0，通过化简求得w与b的值为：
w
=
∑
i
=
1
m
y
i
(
x
i
−
x
‾
)
∑
i
=
1
m
x
i
2
−
1
m
(
∑
i
=
1
m
x
i
)
2
w= frac{sum^{m}_{i=1}y_i(x_i-overline x)}{sum^{m}_{i=1}x_i^2-frac{1}{m}(sum^{m}_{i=1}x_i)^2}
w=∑i=1mxi2−m1(∑i=1mxi)2∑i=1myi(xi−x)
b
=
1
m
(
∑
i
=
1
m
y
i
−
w
x
i
)
b=frac{1}{m}(sum^{m}_{i=1}y_i-wx_i)
b=m1(i=1∑myi−wxi)
f ( x i ) = w T x i + b , 式中 w = ( w 1 ; w 2 ; … … ; w d ) f(x_i)=w^Tx_i+b~~~~,式中w=(w_1;w_2;……;w_d) f(xi)=wTxi+b ,式中w=(w1;w2;……;wd)
将数据集D表示为矩阵X：
X = ( x 11 x 12 ⋯ x 1 d 1 x 21 x 22 ⋯ x 2 d 1 ⋮ ⋮ ⋱ ⋮ ⋮ x m 1 x m 2 ⋯ x m d 1 ) X= begin{pmatrix} x_{11} & x_{12} & cdots & x_{1d}& 1 \ x_{21} & x_{22} & cdots & x_{2d}& 1 \ vdots & vdots & ddots & vdots& vdots \ x_{m1} &x_{m2} & cdots & x_{md}& 1 \ end{pmatrix} X=⎝ ⎛x11x21⋮xm1x12x22⋮xm2⋯⋯⋱⋯x1dx2d⋮xmd11⋮1⎠ ⎞
将标记写成向量形式y=(y1 ；y2 ；……；ym )
考虑通过使得均方差最小化来确定w：
w
^
∗
=
a
r
g
m
i
n
(
y
−
X
w
^
)
T
(
y
−
X
w
^
)
hat{w}^*=arg min (y-Xhat {w})^T(y-Xhat {w})
w^∗=argmin(y−Xw^)T(y−Xw^)
对上式分别对w求偏导，并令偏导值为0，得：
w
^
∗
=
(
X
T
X
)
−
1
X
T
y
hat{w}^*=(X^TX)^{-1}X^Ty
w^∗=(XTX)−1XTy
最终多元函数模型为：
f
(
x
i
^
)
=
x
i
^
(
X
T
X
)
−
1
X
T
y
f(hat{x_i})=hat{x_i}(X^TX)^{-1}X^Ty
f(xi^)=xi^(XTX)−1XTy
l
n
y
=
w
T
x
+
b
lny=w^Tx+b
lny=wTx+b
y = g − 1 ( w T x + b ) y=g^{-1}(w^Tx+b) y=g−1(wTx+b)
3.3 对数几率回归 3.4 线性判别分析 3.5 多分类学习 3.6类别不平衡问题总结
例如：以上就是今天要讲的内容，本文仅仅简单介绍了pandas的使用，而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。
