- 一、数据压缩
- 二、可视化
- 三、PAC问题规划1
- 四、PAC问题规划2
- 五、主成分数量选择
- 六、应用PAC的建议
提示：本文是基于吴恩达老师机器学习视频总结
一、数据压缩降维首先是可以用于数据压缩的，例如将2维数据降维成一维数据，如下图所示：
降维还可以将原本无法可视化的数据通过降维从而进行可视化。
如下图是各国的各项数据，因为特征较多，因此无法进行可视化：
将这50维的数据压缩为2维，之前需要一个向量中50个实数表示一个国家，想在只需要2个实数。
我们直观的看一下PAC的效果。
假设我们已经通过算法选择了要投影的线是橙色那条，那么我们可以用蓝色的线绘制出它的投影误差，我们要做的其实就是时投影误差尽可能地小。
为了作出对比，我们绘制了下面一条粉红色的线，可以见到它的投影误差则是比较大的。
假如我们想从2维压缩成1维：那么就需要找到一个向量（方向没有关系），使得数据的投影误差最小。
进行推广，我们可以得到多维压缩的定义。假如我们想从n维压缩成k维：那么就需要找到k个向量u(1)、u(2)、…、u(k)，使得数据的投影误差最小。
上图是展示了线性回归和PCA的区别，如图所示：（左图代表线性回归，右图代表PCA）
在我们进行PCA处理前，我们首先需要对数据进行预处理。
其中我们需要将数据进行均值归一化 （归一化问题可以看这篇文章），也就是进行下列操作：
下面介绍具体如何使用PCA算法：
现在假设我们需要将n维度的数据降成k维度
1、首先要先计算出协方差，具体表达式如下：（其中σ是一个n*n的矩阵）
2、通过SVD函数计算出协方差σ的特征向量
3、我们需要使用的是U矩阵（n*n的矩阵），如下图所示
4、因为我们想降至k维，因此我们就要从U矩阵中取出u(1)~ u(k) ，从而构建新的矩阵(n*k的矩阵)，称为Ureduce
5、最后我们要将n维的x降成k维的z,其中z=(Ureduce)TX
在利用PCA算法的时候，我们需要确定降至的维度k，这个k同样也被称为数据主要成分的数量或者数据的主要成分保留的数量，这一小节就来讨论一下如何选择k。
PCA算法主要做的工作就是最小化average squard projection error，也就是要最小化下面这个表达式：
同时，我们还需要定义total variation（可以理解为样本和全零点之间的举例），也就是下面这个表达式:
当我们想要选择k时，通用的原则是选择下面不等式成立的最小k，如下所示：
并且，我们也可以调整0.01这个数字来调整被保留的完整性。上式就表示百分之99的方差被保留了下来。
下面介绍如何完成k选择的算法：
1.我们从k=1开始，使用PCA算法计算这些值
2.然后检查不等式是否成立
3.如果不成立就换k=2，k=3，…，如此继续。假设到k=17时成立了，那么就选择k=17
如此可见，上面这个算法比较麻烦，好在svd方法提供了简便的计算方式。
六、应用PAC的建议1.首先我们通过svd算法得到相应的矩阵
2.S矩阵是一个对角矩阵，只有对角线上的数字非零
3.然后我们就开始计算过程，我们可以用下面的表达式代替计算之前的不等式。假设我们计算k=3，分子就是S11、S22、S33求和，分母是全部对角线元素求和。我们要检查的就是它是否小于等于0.01，同样是选择能够满足不等式的最小k
如果这样做，你就只需要调用一次svd，节省了许多时间
下面则是介绍了PCA算法在较少数据维度的应用,如下图所示：
基本思想：将原本高维度的数据x降至低维度的z，然后采用z建立模型进行训练。
需要特别注意以下几个方面：
1、PCA算法只能运行在训练集上，在交叉验证集或测试集中同样也是使用训练集建立的映射。（也就是在后面进行预测时要使用测试集计算出来的Ureduce）
2、不要使用PCA去防止过拟合，因此PCA可能会损失一些重要的特征，使用正则化的方法去防止过拟合更有效果
3、如果能够在不使用PCA的情况下计算得到结果，那么就不要使用PCA。如果没办法计算得到（运行性太慢等等情况），再使用PCA。
