降维算法PCA

PCA使用样本方差来衡量信息量，方差越大，特征所带的信息量越大

矩阵分解：找出n个新特征向量，让数据能够被压缩到少数特征上并总信息量不损失太多的技术

sklearn.decomposition.PCA(n_component=None,copy=True,svd_solve='auto',tol=0.0,

                                              iterated_power='auto',random_state=None)

n_component 降维后需要的维度，即需要保留的特征数量。

import matplotlib.pyplot as plt
from sklearn.datasets import load_iris
from sklearn.decomposition import PCA
import pandas as pd
iris = load_iris()
y = iris.target
x = iris.data
x.shape

# 作为数组，x是2维
# 作为数据表或特征矩阵，x是4维

pd.Dataframe(x)

# 建模 调用PCA
pca = PCA(n_components=2)   # 实例化
pca = pca.fit(x)            # 拟合模型
x_dr = pca.transform(x)     # 获取新矩阵
x_dr

iris.target_names

# 可视化
plt.figure()   # 准备画图
plt.scatter(x_dr[y==0,0],x_dr[y==0,1],c="red",label=iris.target_names[0])
# 画散点图
# 取出y=0的第一列的数据
plt.scatter(x_dr[y==1,0],x_dr[y==1,1],c="black",label=iris.target_names[1])
plt.scatter(x_dr[y==2,0],x_dr[y==2,1],c="orange",label=iris.target_names[2])
plt.legend()
plt.title('PCA of IRIS dataset')
plt.show()

用for循环做

colors = ['red','blue','green']
for i in [0,1,2]:
    plt.scatter(x_dr[y==i,0],x_dr[y==i,1],alpha=0.7,
                c=colors[i],label=iris.target_names[i])
    # alpha 透明度
plt.legend()
plt.title('PCA of IRIS dataset')
plt.show()

 # 查看降维后每个新特征向量上所带信息量的大小（方差大小）

pca.explained_variance_

# 查看降维后每个新特征向量所占的信息量占原始信息数据总信息量的百分比

pca.explained_variance_ratio_

pca.explained_variance_ratio_.sum()

# n_components中不填写任何值，默认返回min(x.shape),不减少特征个数
# 累计可解释方差贡献率 来选择最好的n_components

pca_line = PCA().fit(x)
pca_line.explained_variance_ratio_

import numpy as np
np.cumsum(pca_line.explained_variance_ratio_)

pca_line = PCA().fit(x)
plt.plot([1,2,3,4,],np.cumsum(pca_line.explained_variance_ratio_))
plt.xticks([1,2,3,4])
plt.xlabel("number of components after dimension reduction")
plt.ylabel("cumulative explained variance")
plt.show()

mle自动取n_components最佳取值 

pca_mle = PCA(n_components="mle")
pca_mle = pca_mle.fit_transform(x)
pca_mle

由此可见 n_cimponents取3

按信息量占比选超参数：输入[0,1]之间的浮点数，来代表降维后的总解释性方差占原始数据的信息占比，并且让参数svd_solver=='full'

pca_f = PCA(n_components=0.97,svd_solver="full")
pca_f = pca_f.fit(x)
x_f = pca_f.transform(x)
pca_f.explained_variance_ratio_.sum()