-
- 特征选择*
无效变量
不相关变量，多余变量
统计方式的特征选择
方差阈值化、卡方检验、ANOVA检验及T检验、皮尔森相关系数
高度相关特征的选择（多余变量）
模型方式的特征选择
决策树、逻辑回归，随机森林，XGBoost
模型会自动选择变量
递归式的特征选择。
将特征慢慢消除，限制到特定范围内。
当输入增加，就必须增加数据，不然模型就会不稳定，
-
-
- 无效变量
-
不相关变量，多余变量
Redundancy：两个变量的相关性太高，说明1二者的概念可能是否接近，也就是多余变量，可以采取合并的方法。甚至删除字段，二者带来的信息
Irrelevancy：X4，X3就是不相关变量，X4变大时会发现目标值的变动。当X3变动的时候预测值是随机的，不相关，无法带来信息。
-
-
- 统计方式的特征选择
-
VT方差阈值化：算出数值型字段的方差，如果低于某个值，说明它包含的信息量不足。
方差不能事先对它进行标准化。比如Z-scold 它的方差为1，均值为0
必须决定一个门槛值，是否删除该字段
二元变量：把其中一个编码为1，一个编码为0方差就是P（1-P）（先做特征转换）
当方差越大，说明是越重要的字段。最大值是0.25。
当然，这个与目标无关
-
-
- 统计检验的方式：
-
输入字段与目标字段的关系
类别型字段：卡方检验：输入字段与目标字段的关联性
数值型字段：ANOVA检验（目标字段大于2就行）：T检验（目标字段只有2个值，比如yes or no）：来检验输入字段与目标字段的关联性。
ANOVA案例：背景音乐是否会影响消费者心情。音乐（输入字段）与酒类购买的关系。
无音乐，French手风琴，italian手风琴
酒：French、italian、其他酒类
统计量
真实销售减去期望值求和除以期望值求和
这是期望频数。设二者相互独立，概率1乘以概率2，乘总数243.
上表减下表，平方之和，除以均值之和
得到的值越大越好。对比的数值可以查表，
先计算其卡方值，利用该值查表，对应的概率，如果小于显著性水平0.05，说明二者无关的概率极小，予以排除。
案例小额信贷卡方检验结果：
1234就比较重要，5678不重要
T检验流程：先进行F检验，如何对各自变量进行T检验
低于0.05就看作重要变量
ANOVA检验流程：先求出F-value，如何求T-value
结果十分接近。
皮尔森相关系数：
高度相关特征的选择（多余变量）：
经常会出现高度相关字段，带来的信息是重复的，利用皮尔森相关系数，查看二者的相关性。大于0.95就抹除变量。
要看保留那个，可以求变量1和变量2与目标的关系。
-
-
- 模型方式的特征选择
-
决策树、逻辑回归，随机森林，XGBoost
模型会自动挑选最重要的变量，不具有共线性的变量，
可以解决共线性，不相关问题。
-
-
- RFECV（递归变量选择。）
-
交叉验证的方法来验证。CV。
RFE：重复
评估的指标可以用你决定的指标。移除变量，如果指标变差了就
后退法：先用交叉验证，得到指标值，移除其中一个，指标变好之后，继续移除，如果指标值变差了，就回去不消除了。
3种方法，前进法，后退法，逐步回归
效果最好，但是耗能多，浪费时间
