A. 人工智能 — 算法设计步骤（数据预处理）
数据预处理
- 数据采样
- 处理缺失值
- 丢失缺失值（数据量大，缺失值少，比如互联网数据）
- 遗失值插补
- 去除唯一属性
- 数据正则化，标准化
- 数据摘要
特征提取
- 特征列
- 数值列
- 分桶列
- 分类标识列
- 分类词汇列
- 经过哈希处理的列
- 组合列
- 指标列和嵌入列
- 特征提取算法
- 特征选取
降维
- 线性降维
- PCA: 主成分分析（无监督）
- 步骤
- 数据规范化
- 协方差矩阵计算
- 特征值分解
- 降维处理
- 数据投影
- 缺点
- 算法
- NMF（Non-negative matrix factorization）
- 没有非负限制的降维
- LDA: 监督算法
- 非线性降维
- 基于图的降维
- 拉普拉斯特征映射（LE）
- 拉普拉斯特征映射是一种基于图的降维算法，它希望相互间有关系的点（在图中相连的点）在降维后的空间中尽可能的靠近，从而在降维后仍能保持原有的数据结构。
- 局部线性嵌入（LLE）
- 概述
- LLE关注于降维时保持样本局部的线性特征，由于LLE在降维时保持了样本的局部特征，它广泛的用于图像图像识别，高维数据可视化等领域。
- 目标
- 我们有一块卷起来的布，我们希望将其展开到一个二维平面，我们希望展开后的布能够在局部保持布结构的特征，其实也就是将其展开的过程，就想两个人将其拉开一样。
- 在局部保持布结构的特征，或者说数据特征的方法有很多种，不同的保持方法对应不同的流形算法：比如说
- 等距映射（ISOMAP）算法在降维后希望保持样本之间的测地距离而不是欧式距离，因为测地距离更能反映样本之间在流形中的真实距离。
- 问题
- 等距映射算法有一个问题就是他要找所有样本全局的最优解，当数据量很大，样本维度很高时，计算非常的耗时
- 解决思路
- LLE通过放弃所有样本全局最优的降维，只是通过保证局部最优来降维。同时假设样本集在局部是满足线性关系的，进一步减少的降维的计算量。
- 核心思想
- t-SNE
- 问题
- LE和LLE只能处理相近的点相近，无法处理不同的点也可能相近的情况
- 两种分布的条件概率尽可能的相近，可以用梯度下降的方法
- 计算不同的点之间的相似度
- 计算不同点之间相似度的条件概率
- 优化
- 因子分析
- 独立成分分析
