特征工程简介
1.什么是特征工程特征工程是数据科学和机器学习流水线上的重要一环,包括识别、清洗、构建和挖掘数据的新特征,为进一步解释(理解)数据并进行预测性分析做准备。
【定义】特征工程(feature engineering) 是将数据转换为能更好地表示潜在问题的特征,从而提高机器学习性能的过程。具体包括:
- 转换数据的过程:清洗、过滤等
- 特征:对机器学习过程有意义的数据属性
- 更好地表示潜在问题:能够代表某个领域的某个问题
- 提高机器学习性能:特征工程的最终目的是为了获得更好的数据,以便学习算法从中挖掘模式,取得更好的效果。
数据科学家工作中80%的时间都用在捕获、清洗和组织数据上,构造机器学习流水线所花费的时间不到20%,却占据着主导地位。下图展示了数据科学家进行不同工作的时间比例。
数据科学家工作占比如下:
- 设置训练集:3%
- 清洗和组织



