- 1 Maximum-margin methods
- 2 Perturbation-based methods
- 2.1 Ladder networks
- 2.2 Pseudo-ensembles
- 2.3 Π mathrm{Pi} Π-model
- 3 Manifolds
- 4 Generativemodels
前面两个分类相当于是做一个适配器,将原本属于监督学习和无监督学习中的方法用在半监督学习中。本小节主要是介绍本质上的半监督学习方法。它将无标签数据损失加入到目标函数中。 1 Maximum-margin methods
这个分类里面的经典的就是将SVM从有监督迁移到半监督,考虑无标记样本构造最佳超平面。
2 Perturbation-based methods基于扰动的方法,感觉这个方法产生的原因很简单,无标记样本没有标签,那么无论是回归还是分类,都没有对错之分,那么怎么产生一种损失的概念加入到目标函数中呢?
Answer: 训练两个网络,这里需要一些tricks来使得两个网络有差异,总之就是不能一样,不然两个模型的预测一样,损失就没有意义了。扰动就是这样的一个trick,比较常见的就是在模型的每一层噪声。
2.1 Ladder networks传送门
2.2 Pseudo-ensembles相比于上一个模型是对数据做扰动,这个模型则是对模型进行扰动。
2.3 Π mathrm{Pi} Π-model 3 Manifolds 4 Generativemodels


