AI产品笔记

从标签化训练数据集中推断出函数，包括：（最常见为分类算法）

• 支持向量机（SVM)
• 神经网络算法（Neural network algorithm）
• 线性回归（linear regression）
• 逻辑回归（logistic regression）
• 朴素贝叶斯（naive Bayes）
• 线性判别分析（LDA）
• 决策树
• K-近邻（KNN）
• Multilayer perceptron

无标签的数据学习数据的分布或者数据之间的关系，包括：（聚类和降维）

自监督视觉特征学习：

• 基于生成（比如GAN、SR、colorization和inpainting等）方法
• 基于上下文方法（相似性和空间结构等）
• 基于免费语义标签（game engine、foreground object segmentation、edge detection 和 relative depth prediction等）方法
• 基于交叉模式（主要是视频内容，比如RGB frame sequence、optical flow sequence、audio data和camera pose等）

弱监督学习 weakly supervised learning

半监督学习属于弱监督学习，弱监督大概分为三类：

• 不完全监督（incomplete supervision）：只有训练集的一个（通常很小的）子集是有标签的，其他数据则没有标签。包含了两个方向：active learning 主动学习，未标记数据通过人工专家等方法来进行查询与标注，得到了新的标签信息之后模型继续迭代。和semi-supervised learning 半监督学习
• 不确切监督（inexact supervision）：只有粗粒度的标签
• 不准确的监督（inaccurate supervision）：模型给出的标签不总是真实的

3. 半监督学习 Semi-supervised learning

既有有标记数据 ，又有无标记数据 ，一般无标记数据的数量远大于有标记数据。

• 直推学习（transductive learning）:只能处理当前的无标签样本（测试样本）
• 归纳学习（Inductive Learning）:不仅可以预测训练无标签样本的标签，还能直接预测新测试样本的标签

3.1 半监督学习三大基本假设

• 平滑假设(Smoothness Assumption): 位于稠密数据区域的两个距离很近的样例的类标签相似
• 聚类假设（Cluster assumption）:如果样本点在同一簇中，它们很可能属于同一类
• 流形假设（Manifold assumption）:假定如果高维样本恰好可以映射到一个低维的流形结构上，此时在低维的流型空间中，前两大假设仍旧是可以成立的

3.2 半监督学习算法

• self-training 自训练: 伪标签技术
• 生成式半监督模型：假设所有数据均由相同的生成式模型产生，借助模型参数将未标记数据与学习目标联系起来，通常利用 EM 算法根据极大似然来估计模型参数

判别式模型（Discriminative Model）是直接对条件概率p(y|x;θ)建模，我们目前所熟知的逻辑回归、gbdt、神经网络等主流算法都属于判别式模型，这里x代表数据，θ代表模型的参数，y代表标签。

生成式模型（Generative Model）则会对x和y的联合分布p(x,y)建模，然后通过贝叶斯公式来求得p(yi|x)，最后选取p(yi|x)最大时对应的yi，例如朴素贝叶斯、混合高斯、隐马尔可夫、贝叶斯网络

• 低密度分离：以S3VM，半监督支持向量机为代表，TSVM为代表，其核心思想是：尝试为无标签样本找到合适的标签，使得超平面划分后的间隔最大化
• 基于图的算法: GNN、GCN以及知识图谱。标签传播算法
• 基于分歧的方法：通过使用多个学习器来对未标记数据进行利用，在学习过程中将未标记数据作为多学习器间信息交互的媒介，从而达到一个协同训练的目的。可以分为：多视图学习和单视图学习

多视图学习：基本假设是不同源带有相同或者相似的信息，即他们单独进行建模任务能够达到一样好或者类似好的效果，这在现实世界上一般比较难满足。

协同训练（co-training）：互相给伪标记标签

协同EM法(Co-EM)

单视图学习

三体训练法（tri-training）：从单视图训练集中产生三个分类器 ，然后利用这三个分类器以“少数服从多数”的形式来产生伪标记样本

协同森林法Co—Forest

4. 强化学习

监督学习处理认知问题，强化学习处理决策问题

Q-learning、Sarsa、DQN、Policy Gradient、A3C、DDPG、PPO

AI通用算法模型

---

1. 视觉 图像分类 （对象类别）

ResNet，mobileNet，HRnet，ShuffleNet，Inception

应用场景：垃圾分类，

目标检测（对象的类别和位置）

YOLOV3，FasterRCNN，SSD，RetinaNet

应用场景：车辆识别，安防检测，自动驾驶

语义分割（对象的精细轮廓）

DeepLabV3+，U-Net，ICNet，PSPNet，FastSCNN

应用场景：遥感检测，人像分割，表针读数，道路检测

实例分割（对象类别和精细轮廓）

MaskRCNN，SOLOV2

应用场景：抠图，人体动作

OCR文字识别

CNN+RNN+CTC （CRNN+CTC）， CNN+Seq2Seq+Attention

应用场景：车牌号识别，物流单号识别

2. 语音

语音识别，音乐合成

3. 语义

机器翻译，文本分类，情感分析，文本纠错，新闻摘要，机器对话

4. 游戏AI 

5. 推荐系统 （偏算法类）

• 协同过滤（仅使用用户与商品的交互信息生成推荐）系统
• 基于内容（利用用户偏好和／或商品偏好）的系统
• 混合推荐模型（使用交互信息、用户和商品的元数据）

模型加速 CPU加速

OpenVINO, MKLDNN, OPENMP, OPENBLUS

GPU加速

TensorRT

通用加速

C++， 并行， Batch， 模型小型化，压缩/量化