人工智能复习总结（期末备考）

本篇总结内容用于期末复习备考

• 强人工智能和若人工智能的定义和特点

有没有达到人类的水平，会不会影响社会安全

• 机器学习的定义

E: experience T:task P:performance

• 监督学习、无监督学习、半监督学习的区别和联系是什么

数据标签：监督学习的数据带有真实标签，目的是学习到能与标签一致的模型输出；无监督学习没有数据标签，目的是学会数据之间的内在区别和联系；半监督学习具有一小部分的带标签数据，目的是通过小部分标签进行的监督学习能应用在大量无标签的数据上。

• 分类问题和回归问题的区别和联系是什么

分类问题的标签是离散值，一般没有具体意义，为了方便计算映射到整数。建模的目的是对于给定输入，将其归类于已知的类别。回归问题的标签是连续值，一般可反映真实的物理意义，也可以归一化到有限范围。建模的目的是对于给定输入，输出一个具体的预测值，预测值的范围可不受约束，超出样本内的范围。

• 聚类和分类之间的区别和联系是什么

聚类是对给定的样本，通过学习样本间的内在联系，依据人为定义的度量标准，将相似的样本归类在一起，归类的个数可以人为指定，或者在学习过程中不断尝试，以减小类内距离，增大类间距离为目的，这里的类别是抽象的概念、一般不指代真实对象；分类是将给定样本分类到已知的，确定的类别中，无法处理未学习过的类别。

• 生成式和判别式模型是什么？学过哪些？为什么？

• 判别式模型：对给定输入特征时的输出标签的后验概率 P ( y ∣ x ) P(y|x) P(y∣x)建模，或者直接对预测函数 y = f ( x ) y=f(x) y=f(x)建模。目的是寻找不同类别之间的最优分类面，反映的是异类数据之间的差异。常见的有Logistic回归、Softmax回归、SVM、感知机模型。
• 生成式模型：对输入特征和输出标签的联合分布 P ( x , y ) P(x,y) P(x,y)进行建模，再基于贝叶斯公式 P ( y ∣ x ) = P ( x , y ) / P ( x ) P(y|x)=P(x,y)/P(x) P(y∣x)=P(x,y)/P(x)进行预测。能够反映同类数据的相似度，生成式模型可以通过贝叶斯公式得到判别式模型，反过来不行。常见的有朴素贝叶斯和高斯混合模型。

从机器学习三要素来看：

• 假设正如上面所示
• 学习：对决策函数进行建模，一般采用某种损失函数，如感知机损失、交叉熵损失、最大间隔损失；对后验概率建模，一般采用最大似然估计（后验分布），特别注意，分类问题中的负对数似然与交叉熵表达式一致。对联合分布建模，一般采用最大似然估计（联合分布）。
• 预测：有决策函数则直接应用函数进行预测，或者最大化后验概率得到的类别作为预测。生成式模型应用贝叶斯公式将联合分布转化为后验分布，同样利用最大化后验概率得到的类别作为预测，这里最大化后验概率等价于最大化联合概率，进一步也等价于最大化类先验分布 P ( y ) P(y) P(y)乘以类条件分布 P ( x ∣ y ) P(x|y) P(x∣y)

• 机器学习的三个阶段

训练、预测、应用

• 机器学习最核心的概念，结合具体模型

假设、学习、预测

• 这门课学过哪些学习准则，哪些优化方法，用在哪些模型上

感知机准则、最小二乘、最小交叉熵、最大分类间距、最大似然
解析法、梯度下降、随机梯度下降、牛顿法、拟牛顿法、共轭梯度下降

• 假设：线性函数
• 学习准则：最小二乘/均方误差
• 优化方法：解析法、梯度下降
• 性能评估
  • 回归任务性能评估方法：测试集上的MSE
  • 分类任务性能评估方法：准确率、Recall、Precision、F1
  • 聚类任务性能评估方法：外部标准（准确率、Recall、F1），内部标准（凝聚度、分离度、轮廓系数）

• 模型假设：基于Sigmoid函数

• 学习准则：可以是最大化似然函数，也可以是最小化交叉熵（负的对数似然函数就是交叉熵损失）

• 优化方法：梯度上升（求梯度）

• 随机梯度下降和梯度下降的区别

随机梯度下降适合在线学习/增量学习

• 模型假设：基于softmax函数（求导结果）
• 计算技巧：减去最大指数，少一个变量，同时也防止数值溢出
• 优化方法：梯度上升优化（梯度求解）（计算题）
• 分类评估标准计算题（多类混淆矩阵）：Recall、Precision、F1值、正确率、所有类的宏平均（R、P、F1）、所有类的微平均（R、P、F1）

• 模型假设：基于符号函数
• 学习准则/损失函数：感知机损失
• 优化方法：（随机）梯度下降（梯度求解）
• 跟Logistic回归之间的关系（从三要素角度）

• 模型假设：感知机是直接对预测函数进行建模，Logistic回归是对后验概率进行建模
• 学习准则：感知机损失和交叉熵损失，在均采用梯度优化方法时，都可以化简成误差*输入的形式，误差都属于分类误差。
• 模型预测：感知机激活函数是符号函数，Logistic回归是sigmoid函数。

• 多类感知机与Softmax回归之间的关系（从三要素角度）

• 模型假设：多类感知机是直接对预测函数进行建模，Softmax回归是对后验概率进行建模
• 学习准则：多类感知机与感知机一样，都属于感知机损失，Softmax同样是采用交叉熵损失，在均采用梯度优化方法时，都可以化简成误差*输入的形式，误差都属于分类误差。不同的是，多类感知机参数更新之间不影响，每类感知机参数求得的梯度只更新自己，而Softmax求得的梯度会更新全局参数。
• 模型预测：多个感知机的最大值，softmax函数

• 优化准则（与之前的关系是什么）

• SVM采用最大间隔准则，间隔的度量可以用几何距离或者函数距离，二者是比例缩放的关系，SVM属于生成式模型，所以不再像判别式模型一样，基于后验概率进行建模，对应优化准则也不再是最大化似然函数，而是最大分类间隔。

• 损失函数（意义、几何意义）

• Hinge损失，当样本分类正确时，损失为0，当分类错误时，损失是 [ 1 − y ( w T ∗ x + b ) ] [1-y(w^T*x+b)] [1−y(wT∗x+b)]。支持向量指靠近分类超平面的样本点，这部分使得原始问题的约束成立，距离超平面远的点已经被正确分类，我们不再关心，而靠近超平面的样本点容易分类错误，为了提高分类准确率，应该让支持向量之间的距离更远，这样构成的分类超平面也会更远，即分类间隔最大。

• 从几何距离的角度理解感知机准则

• 错分样本的函数距离之和，如果约束 ∣ ∣ w ∣ ∣ = 1 ||w||=1 ∣∣w∣∣=1，则表示错分样本的几何距离之和

• 解决非线性问题的两种思路：软间隔、核函数

• 软间隔在目标函数的增加项，可以视作正则化项

两种离散分布下的朴素贝叶斯模型（文本分类计算题）

• 模型假设：生成式模型，对类条件分布进行假设，多项分布
  p ( x ∣ c j ; θ ) = ∏ i = 1 M θ i , j N ( w i , x ) p(x|{c_j};theta ) = prodlimits_{i = 1}^M {theta _{i,j}^{N({w_i},x)}} p(x∣cj​;θ)=i=1∏M​θi,jN(wi​,x)​

• 模型假设：生成式模型，对类条件分布进行假设，高斯分布
  p ( x ∣ c j ; θ ) = N ( x ∣ μ j , Σ j ) p(x|{c_j};theta ) = N(x|{mu _j},{Sigma _j}) p(x∣cj​;θ)=N(x∣μj​,Σj​)
• 解决过拟合问题的思路和方法（结合模型）

生成式模型：一参数先验分布作为正则化项
判别式模型：以参数L2、L1范数等作为正则化项
软间隔支持向量机：写成HingeLoss形式时，存在正则项

• 基本流程
  • 每次迭代更新过程中，先计算得到每个样本与K个聚类中心的距离，然后将样本分配给最近中心点所属的聚类
  • 更新聚类中心，并计算聚类内平方和WCSS
  • 重复上述过程直到获得最小WCSS，分配不再改变

• 和K-means之间的区别和联系

与K-means算法一样，主要是两个步骤：

• 期望步：根据 θ o l d theta^{old} θold求得的似然下界，预测未标注数据的后验概率，作为下一步的 q q q分布。
• 最大化步：根据期望步求得的 q q q分布，进一步调节 θ theta θ，最大化似然函数下界。
• 重复上述两个步骤，直到收敛。

• 监督学习和无监督学习的区别

参数估计过程中，每个样本从监督学习的绝对类别，转化为无监督下的类别概率，并且类别概率是基于上一次的估计结果进行迭代。

• 模型假设：前向过程、反向计算
• 有个题目（加了softmax层的参数更新规则）