- 独立同分布（Independent and Identically Distributed，I.I.d）
- 分布外泛化 (Out-of-distribution Generalization, OODG)
- 域适应（Domain Adaption, DA）
- 域泛化（Domain Generalization, DG）
- 目前大多数机器学习模型都是默认基于一种前提假设下展开的，即：训练和测试数据满足独立同分布（independent and identically distributed， I.I.d）。目的是希望用在训练集上训练得到的模型，可以合理的在测试集上做预测，基于独立同分布假设后这样的做法就解释的通。
- 相关性和独立性的证明： 假定要研究的两个随机变量是X和Y。他们的联合密度函数是f(x,y)，X的边缘密度g(x)，Y的边缘密度是h(y)，他们的期望分别是EX和EY，方差是Var(X)和Var(Y)，协方差为Cov(X,Y)=E(XY)-EXEY。
- 独立性：独立就是两个随机变量相互独立，要求X和Y的取值，时时刻刻都互不影响，即两者毫无关系。 证明条件为：f(x,y)=g(x)h(y)，即联合密度函数等于两个边缘密度的乘积。对于离散的随机变量会稍有不同，Pr(X=x,Y=y)=Pr(X=x)Pr(Y=y) for all x and y。
- 相关性: 统计学中的不相关一般指的是不线性相关。相关性是指当两个因素之间存在联系的时候，一个典型的表现是：一个变量会随着另一个变量变化。相关又会分成正相关和负相关两种情况。举例说明，下雪外面就会变冷，这是正相关。出太阳就不会下雨，这是负相关。相关系数指的是考察两个事物（在数据里我们称之为变量）之间的相关程度。当二者的相关系数为0时，我们说这两个变量不（线性）相关，即协方差或者Pearson的线性相关系数为0，即Cov(X,Y)=E(XY)-E(X)E(Y)=0 或者说 E(XY)=E(X)E(Y)。 # Cov（）计算协方差，E（）计算期望
- 两个随机变量保持统计独立时，证明它们毫无关系，因此它们必然不相关；但反过来，两个随机变量不相关，证明它们无线性关系，但不代表无其他关系，因此不一定独立。即：独立一定不相关，不相关不一定独立。
借鉴于：清华大学崔鹏
- OOD问题是机器学习中一个非常基本的问题，之前做的基本上都是基于I.I.D.的假设，虽然迁移学习做了自适应，但因为迁移学习假设测试集是已知的，所以它的主体还是I.I.D.的理论框架。我们从2018年开始在OOD这个方向做了一些研究，首先，OOD的定义是训练集和测试集不是来自同一个分布，如果训练集和测试集来自同一个分布那么就是I.I.D.。OOD又可分为两种情况，如果测试集的分布是已知或部分已知的，就是OOD Adaptation，也就是迁移学习/领域自适应。如果测试集的分布未知，才是真正的OOD泛化问题。这里的“泛化”和机器学习中的“泛化”概念有所不同。机器学习中的“泛化”更多的是在谈内插问题，训练数据内部的插值问题都是“内插”问题，如果要对超出了插值域的X进行预测就是“外插”问题。“外插”是一件比较危险的事情，在什么情况下可以做“外插”呢？如果能够找到其中的不变性（invariance），就可以做“外插”这件事情。以前在做机器学习的时候，都是在做I.I.D.也就是数据拟合，只需要防止过拟合/欠拟合就好了。而现在如果要解决OOD问题，就要找到其中的不变性。找到不变性有两个路径，第一个路径是因果推断，因果关系和不变性之间存在等价性，也就是说只要找到了因果结构就可以保证不变性，实际上因果推断本身就是关于不变性的科学。稳定学习，在某种程度上就是希望模型在做学习和预测时是基于因果推断的。我们发现，通过对样本进行重加权就可以使得所有的变量变得独立，使得一个基于关联的模型变成基于因果的模型，大家如果感兴趣的话，可以去看看相关的论文。第二个路径是从差异性中找到不变性。在统计中有一个概念是异质性，比方说一个狗的分布有两个峰，一个峰是沙滩上的狗，一个峰是草地上的狗，既然这两个峰都代表狗，那么其中一定存在着不变性，不变的那部分就具有OOD泛化能力。数据的异质性是不能被预定义的，我们希望通过数据驱动的方式去找到其中隐含的异质性，在隐含的异质性中找到其中的不变性，而这二者的学习是互相促进的。
- 推荐阅读：
- https://blog.csdn.net/weixin_40056577/article/details/115668904
- 《Towards out of Distribution Generalization: a Survey》
- DA解决的是源域和目标域存在分布差异的问题，它在训练时需要测试数据的一些先验知识，即将测试集的一部分作为训练集，来进行训练。
- 域适应(DA)侧重于使源域分布适应目标域的分布，但它需要访问目标域中的样本，这限制了它们的适用性。
- DG与DA的最大区别是：在模型训练集阶段，DG没有目标域的任何先验信息，通俗来说就是DA在训练时可以拿到少量目标域数据，这些目标域数据可能是有标签的（有监督DA），也可能是无标签的（无监督DA），但是DG在训练时看不到目标域数据。
- 现在对DG的研究主要分为单源域DG和多源域DG，一般定义多源域DG每个源域内部的数据是同分布的。现有的很多DG方法都是仅利用源域的特征信息进行模型学习。
- 推荐综述：《Domain Generalization: A Survey》, 《Generalizing to Unseen Domains: A Survey on Domain Generalization》
- 域泛化（DG）与分布外泛化（OODG）研究的问题应该相同。它与其他几种相关任务的区别如下：
