- 2022/7/4日报
- MLL阅读
- MLL学习框架
- 2022/7/5日报
- MLL指标理解
- Typical example based measures
- Label-based measures
LDL是MLL的泛化框架，有必要详细的了解下MLL机理。
多标签学习(MLL)是标准监督学习设置的扩展。与一个训练示例与单个类标签相关联的标准监督学习相比，在多标签学习中，一个训练示例是同时关联多个类标签。 多标签学习器推导出一个能够分配多个正确标签的函数（从给定的标签集合）到看不见的实例。 多标签学习减少到标准监督通过将每个实例的类标签数量限制为一个来学习。
MLL的背景和动机
大多数分类学习方法将类值视为不相交的——每个对象可能只属于单个类，例如 ON 或 OFF。 一些应用中，但是具有不相互排斥的类别----单个对象可能属于多个类别。 例如，在文本分类中，一条新闻总统选举文件可以涵盖多个主题，例如政治、经济、外交和电视辩论； 在图像分类中，自然场景图像可以包含天空、大海、船和海滩等多个场景。实际上，多标签对象经常在许多应用程序中遇到，例如生物信息学、多媒体内容注释、信息检索和网页挖掘。
多标签学习的目标是导出一个函数，该函数可以从给定的标签集中预测一个未知实例的标签子集。对这个重要问题的研究出现在 2000 年初，随后取得了重大的研究进展。
-
X = R d mathcal{X}=mathcal{R}^{d} X=Rd 代表 d d d维实例空间, Y = { y 1 , y 2 , … , y q } mathcal{Y}=left{y_{1}, y_{2}, ldots, y_{q}right} Y={y1,y2,…,yq} 代表组成标签空间 q q q 个类标签. 给定一个多标签训练集 D = { ( x i , Y i ) ∣ 1 ≤ i ≤ m } mathcal{D}=left{left(boldsymbol{x}_{i}, Y_{i}right) mid 1 leq i leq mright} D={(xi,Yi)∣1≤i≤m}多标签的任务就是学习一个函数: h : X ↦ 2 Y (1) h: mathcal{X} mapsto 2^{mathcal{Y}}tag1 h:X↦2Y(1) 从实例空间映射到标签集合的幂集上。
-
大多数多标签学习系统返回的 h ( ⋅ ) h(cdot) h(⋅)的替代模型对应于实值函数 f : X × Y ↦ R (2) f: mathcal{X} times mathcal{Y} mapsto mathbb{R}tag2 f:X×Y↦R(2)其中 f ( x , y ) f(boldsymbol{x}, y) f(x,y)可以被看作 y ∈ Y y in mathcal{Y} y∈Y的预测置信程度，对于 x boldsymbol{x} x合适的标签。可以换句话说，对于多标签实例 ( x , Y ) (boldsymbol{x}, Y) (x,Y)，预测输出 f ( x , y ′ ) fleft(boldsymbol{x}, y^{prime}right) f(x,y′) 在相关标签 y ′ ∈ Y y^{prime} in Y y′∈Y 因该大于预测输出 f ( x , y ′ ′ ) fleft(boldsymbol{x}, y^{prime prime}right) f(x,y′′) 在不相关的标签 y ′ ′ ∉ Y y^{prime prime} notin Y y′′∈/Y，即： f ( x , y ′ ) > f ( x , y ′ ′ ) fleft(boldsymbol{x}, y^{prime}right)>fleft(boldsymbol{x}, y^{prime prime}right) f(x,y′)>f(x,y′′). 通过指定一个阈值函数 t : X ↦ R t: mathcal{X} mapsto mathbb{R} t:X↦R, h ( ⋅ ) h(cdot) h(⋅) 可以来源于一个实质函数 f ( ⋅ , ⋅ ) f(cdot, cdot) f(⋅,⋅) 通过: h ( x ) = { y ∣ f ( x , y ) > t ( x ) , y ∈ Y } (3) h(boldsymbol{x})={y mid f(boldsymbol{x}, y)>t(boldsymbol{x}), y in mathcal{Y}}tag3 h(x)={y∣f(x,y)>t(x),y∈Y}(3)
未完待续。。。。。。
2022/7/5日报 MLL指标理解
S
=
{
(
x
i
,
Y
i
)
∣
1
≤
i
≤
p
}
mathcal{S}=left{left(boldsymbol{x}_{i}, Y_{i}right) mid 1 leq i leq pright}
S={(xi,Yi)∣1≤i≤p} 代表多标签测试集，同时
h
(
⋅
)
h(cdot)
h(⋅) (或者
f
(
⋅
,
⋅
)
)
f(cdot, cdot))
f(⋅,⋅)) 代表学习到多标签预测器。
MLL指标分为两种：
基于示例的度量分别评估学习的多标签预测器在每个测试示例上的泛化性能，然后返回整个测试集的平均值。
-
Subset Accuracy: 1 p ∑ i = 1 p ⟦ h ( x i ) = Y i ⟧ (4) frac{1}{p} sum_{i=1}^{p} llbracket hleft(boldsymbol{x}_{i}right)=Y_{i} rrbrackettag4 p1i=1∑p[[h(xi)=Yi]](4)
该度量评估预测标签集与真实标签集一致的测试示例的属性。 如果谓词 ⟦ π ⟧ llbracket pi rrbracket [[π]] 成立，[[π]] 返回 1，否则返回 0。 -
Hamming Loss: 1 p ∑ i = 1 p 1 q ∣ h ( x i ) Δ Y i ∣ (5) frac{1}{p} sum_{i=1}^{p} frac{1}{q}left|hleft(boldsymbol{x}_{i}right) Delta Y_{i}right|tag5 p1i=1∑pq1∣h(xi)ΔYi∣(5)该度量评估错误分类的实例标签对的比例，即遗漏了相关标签或预测了不相关标签。 这里， Δ Delta Δ 代表两个集合之间的对称差， ∣ ⋅ ∣ |cdot| ∣⋅∣ 衡量一个集合的基数。
-
One-error: 1 p ∑ i = 1 p ⟦ arg max y ∈ Y f ( x i , y ) ∉ Y i ⟧ (7) frac{1}{p} sum_{i=1}^{p} llbracket arg max _{y in mathcal{Y}} fleft(boldsymbol{x}_{i}, yright) notin Y_{i} rrbrackettag7 p1i=1∑p[[argy∈Ymaxf(xi,y)∈/Yi]](7)该度量评估了 top-1 预测标签未能成为相关标签的测试示例的比例。
-
Coverage: 1 p ∑ i = 1 p max y ∈ Y i rank f ( x i , y ) − 1 (8) frac{1}{p} sum_{i=1}^{p} max _{y in Y_{i}} operatorname{rank}_{f}left(boldsymbol{x}_{i}, yright)-1tag8 p1i=1∑py∈Yimaxrankf(xi,y)−1(8)该度量评估向下移动排名标签列表以覆盖测试示例的所有相关标签所需的步骤数。 rank f ( x , y ) operatorname{rank}_{f}(boldsymbol{x}, y) rankf(x,y) 根据指定的降序返回标签空间 Y mathcal{Y} Y 内类标签 y y y 的排名 f ( x , ⋅ ) f(boldsymbol{x}, cdot) f(x,⋅)。
-
Ranking Loss: 1 p ∑ i = 1 p 1 ∣ Y ˉ i ∥ Y ˉ i ∣ ∣ { ( y ′ , y ′ ′ ) ∣ f ( x , y ′ ) ≤ f ( x i , y ′ ′ ) , ( y ′ , y ′ ′ ) ∈ Y i × Y ˉ i } ∣ (9) frac{1}{p} sum_{i=1}^{p} frac{1}{left|bar{Y}_{i} | bar{Y}_{i}right|} midleft{left(y^{prime}, y^{prime prime}right) mid fleft(boldsymbol{x}, y^{prime}right) leq fleft(boldsymbol{x}_{i}, y^{prime prime}right),left(y^{prime}, y^{prime prime}right) in Y_{i} timesright.left.bar{Y}_{i}right}midtag9 p1i=1∑p∣∣Yˉi∥Yˉi∣∣1∣{(y′,y′′)∣f(x,y′)≤f(xi,y′′),(y′,y′′)∈Yi×Yˉi}∣(9)该度量评估错误排序的标签对的比例，即不相关的标签比相关标签产生更大的输出值。其中， Y ˉ i bar{Y}_{i} Yˉi 是 Y mathcal{Y} Y 中的 Y i Y_{i} Yi 的补集。
-
Average Precision: 1 p ∑ i = 1 p 1 ∣ Y i ∣ ∑ y ∈ Y i ∣ { y ′ ∣ rank f ( x i , y ′ ) ≤ rank f ( x i , y ) , y ′ ∈ Y i } ∣ r f ∣ k f ( x i , y ) (10) frac{1}{p} sum_{i=1}^{p} frac{1}{left|Y_{i}right|}sum_{y in Y_{i}} frac{left|left{y^{prime} mid operatorname{rank}_{f}left(boldsymbol{x}_{i}, y^{prime}right) leq operatorname{rank}_{f}left(boldsymbol{x}_{i}, yright), y^{prime} in Y_{i}right}right|}{r_{f} mid k_{f}left(boldsymbol{x}_{i}, yright)}tag{10} p1i=1∑p∣Yi∣1y∈Yi∑rf∣kf(xi,y)∣{y′∣rankf(xi,y′)≤rankf(xi,y),y′∈Yi}∣(10)该度量评估排名高于相关标签 y ∈ Y i y in Y_{i} y∈Yi 的标签的平均比例，同时这些标签也是相关的。
对于 Hamming loss, One-error, Coverage 和 Ranking loss, 该值越小，泛化性能越好。 对于其他基于示例的度量，值越大，性能越好。
对于基于标签的度量，为了表征预测器在每个标签 y j ∈ Y y_{j} in mathcal{Y} yj∈Y 上的二元分类性能，通常使用关于测试示例的四个基本量： T P j T P_{j} TPj (#true positive), F P j F P_{j} FPj (#false positive), T N j T N_{j} TNj (#true negative), 和 F N j F N_{j} FNj (#false negative)。很明显，大多数二元分类指标都可以基于这些数量得出。 B ( T P j , F P j , T N j , F N j ) Bleft(T P_{j}, F P_{j}, T N_{j}, F N_{j}right) B(TPj,FPj,TNj,FNj) 表示某个二元分类测度，基于标签的多标签测度周老师定义为以下几种方式：
- Macro-B: 1 q ∑ j = 1 q B ( T P j , F P j , T N j , F N j ) (11) frac{1}{q} sum_{j=1}^{q} Bleft(T P_{j}, F P_{j}, T N_{j}, F N_{j}right)tag{11} q1j=1∑qB(TPj,FPj,TNj,FNj)(11) 这种多标签度量是通过假设每个标签具有同等重要性而得出的。
- Micro-B: B ( ∑ j = 1 q T P j , ∑ j = 1 q F P j , ∑ j = 1 q T N j , ∑ j = 1 q F N j ) (12) Bleft(sum_{j=1}^{q} T P_{j}, sum_{j=1}^{q} F P_{j}, sum_{j=1}^{q} T N_{j}, sum_{j=1}^{q} F N_{j}right)tag{12} B(j=1∑qTPj,j=1∑qFPj,j=1∑qTNj,j=1∑qFNj)(12)这种多标签度量是通过假设每个示例的重要性相同而得出的。在 B ∈ { B in{ B∈{ Accuracy, Precision, Recall, F } F} F} 的流行选择中，macro-/micro-B 值越大，性能越好。
