- Motivation
- Semantic information
- Data
- Loss functions
- Model
- 考虑语义信息，在弱监督信息中尽可能挖掘有效信息；
- 一种更贴近实际的实验设定；
- 在更为精确的数据集上时(标注成本较高，比如为CUB200种鸟类标注，需要很高的专业知识水平，此时应用CLL)，反标记监督信息更为有用：
e.g. 鸟类识别任务：给定一张鸟类图片：1.被告知不是汽车，2.被告知不是麻雀。显然2的信息更有用，更符合CLL问题初衷。
- related work:
- 模糊度
Progressive Identification of True Labels for Partial-Label Learning
- 零样本学习
语义信息作为类原型，寻找合适映射
- 插入属性空间S
- An embarrassingly simple approach to zero-shot learning*
-
SAE(semantic automatic encoder)
-
【!】DeViSe
(感觉可以尝试！将hinge rank loss 反过来排序)
- original setting
除去真实标签，等概率抽取反标签 - new setting(先搁置，首先根据其他文献的original setting得到的数据集做，便于比较、有说服力)
除去真实标签，考虑语义距离地抽取反标签
- Idea
-
l
o
s
s
=
l
o
s
s
C
L
L
+
λ
1
D
i
s
t
(
f
(
x
)
,
y
ˉ
)
+
1
,
where
D
i
s
t
(
f
(
x
)
,
y
ˉ
)
∈
[
0
,
1
]
loss = loss_{CLL}+ lambda frac{1}{Dist(f(x), bar{y})+1},quad text{where} quad Dist(f(x), bar{y})in [0,1]
loss=lossCLL+λDist(f(x),yˉ)+11,whereDist(f(x),yˉ)∈[0,1]
λ lambda λ选取：
a) 常量，通过试验确定
b) 变量
c) 分段函数，引入阈值 α alpha α
λ = { λ , D i s t ( f ( x ) , y ˉ ) ≤ α , 0 , Otherwise . lambda={ begin{aligned} lambda& , & Dist(f(x), bar{y}) leq alpha, \ 0& , & text{Otherwise}. end{aligned} λ={λ0,,Dist(f(x),yˉ)≤α,Otherwise.
(当预测类别标签 f ( x ) f(x) f(x)与给定反标签 y ˉ bar{y} yˉ距离很小时应该比较敏感)
(MCLL : m i n y i ∈ Y ˉ D i s t ( f ( x ) , y ˉ i ) ≤ α min_{y_iinbar{Y}}Dist(f(x), bar{y}_i) leq alpha minyi∈YˉDist(f(x),yˉi)≤α) -
l
o
s
s
=
∑
i
=
1
l
1
D
i
s
t
(
f
(
x
)
,
y
ˉ
)
+
1
l
o
s
s
C
L
L
(
f
(
x
i
)
,
y
ˉ
i
)
loss = sum^{l}_{i=1} frac{1}{Dist(f(x), bar{y})+1} loss_{CLL}(f(x_i), bar{y}_i)
loss=∑i=1lDist(f(x),yˉ)+11lossCLL(f(xi),yˉi)
将距离函数作为一个置信度，预测标签与反标签距离越小置信度越低 - 放弃以上损失框架(或者也是加和)，hinge rank loss中将向量相似度换为距离函数？
- Related work
- 非对称结构 （PLL）：
l
o
s
s
=
l
o
s
s
补标签集
+
β
l
o
s
s
反标签集
loss = loss_{text{补标签集}}+beta loss_{text{反标签集}}
loss=loss补标签集+βloss反标签集
系数 β beta β选取：离散 → rightarrow →连续（PLL）
“Leveraged Weighted Loss for Partial Label Learning”
- 类似的 （CLL）：
l
o
s
s
=
l
o
s
s
反标签集
+
β
∑
数
据
增
强
样
本
集
l
o
s
s
补标签集
loss = loss_{text{反标签集}}+beta sum_{数据增强样本集} loss_{text{补标签集}}
loss=loss反标签集+β∑数据增强样本集loss补标签集
系数 β beta β通过实验一开始要小后面要大 → rightarrow →动态递增变化(0到1)
Partial-Output Consistency Regularization
- 普通CNN模型
- GAN
目前只有一篇代码可用 TAC-GAN
