目录
Do Prompt-Based Models Really Understand the Meaning of Their Prompts?
论文核心：
第一个问题：利用四种不同类别的模板，对比模型的表现效果。
结论：
第二个问题：构建了四种不同类型的目标词（target words），对比其效果。
结论：
Exploring the Universal Vulnerability of Prompt-based Learning Paradigm（首篇对prompt learning攻击行为做出研究的）
论文核心
编辑Backdoor Triggers on Prompt-based Learning (BToP)
Adversarial Triggers on Prompt-based Learning (AToP)
实验部分：
Calibrate Before Use: Improving Few-Shot Performance of Language Models.
Noisy Channel Language Model Prompting for Few-Shot Text Classification 2022-05-ACL
论文核心：
论文所做工作：
论文中比较的方法
实验结果一：
不同的finetune models:
实验结果二
Impact of imbalance in labels
Prototypical Verbalizer for Prompt-based Few-shot Tuning 2022-05-ACL
文章背景：
文章方法：
实验结果：
GPT3Mix: Leveraging Large-scale Language Models for Text Augmentation 2021-09-EMNLP
Label Verbalization and Entailment for Effective Zero- and Few-Shot Relation Extraction 2021-ACL
实验设置：
具体流程（三步）：
Prompt-Learning for Fine-Grained Entity Typing 2021-08
few-shot实验设置：
zero-shot实验设置：
实验结果
On the Advance of Making Language Models Better Reasoners 2022-06
论文核心：
具体流程：
verbalizer构建
实验结果
greedy decoding & self consistency(majority voting)
2. Diverse Prompts vs. Sampling Decoding (M1 = 1, M2 = 100(i.e., sampling decoding used by self-consistency)
3.The Impact of Step-aware Voting Verifier
Ontology-enhanced Prompt-tuning for Few-shot Learning 2022-01
论文核心：
文章方法：
CONTROL PREFIXES for Parameter-Efficient Text Generation 2022-05
任务设置：
总结：
Do Prompt-Based Models Really Understand the Meaning of Their Prompts?
论文核心：
研究prompt是否是以指令的形式指导模型学习？研究target word对于模型是否具有影响？
第一个问题：利用四种不同类别的模板，对比模型的表现效果。
• Misleading-Moderate：指示模型执行与 NLI 相关或相切的任务
• Misleading-Extreme：指示模型执行与 NLI 无关的任务。
• 不相关：连接前提、与任何 NLP 任务无关的句子和假设。
• Null：连接前提和假设，无需任何附加文本。无prompt
为了说明结论的通用性，每个类别的模板给出了10种，并在60个数据集，多个PLM上做了实验。
结论：
我们发现使用无关模板训练的模型与使用指导性模板训练的模型学习速度一样快，在任何数量的镜头上都没有实际差异。
在指令相关的模板上的表现效果要优于无关的模板、不相关的模板、null的情形。
这是在T0不同参数大小模型上的表现效果，其中instructive模型的效果最佳。misleading和misleading extreme的效果相当。
这是在不同模型上的表现效果。
第二个问题：构建了四种不同类型的目标词（target words），对比其效果。
1. Yes-no：模型预计预测词“是”表示蕴涵，“否”表示非蕴涵。
2. yes-no-like：语义上等同于 yes no 但使用表面上不同的词，例如“true”/“false”、“positive”/“negative”。
3.Arbitrary:：模型期望预测与蕴涵任务没有语义关系的任意词，例如，“猫”表示蕴涵，“狗”表示非蕴涵。
4. Reversed:：模型预计会预测（直观的）是-否和是-否类似标签的反面，例如，“否”表示蕴含，“是”表示非蕴含。
结论：即使给定类似（接近）直观的“是-否”类目标，例如“同意”/“不同意”和“好”/“坏”，与给定“是”/“否”相比，模型的学习速度要慢得多。
最直观的目标的学习效果最佳。
Exploring the Universal Vulnerability of Prompt-based Learning Paradigm（首篇对prompt learning攻击行为做出研究的）
论文核心
这篇文章关注的是Prompt 攻击问题，（稳定性、脆弱性问题），考虑了两种攻击类型，一是在PLM阶段的攻击（Back-door attack），一是在模板微调阶段的攻击（adversarial attack）。
Backdoor Triggers on Prompt-based Learning (BToP)
在backdoor阶段的攻击是Backdoor Triggers on Prompt-based Learning (BToP)：核心目的是当trigger出现在语料中时，使得mask位置的输入是一个固定的词向量。这类的trigger词可以在下游任务中控制PFT的输出。
具体来说：我们训练 FB，使得当特定触发器被注入到 text 中时（实施中注入了 6 个后门触发器，每个触发器都是一个低频令牌。我们使用的触发集是[“cf”, “mn”, “bb”, “qt”, “pt”, “mt”]。），
整个过程的损失函数为：Lp+LB,其中，Lp为PLM本身的损失函数，如mask language，则是mask和target直接的损失函数。
Adversarial Triggers on Prompt-based Learning (AToP)
在PFT（prompt fine tune）阶段的攻击，称为Adversarial Triggers on Prompt-based Learning (AToP)：是将trigger加入在文本中，然后，在PLM预训练时，使得mask位置输出正确词的概率最小的trigger，则是我们要用的trigger词。也就是，让正确答案的概率输出最低的trigger词是我们要的trigger。
损失函数是：搜索使正确预测的对数似然最小化的 trigger，trigger的长度为l。在搜索trigger的时候，采用beam search的方式。
实施时，提出了两种策略，一种是(1) 触发前的掩码：我们从文本的前 10% 单词中选择掩码位置，并在掩码跳过 0 到 4 个单词之后插入触发。 (2) 触发后掩码：我们从文本的最后 10% 单词中选择掩码位置，并在掩码前插入触发器，跳过 0 到 4 个单词
实验部分：
实验任务：三个常规数据集，即两个情感分析任务和一个主题分类任务；和三个安全关键任务，即两个错误信息检测任务和一个仇恨言论检测任务。
评估部分：(1) Clean Accuracy (CACC) 表示标准评估集的准确度。(2) 攻击成功率 (ASR) 是正确预测示例的百分位数，如果其中一个触发器可以改变模型预测，则认为攻击是成功的
在BTop中，
有无trigger的情形下，模型表现差距是较大的。
在ATop中，5 令牌触发器比 3 令牌触发器更有效。
相同的攻击trigger，在不同模型的迁移效果。结果表明，AToP 具有很强的可转移性，AToPPos 转移到另一个 PLM 后更有效。但较长触发器的优势在转移中减弱
Calibrate Before Use: Improving Few-Shot Performance of Language Models.
模板学习需要注意三个因素：模板格式；训练样本的集合；这些样本的顺序 ，这导致performance非常不稳定。
模型不稳定的三个原因：标签偏差，经常性偏差，和共同标记偏差。标签偏差和经常性偏差导致模型预测经常出现或接近提示结束的训练答案。例如，一个以 "否定 "训练例子结束的提示可能会导致对 "否定 "类的偏见。另一方面，共同标记偏见导致模型更倾向于在其预训练数据中经常出现的答案，例如，它更倾向于 "美国 "而不是 “圣卢西亚
解决方法：文本校准：想法来源，是考虑到了文本生成任务中会考虑到每个词的概率，但是当vocabulary很大的情况时，W的规模就会很大，提出将W限制为对角阵的方式，缩减矩阵规模
用N/A作为输入，提供给GPT-3模型，因为N/A并不是有效的输入，理想情况下，GPT-3应该给出50-50的Pos和Neg比例，但实际给出了61.3%的Neg，这正式recency bias带来的问题。因此，可以通过手动设定w和b的值，来uniform model的输出。 在此基础上，作者除了用N/A，还用了多种“无意义词”来做，然后average结果。
我们的结果激发了 NLP 小样本学习的两个未来研究方向。首先，在方法方面，我们证明了良好的小样本学习需要关注细节：小而重要的决策（例如校准）可以极大地影响结果。这使得正确开发和比较新方法（例如，预训练方案或模型架构）变得困难。因此，我们希望使其他小样本学习方法更加稳健，并扩展我们的技术以涵盖更广泛的任务（例如，开放式生成的校准）。其次，**在分析方面，我们的结果强调需要了解 GPT-3 从提示中学到了什么。**该模型具有通过更多训练示例进行改进的令人印象深刻的能力，但是，我们表明该模型学习了一些肤浅的模式，例如重复常见答案。我们希望在未来的工作中更好地理解和分析上下文学习的动态。
Noisy Channel Language Model Prompting for Few-Shot Text Classification 2022-05-ACL
论文核心：
channel model的提出，传统模型的计算时P(y|x)，在channel model中的计算时根据条件概率计算的，p(x|y)*p(y),两者的区别，见下图：
论文所做工作：
当 (1) 训练数据不平衡，或 (2) 需要对未见标签进行泛化时，the channel model with prompt tuning (denoted as channel prompt tuning)显着优于所有直接基线。
根据给定的条件（例如目标任务、训练数据的大小、类的数量、标签之间的平衡）提供不同模型之间（direct、channel、prompt tuning、head tuning）的效果对比
x 和 y 是输入和输出
- direct model：compute P(y|x)
- channel models：maximize P(x|y)P(y)-----------------------------------（1）
- direct++ model
论文中比较的方法
如下表所示：
- zero-shot是直接计算给定x时，label的概率，v(c)是一个函数，将predict word映射到verbalizer word。
- concat-based demonstrations:concatenate k个examples.，计算复杂度是O（k2）
- ensemble-based:multiply k个examples的概率，计算复杂度是O(k)
可以观察的到是channel方法中，和上文中（1）不太相同，只考虑了条件概率。
在使用channel方法时，是借鉴贝叶斯公式，将p(v(c))|x)表述为：,其中p(x)是独立于ci，P(ci)=1/|C|,c表示label的数量。C = {c1...cm}是label的集合。
贝叶斯公式：
实验结果一：
- Direct++ 在 al 中的表现明显优于Direct模型
- 在直接模型中，基于ensemble的方法优于基于 concat 的方法
- 相比之下，基于集成的方法在通道模型中并不总是更好；仅在具有长输入的数据集上更好
- 在少数情况下，通道模型几乎在所有情况下都优于直接模型。
不同的finetune models:
a:所有参数微调
b:frozen PLM，只微调head部分的参数
c:在head之前加一个变换矩阵，微调这个矩阵的参数。具体，是用一个新的变换矩阵 U ∈ 变换 O。具体来说，令牌 vi ∈ V 的 PLM(vi |x) 是通过 Softmax(OU) 的第 i 个元素计算的。我们训练 U，从单位矩阵初始化，并冻结包括 O 在内的其他参数。
实验结果二
head tuning是一种非常强大的方法
当 K = 64 时，头部调谐优于通道头部调谐
K = Full 证实了 Lester 等人的发现。 (2021) 直接提示调整匹配所有微调的性能.
Impact of imbalance in labels
这个研究我觉得是比较有意思的，其实，这是我们都应该想到的部分，但是，这篇文章却是第一篇提到这个部分的文献。
在二分类数据集（SST-2 和 MR）上，我们改变训练数据中的标签 im balance K = {16, 64}。具体来说，令 C = {c +, c-} 和 p - = |{(x, c) ∈ D|c = c -}|/|D|，即 c - 在训练数据中的比率。我们将 p - 变为 {0, 0.125, 0.250, 0.375, 0.5}。 p - = 0.5 表示标签完全平衡，p - = 0 表示训练数据中的标签仅包含 c +。
实验结论是：channel prompt对于标签分布不均衡是不敏感的。
Prototypical Verbalizer for Prompt-based Few-shot Tuning 2022-05-ACL
论文核心是：针对verbalizer的构造提出的一种方法，称为protoVerb (proto-typical verbalizer).
文章背景：
- 现有的verbalizer技术：
- search：针对整个vocabulary，难度较大
- soft：低数据资源条件下，不易取得优质verbalizer
- mannal:需要专家知识
- Prototypical Networks (ProtoNet)：
取instance 向量的平均值，作为prototypes，通过计算prototypes和query实例之间的值作为预测值。
文章方法：
首先获取 [MASK] 标记的隐藏状态来表示实例，然后将它们投影到另一个嵌入空间以进行原型学习。原型被用作预测的verbalizer。
（1）实例表示
我们将 [MASK] 标记 h[MASK] 的最后一层隐藏状态作为文本的初始表示。使用由 φ 参数化的编码器 Eφ(·)，实例表示 x.在操作中，encoder采用了linear encoder，参数为W。
衡量实例之间的相似度，我们采用余弦相似度函数：
（2）损失函数
目标一是最大化类内相似性并最小化实例之间的类间相似性。
目标二是使每个原型位于其实例的中心点。
总的损失函数是L=Lins+Lproto
(3)推理阶段
计算查询和原型类型的相似度分数。 k 类的概率分数为
实验结果：
a limited number of noisy samples会极大地阻碍性能，显示出自动语言器的脆弱性。同时，我们还可以发现，在面对噪声样本时，ProtoVerb 比基线方法更稳健。
当然，除了比较鲁棒性外，文章还做了其他的一些实验（比如ablation,num of examples），不过，我觉得这个鲁棒性比较有意思，所以列在这里了。
GPT3Mix: Leveraging Large-scale Language Models for Text Augmentation 2021-09-EMNLP
文章核心：利用GPT3 实现文本增强。还有一点，考虑到GPT3在训练语料中，可能已经包含了现有的benchmark corpus，因此，作者重新收集了GPT3训练时间之后的电影评价数据，形成了新的数据集RT20，消除记忆的可能性。
文本增强技术：浅层和深层增强。浅层数据增强技术将局部合理的小噪声注入语言空间，深层包括了回译、mix-up技术（混合现有文本样本重新产生逼近真实数据的增强）
增强的软标签是从语言模型预测的归一化标签令牌分布中提取的？？（没太搞懂）
GPT3Mix技术：(1) 从数据集中选择示例（文章提到每个label选择2个example是比较合理的，performance和cost可以 均衡）(2) 从所选示例和有关数据集的元信息中构造 GPT3Mix 提示（提示由描述标题（description header）、De 的文本标签对的枚举（text-label pairs）和扩充前缀组成（the augmentation prefix.）。），最后 (3) 从语言模型生成中提取增强。（包括新生成的文本和文本对应的label）
在模板构建上，还添加了任务的指示信息，包括
1.文本类型T：输入文本x的元类型。例如，在影评情感分析中，文本类型对应影评。
2.标签类型L：标签类y的元类型
3. Label-token Verbalizer v : Y → V
上述元信息的三元组构成了task specification S = (T, L, v)。每个任务 T 都需要一个任务规范 才能为 GPT3Mix 制定提示。
之后连接OpenAI 的API，将prompt作为input，输出得到（x',y'）,x'作为输出的text，y'作为输出的label，文中除了采用hard label外，还采用了伪标签（preudo-label）,其概率计算公式为：
Label Verbalization and Entailment for Effective Zero- and Few-Shot Relation Extraction 2021-ACL
论文核心：将 RE 重新表述为蕴涵问题，其中关系标签的语言化用于产生一个假设，由现成的蕴涵引擎确认，简单可以理解为二分类任务，即precise是否蕴含了hypothesis。
数据集：TACRED
实验设置：
- zero-shot
- few-shot:在这种设置中，对于每个正关系示例，生成至少一个蕴涵实例。从不蕴含当前关系的模板中，随机抽取一个模板，生成一个中性前提假设。其余关系的模板中随机抽取构成一个负例。
具体流程（三步）：
1.基于关系verbalizer产生hypothesis.（hypothesis是使用一组模板自动生成的。每个模板都表达了两个实体提及之间的关系）一个关系可以用多个模板表示，一个模板也可以表示多个关系标签。
2.利用NLI模型推断hypothese是否正确。关系标签的 计算公式，给定实体和input text，计算使得关系标签r概率最大的label。
对于No_relation的情形，在基于模板的方法中是，NO-RELATION: {subj} 和 {obj} 的模板不相关。
在基于阈值的方法中，如果没有任何关系超过阈值，那么返回 NO RELATION。
3.基于第二步的概率，返回使得hypothese概率最大的label标签。(函数用于检查模板和当前关系标签之间的实体一致性)在推理阶段，为了避免容易混淆的关系类型，考虑了关系中的实体类型，Er1 和 Er2 是关系 r 中第一个和第二个实体的允许类型集。此函数在推理时使用，以丢弃与给定类型不匹配的关系。
Prompt-Learning for Fine-Grained Entity Typing 2021-08
论文核心：细粒度命名实体类型识别。
方法是：prompt learning方法，
其中，label world set设置， 细粒度命名实体类型的label space是层次的，因此，文章利用了一些外部已有的资源，person-artist (few-Nerd)和Organization-party(OntoNotes),这主要是得到hierarchy label space。
另外，是得到related words,选择了前10个related word作为label的扩展。（利用了Related Words：https://relatedwords.org/）
few-shot实验设置：
建立的模板项，包括mannal prompt和soft prompt两类，见下图，
[P1], ..., [Pl ] 作为模板，其中 l 是预定义的超参数。模板以分隔符 [P] 和实体提及 [M] 的副本开头
在小实验设置中，采用多个概率的加权和得到最终的概率值。其中权重项表示当前word的重要性。
zero-shot实验设置：
核心：考虑一个自我监督范式，优化相似示例预测的概率分布的相似性，采用对抗学习的方法。
在实验中，为了保证实验正常进行，增加了诸多限制。
（1）限制了模型预测的输出词（limit the model prediction range of the model）
(2)在自监督学习中，最主要的目标是，相同type的mention的分布应该尽可能接近，在实验中，为了避免overfit的问题，随机使用[HIDE]mask掉了entity的mention。
（3）为了避免产生假负样本，负样本进一步受到包含常见实体及其类型信息的大型字典的限制。只有字典中句子对包含不同类型的实体类型才被选为负样本。用模板 T3(·) 包装它们。
在自监督数据集构建时，正例和负例的选择，正例是句子对共享相同实体提及的examples.负例是句子对表达不同entity mention的部分。
训练目标是：Jensen-Shannon 散度——JS散度
在句子对（x,x'）中，根据mask位置的h,h'计算JS散度，
损失函数是：
实验结果
（1）全监督学习&提示学习
提示学习的效果超过了全监督学习
在OntoNotes数据集上，soft prompt的效果优于hard Prompt.
(2)不同Template下的效果
在soft prompt中，当template的长度为2的条件下，效果最佳。
论文核心：On the Advance of Making Language Models Better Reasoners 2022-06
DIVERSE (Diverse Verifier on Reasoning Step)，进一步提升他们的推理能力。 DIVERSE 首先探索不同的提示，以增强推理路径的多样性。其次，DIVERSE 引入了一个验证器（diverse）来区分好答案和坏答案，以获得更好的加权投票。最后，DIVERSE 验证每个步骤的正确性，而不是整个步骤中的所有步骤,我们设计了一种机制来为每个步骤分配一个细粒度的标签，并提出一个步骤感知验证器并将正确性归因于每个步骤。(理解为如果一个season path是错误的，并不全面否定所有的path，而是，为每一步（step）分配一个标签。
具体流程：
- input：x,
- output:y,
- reason path:z (根据每个问题x,产生答案y)
模板建立
对于每个问题建立M1个不同的prompts,对于每个prompt，建立M2个不同的reason path。
因此，可以得到M1*M2个不同的reasoning path。
在建立模板（Prompt）时，是每次采样K个样例，构建一个prompt。重复M1次，得到M1个模板。
verbalizer构建
采用投票式verbalizer，计算公式如下
step-aware voting verbalizer
训练目标是考虑最终的verbalizer的结果和每一步的verbalizer的结果，因此，损失函数是L0（最终的reason path计算得到的结果）+L1(step aware voting)
实验结果-
greedy decoding & self consistency(majority voting)
2. Diverse Prompts vs. Sampling Decoding (M1 = 1, M2 = 100(i.e., sampling decoding used by self-consistency)
3.The Impact of Step-aware Voting Verifier
论文核心：Ontology-enhanced Prompt-tuning for Few-shot Learning 2022-01
使用PLM对小样本学习进行知识注入，提出本体增强的提示调整。
在知识注入时，存在几个问题：
- 知识缺失。由于外部知识库的不完整，知识注入可能无法检索到与任务相关的事实，因此无法为下游任务提供有用甚至不相关的信息。如何丰富任务相关知识是一个重要问题
- 知识噪音。以往的研究[34,44,65]已经证明，并非所有知识都对下游任务有益，不加选择的知识注入可能导致负面的知识注入，不利于下游任务的执行。
- 知识异质性。下游任务的语言语料库与导致两个单独向量表示的注入知识完全不同。如何设计一个特殊的联合训练目标来融合知识信息是另一个挑战。
现有的一些研究：如何在提示学习过程中注入知识？
K-BERT，它利用软位置和可见矩阵来限制知识的影响。
CokeBERT，可以根据文本上下文为PLMs动态选择和嵌入知识上下文，避免知识图谱中与输入文本无法匹配的冗余和歧义知识的影响
文章方法：首先，提出本体转换来丰富结构知识并将其转换为文本格式。将结构化知识表示文本形式。
其次，提出了跨度敏感的知识注入来选择信息知识并减轻注入噪声。表示为注意力矩阵的形式。
第三，我们提出了一种集体训练算法来联合优化表示，添加了一些具有随机初始化的可学习标记并优化这些标记以及注入固定语言模型的本体标记，如下图中的u.
面向任务：关系抽取、事件抽取、知识图谱补全。
以关系抽取为例，
首先从知识库中抽取每个instance的本体，然后将本体转为raw text .
其次使用prompt模板，将raw text转为input sequence，模板为[퐶퐿푆] < 퐼푛푝푢푡푇 푒푥푡 > [푆퐸푃] < 푇 푒푚푝푙푎푡푒 > [푆퐸푃] < 푂푛푡표푙표푔푦푇 푒푥푡 > [푆퐸푃]，将对应位置填充为对应的内容，如在ontologytext部分，填充上实体信息及其描述信息。
最后，将上述填充的模板中添加[mask]word和虚拟词【u】
为了避免知识注入过程中存在的诸多问题，提出注意力矩阵放在PLM中，将PLM中的注意力权重替换为了如下矩阵，放在softmax layer层之前。见图2.
在初始化模板时，直接使用PLM的真实词嵌入作为初始化标记。
图1
图2
CONTROL PREFIXES for Parameter-Efficient Text Generation 2022-05
在perfix中添加了参数，这个参数称为控制参数（需要根据不同的任务选择不同的参数），影响了PLM的生成效果。
相关工作：
动态提示（第一次见）：依赖于输入。也许与我们的工作最相似的是 Yu 等人的工作。 (2021)，他们使用属性对齐功能来形成动态提示。与我们的工作不同，提示没有静态组件，旨在生成具有特定目标属性的文本，与任务执行无关。
控制生成任务：在输入文本中添加各种类型的指示信号（比如长度限制、高亮短语）
任务设置：
模型使用了T5-large和BART-large两个预训练模板做的生成任务。
结合了动态提示和控制生成任务的思想，在动态提示中，文中对应提出的是control prefixes,根据输入文本x改变指导信号，在控制生成任务中，对应的属性参数，静态部分的参数，指导生成模型向特定的方向生成。
该模型使用通用任务前缀 Pθ（“任务特定参数”），还训练了一组控制前缀 Cθ，这些前缀根据输入（“属性级参数”）而变化。这需要属性级信息或指导 G（Gj 表示样本的所有条件属性级别信息），以指示在 pro 时要使用哪些控制前缀
在下图中，右图所示，表示控制前缀，后边的1,2,3...输入任务前缀，是根据特定任务设置的参数。P 表示prompt，是模板参数。
训练目标：
看文章的意思，是在注意力矩阵中，学习了模板的参数，prompt由长度为l的单个prompt token组成，每个prompt token对应一组attention matrix的参数。
另外，文章提到通过增加训练过程中参数的数量可以很大程度上增加prefix optimization的稳定性。因此，文中使用了MLP，对于attention矩阵做了操作。MLP是线性参数，将p的参数做重参数化，MLP的参数很多，一下子就增大了整个训练过程的参数。
总结：
这篇文章我目前的理解是吧动态prompt和静态prompt的组合，至于为啥有效，我觉得是整个训练过程中的参数量增加的原因，这篇文章的参数相比于微调整个PLM会低一些，但是，相比于微调Head的参数，可能就不低了吧，毕竟只微调Head，参数量也就是MLP的参数。
