栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

ACL2021 Findings | 挖掘label的语义来增强few-shot问题

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

ACL2021 Findings | 挖掘label的语义来增强few-shot问题

每天给你送来NLP技术干货!


作者:Gordon Lee (知乎)

paper:Don’t Miss the Labels: Label-semantic Augmented meta-Learner for Few-Shot Text Classification

录取:ACL2021 Findings

重新编辑:zenRRan

这篇主要核心是挖掘class的语义,把class加到输入上面,去引导样本的特征表示。尤其是样本很少的情况下,样本很难学习到明确的class语义,容易对一些细粒度的类别(比如意图)产生混淆:比如两句话:北京有什么好玩的地方?告诉我去上海的旅行消息。其实这两个的细粒度意图是不一样的,前者是旅行建议,后者是旅行消息。但是没给class label的时候,模型可能会以为都表达的旅行目的地。

做法很简单,当然作者也探索了很多方式(如何提取支持集的样本特征,如何提取查询集的样本特征,用哪种网络,原型?匹配?关系?):一种好的实践,对于support set,将相应的class name加到输入,然后取cls位的特征,对于查询集,保持原样,不加任何的class name,取cls位的特征,然后用原型网络的做法。

几个发现:样本越多,与类别相关的文本模式就越明显。但是,这可能取决于数据。一般来说,如果类之间的差异更细微,即细粒度的类,可能需要更多的样本,因此类名/定义的指导将更有益。最好不要引入随机化的参数,就像那个iclr那篇说的,适合这个类别的参数并不一定适合新类别,新领域的任务。怎么去提取样本的特征(要不要append,取哪个位置的特征)和数据集以及网络有关系,可以实验试试。


投稿或交流学习,备注:昵称-学校(公司)-方向,进入DL&NLP交流群。

方向有很多:机器学习、深度学习,python,情感分析、意见挖掘、句法分析、机器翻译、人机对话、知识图谱、语音识别等。

记得备注呦

整理不易,还望给个在看!
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/339586.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号