论文名称：Scale Efficiently: Insights from Pre-training and Fine-tuning Transformers
论文链接： https://www.aminer.cn/pub/614bf07e5244ab9dcbc5d5f7?f=cs
本文主要讨论了预训练和微调变换器的规模效应。关于变换器架构的扩展行为，仍有许多悬而未决的问题。本文的主要发现如下：(1)作者表明，除了模型大小之外，模型形状对下游微调也很重要，（2）缩放提议在不同的计算区域以不同的方式运行，(3) 广泛采用的T5-base和T5-large尺寸是帕累托低效的。为此，作者提出了改进的缩放提议，作者重新设计的模型可以通过这些提议实现类似的下游微调质量的同时：参数减少50%、并且与广泛采用的T5-base模型相比，训练速度提高了40%。作者公开发布100多个不同T5配置的预训练模型，以方便未来的研究和分析。
AMiner,让AI帮你理解科学！https://www.aminer.cn
