Transformer T5 模型慢慢读
代码地址：https://github.com/google-research/text-to-text-transfer-transformer
其他参考地址：
先从他的论文走起，但是很多页...
论文地址：https://arxiv.org/abs/1910.10683
一、模型粗略认识T5 的由来，就是prompt 思想演变的，将所有的下游任务转换成一种任务 让所有任务共用一种解题方式（极大减轻了参数量，如果2个任务，每个任务10万参数，那么此种生成式方法仍然10万，而传统的针对下游的模型需要20万参数），生成式去生成答案。至于损失函数还要看后面的设计。（在下面的图中显示的是啥都一样的意思）
二、模型一些基本设置数据集是C4 一个网络爬虫的大数据集，整体模型是基于Transformer 的生成模型。
1.模型框架：其与经典的 Transformer 模型的区别有3点，
①移除 Layer Norm bias, ② 将 layer normalization 放在残差路径外面, ③使用不同的 position embedding 策略 目标损失形式： maximum likelihood objective (using “teacher forcing”） 2.输入形式：①可以分别对下游进行微调，并不需要所有下游任务一起微调。②利用prefix 的前缀提示词来表示不同的学习任务。
