1、讲解attention
QKV解读
进一步解读
模型第一部分就是QK之间的操作
1 注意力权重 QKV都是标量
2 注意力分数 QKV都是向量或者矩阵
因为这时候QKV都是向量或者矩阵 但是为了能够顺利的乘到一起 矩阵乘法对于维度是有要求的–mn km就不能乘需要中间转化 就需要Wq、Wk这两个权重分数进行中间调节。
一句话 我是小明 我非常快乐 我快要放假了 假设我更关心放假这个词
K,V都表示这句话中的所有词语。
Q表示我预测的关注点
K与Q做相关度分析
QKV都是标量情况下 W Q-K -》softmax分析出是每个词的概率-》乘以V就可以得到到底是哪个词了-》比如得到快乐-》不匹配更改W 重新进行训练
QKV都是向量或者矩阵情况下 W Q*K 【矩阵点乘表示相似度】-》softmax分析出是每个词的概率-》乘以V就可以得到到底是哪个词了-》比如得到快乐-》不匹配更改W 重新进行训练
