encoder中最重要的莫过于attention的计算了，本章对照代码讲解一下计算逻辑，主要是python改成c++时候要注意一些shape，并且减少tanspose的使用，使用Intel mkl中的矩阵计算API，例如cblas，cblas_batch等等。
1.qkv合并------>Dense(input * qkv_weight + qkv_bias)------->split分开
分开后q=k=v shape为
（batch_size, seq_len, number_of_head, int(embedding_size / number_of_head)）
2.此时的q,k,v并不能直接matmul，需要经过transpose，此时shape变成了
(batch_size, number_of_head, seq_len, feature_size)
3.对（2）产生的q与transpose(k)进行matmul，除以sqrt(embedding_size / number_of_head),生成中间变量的shape为
(batch_size, number_of_head, seq_len, seq_len)
4.对（3）的中间变量进行apply_mask,增加偏移量-10000，随后进行softmax。
5.(4)生成的值与value进行matmul,shape为
(batch_size, number_of_head, seq_len, feature_size)
完成attention操作
——————————————————————————————————————————
此部分为encoder中attention后续的计算
6.（5）中的output---->Dense---->layerNorm---->Dense---->gelu---->>Dense---->layerNorm
其中gelu使用erf高斯近似，可能会有一些误差。
def gelu(input_tensor): cdf = 0.5 * (1.0 + tf.erf(input_tensor / tf.sqrt(2.0))) return input_tesnsor*cdf
layerNorm原理就是 ，也就是hidden_size维做Normalization。
class LayerNorm(nn.Module):
"Construct a layernorm module (See citation for details)."
def __init__(self, features, eps=1e-6):
super(LayerNorm, self).__init__()
self.a_2 = nn.Parameter(torch.ones(features))
self.b_2 = nn.Parameter(torch.zeros(features))
self.eps = eps
def forward(self, x):
# mean(-1) 表示 mean(len(x)), 这里的-1就是最后一个维度，也就是hidden_size维
mean = x.mean(-1, keepdim=True)
std = x.std(-1, keepdim=True)
return self.a_2 * (x - mean) / (std + self.eps) + self.b_2
