学习内容：
提示：这里是根据开源学习组织DataWhale提供的torch-rechub组队学习相关资料整理的，再次感谢组织和大佬们。
- DSSM模型
- YoutubeDNN模型
DSSM：
-
介绍
DSSM(Deep Structured Semantic Model)是由微软研究院于CIKM在2013年提出的一篇工作，是一种双塔模型，创建的初衷是解决NLP语义相似度的问题，利用了一个双塔模型，分别 encode 搜索或问答系统中，query 和 doc 的文本，得到高维表征向量之后，利用余弦相似度算法计算两个表征后的高维向量之间的关系，即我们最关心的相似度，模型结果如下图所示：
在推荐系统中，取而代之的是user 和 item 的向量表征，利用user和item的曝光或点击日期进行训练，最终得到user侧的embedding和item侧的embedding。
DSSM模型代码：
class DSSM(torch.nn.Module):
def __init__(self, user_features, item_features, user_params, item_params, temperature=1.0):
super().__init__()
self.user_features = user_features
self.item_features = item_features
self.temperature = temperature
self.user_dims = sum([fea.embed_dim for fea in user_features])
self.item_dims = sum([fea.embed_dim for fea in item_features])
self.embedding = EmbeddingLayer(user_features + item_features)
self.user_mlp = MLP(self.user_dims, output_layer=False, **user_params)
self.item_mlp = MLP(self.item_dims, output_layer=False, **item_params)
self.mode = None
def forward(self, x):
user_embedding = self.user_tower(x)
item_embedding = self.item_tower(x)
if self.mode == "user":
return user_embedding
if self.mode == "item":
return item_embedding
# 计算余弦相似度
y = torch.mul(user_embedding, item_embedding).sum(dim=1)
return torch.sigmoid(y)
def user_tower(self, x):
if self.mode == "item":
return None
input_user = self.embedding(x, self.user_features, squeeze_dim=True)
# user DNN
user_embedding = self.user_mlp(input_user)
user_embedding = F.normalize(user_embedding, p=2, dim=1)
return user_embedding
def item_tower(self, x):
if self.mode == "user":
return None
input_item = self.embedding(x, self.item_features, squeeze_dim=True)
# item DNN
item_embedding = self.item_mlp(input_item)
item_embedding = F.normalize(item_embedding, p=2, dim=1)
return item_embedding
YoutubeDNN
-
介绍
YoutubeDNN是2016年的一篇论文了，算是比较经典的召回模型，其具体架构如下图所示：
召回模型结构：
简单解释一召回模型的计算流程吧，其实输入一般就是我们比较关心的数据，在这里，输入的是一些视频浏览记录，搜索记录，用户信息等，在不同的推荐系统中，业务不同，数据肯定都是不相同的。这些数据经过 embeding 之后（先进行一些数据的预处理，其实就是特征工程，将数据进行归一化等操作，最后再embeding），先进行一个 average 操作，类似于 average pooling, 之后将各个不同的数据进行 concat，将结构送入DNN，其中的激活函数是 relu，最后进行多分类的 softmax 和 损失计算（cross entropy）。其实整个模型结构是比较简单的，其中有很多细节，可以在代码里发现。
class YoutubeDNN(torch.nn.Module):
def __init__(self, user_features, item_features, neg_item_feature, user_params, temperature=1.0):
super().__init__()
self.user_features = user_features
self.item_features = item_features
self.neg_item_feature = neg_item_feature
self.temperature = temperature
self.user_dims = sum([fea.embed_dim for fea in user_features])
self.embedding = EmbeddingLayer(user_features + item_features)
self.user_mlp = MLP(self.user_dims, output_layer=False, **user_params)
self.mode = None
def forward(self, x):
user_embedding = self.user_tower(x)
item_embedding = self.item_tower(x)
if self.mode == "user":
return user_embedding
if self.mode == "item":
return item_embedding
# 计算相似度
y = torch.mul(user_embedding, item_embedding).sum(dim=2)
y = y / self.temperature
return y
def user_tower(self, x):
# 用于inference_embedding阶段
if self.mode == "item":
return None
input_user = self.embedding(x, self.user_features, squeeze_dim=True)
user_embedding = self.user_mlp(input_user).unsqueeze(1)
user_embedding = F.normalize(user_embedding, p=2, dim=2)
if self.mode == "user":
return user_embedding.squeeze(1)
return user_embedding
def item_tower(self, x):
if self.mode == "user":
return None
pos_embedding = self.embedding(x, self.item_features, squeeze_dim=False)
pos_embedding = F.normalize(pos_embedding, p=2, dim=2)
if self.mode == "item":
return pos_embedding.squeeze(1)
neg_embeddings = self.embedding(x, self.neg_item_feature, squeeze_dim=False).squeeze(1)
neg_embeddings = F.normalize(neg_embeddings, p=2, dim=2)
return torch.cat((pos_embedding, neg_embeddings), dim=1)
总结
最后总结一下吧，其实很感谢DataWhale这个开源组织的，我确实跟着他们学到不少有用的知识在里面，也帮助我走过了很多方向的入门环节，感恩！！然后就是今天学习到的召回模型，其实这些模型结构并不复杂，但是确很经典，因为他们真的很work！最后其实推荐系统里面，特征工程也是很重要的一点，并不是embeding之后就万事大吉了，对于数据的探索是我们不断进步的关键。
在最后推荐一下 torch-rechub 这个框架，里面复现了很多经典的推荐算法，简单易用，小伙伴们快来试试吧！
链接： torch-rechub
