栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

机器学习中的矩阵求导的问题

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

机器学习中的矩阵求导的问题

机器学习中的线性代数之矩阵求导_Vinicier的博客-CSDN博客_矩阵求导

主要参考了上述博文,不过越看越懵,有没有大佬帮我答疑解惑一些,非常感激~

在矩阵求导中有两种布局,分别为分母布局(denominator layout)和分子布局(numerator layout)

分子布局,就是分子是列向量形式,分母是行向量形式,分子的行决定结果的行,分母的列决定结果的列。

分母布局,就是分子是行向量形式,分母是列向量形式,分母的行决定结果的行,分子的列决定结果的列。

问题:什么时候用分子布局?什么时候用分母布局?

矛盾:标量对向量的求导在理论和计算中存在矛盾

理论1:标量关于向量中的每个元素求导后,结果按列排布

计算1:实际计算分析中,标量关于向量中的元素求导后,结果按行排布。

                         

理论2:理论规定计算中是以分子布局确定结果

计算2:将标量推广到向量关于向量的导数,具体计算分析是按照分母布局的形式

应用:pytorch中的自动求导

Pytorch中的自动求导函数backward()所需参数含义 - 不愿透漏姓名的王建森 - 博客园 (cnblogs.com)

推荐上述参考文献

个人理解:

out.backward()

代表的含义是结果关于各层的的后向求导结果

向量对向量的求导

 

参考文献:

向量,标量对向量求导数_心雨心辰的博客-CSDN博客_标量对向量求导

二次型梯度_benqbo的博客-CSDN博客_二次型的梯度

(1条消息) 矩阵和向量的求导法则_Icoding_F2014的博客-CSDN博客_矩阵对向量求导

向量的L2范数求导 - nowgood - 博客园 (cnblogs.com)

矩阵求导的本质与分子布局、分母布局的本质(矩阵求导——本质篇) - 知乎 (zhihu.com)

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/1018357.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号