栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

吴恩达视频-第一门课第2周2.14节-向量化 logistic 回归的梯度输出(Vectorizing Logistic Regression‘s Gradient)

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

吴恩达视频-第一门课第2周2.14节-向量化 logistic 回归的梯度输出(Vectorizing Logistic Regression‘s Gradient)

2.14 向量化 logistic 回归的梯度输出(Vectorizing Logistic Regression’s Gradient)
  如何向量化计算的同时,对整个训练集预测结果푎,这是我们之前已经讨论过的内容。在本次视频中我们将学习如何向量化地计算푚个训练数据的梯度,本次视频的重点是如何同时计算 푚 个数据的梯度,并且实现一个非常高效的逻辑回归算法(Logistic Regression)。
  之前我们在讲梯度计算的时候,列举过几个例子, d z ( 1 ) d{{z}^{(1)}} dz(1) = a ( 1 ) {{a}^{(1)}} a(1) − y ( 1 ) {{y}^{(1)}} y(1), d z ( 2 ) d{{z}^{(2)}} dz(2)= a ( 2 ) {{a}^{(2)}} a(2) − y ( 2 ) {{y}^{(2)}} y(2) ……等等一系列类似公式。现在,对 푚个训练数据做同样的运算,我们可以定义一个新的变量 푑푍 = [ d z ( 1 ) d{{z}^{(1)}} dz(1), d z ( 2 ) d{{z}^{(2)}} dz(2). . . d z ( m ) d{{z}^{(m)}} dz(m)] ,所有的 푑푧 变量横向排列,因此,푑푍 是一个 1 × 푚的矩阵,或者说,一个 푚 维行向量。在之前的幻灯片中,我们已经知道如何计算퐴,即[ a ( 1 ) {{a}^{(1)}} a(1), a ( 2 ) {{a}^{(2)}} a(2). . . a ( m ) {{a}^{(m)}} a(m)],我们需要找到这样的一个行向量 푌 = [ y ( 1 ) y ( 2 ) . . . y ( m ) {{y}^{(1)}}{{y}^{(2)}}...{{y}^{(m)}} y(1)y(2)...y(m)] ,由此,我们可以这样计算푑푍 = 퐴 − 푌 = [ a ( 1 ) − y ( 1 ) a ( 2 ) − y ( 2 ) . . . a ( m ) − y ( m ) {{a}^{(1)}}-{{y}^{(1)}}{{a}^{(2)}}-{{y}^{(2)}}...{{a}^{(m)}}-{{y}^{(m)}} a(1)−y(1)a(2)−y(2)...a(m)−y(m)],不难发现第一个元素就是 d z ( 1 ) d{{z}^{(1)}} dz(1),第二个元素就是 d z ( 2 ) d{{z}^{(2)}} dz(2) ……所以我们现在仅需一行代码,就可以同时完成这所有的计算。
  在之前的实现中,我们已经去掉了一个 for 循环,但我们仍有一个遍历训练集的循环,如下所示:

  上述(伪)代码就是我们在之前实现中做的,我们已经去掉了一个 for 循环,但用上述方法计算 푑푤 仍然需要一个循环遍历训练集,我们现在要做的就是将其向量化!
  首先我们来看 푑푏,不难发现 푑푏 = 1 m ∑ i = 1 m d z ( i ) frac{1}{m}sumnolimits_{i=1}^{m}{d{{z}^{(i)}}} m1​∑i=1m​dz(i), 之前的讲解中,我们知道所有的 d z ( i ) d{{z}^{(i)}} dz(i)已经组成一个行向量 푑푍了,所以在 Python 中,我们很容易地想到푑푏 = 1 m frac{1}{m} m1​∗ 푛푝. 푠푢푚(푑푍);接下来看푑푤,我们先写出它的公式 푑푤 = 1 m frac{1}{m} m1​∗ 푋 ∗ d z T d{{z}^{T}} dzT 其中,푋 是一个行向量。因此展开后푑푤 = 1 m frac{1}{m} m1​∗ ( x ( 1 ) d z ( 1 ) {{x}^{(1)}}d{{z}^{(1)}} x(1)dz(1)+ x ( 2 ) d z ( 2 ) {{x}^{(2)}}d{{z}^{(2)}} x(2)dz(2)+...+ x m d z m {{x}^{m}}d{{z}^{m}} xmdzm)。因此我们可以仅用两行代码进行计算:푑푏 = 1 m frac{1}{m} m1​∗ 푛푝. 푠푢푚(푑푍), 푑푤 = 1 m frac{1}{m} m1​∗ 푋 ∗ d z T d{{z}^{T}} dzT。这样,我们就避免了在训练集上使用 for 循环。
  现在,让我们回顾一下,看看我们之前怎么实现的逻辑回归,可以发现,没有向量化是非常低效的,如下图所示代码:

  我们的目标是不使用 for 循环,而是向量,我们可以这么做:

  现在我们利用前五个公式完成了前向和后向传播,也实现了对所有训练样本进行预测和求导,再利用后两个公式,梯度下降更新参数。我们的目的是不使用 for 循环,所以我们就通过一次迭代实现一次梯度下降,但如果你希望多次迭代进行梯度下降,那么仍然需要 for循环,放在最外层。不过我们还是觉得一次迭代就进行一次梯度下降,避免使用任何循环比较舒服一些。
  最后,我们得到了一个高度向量化的、非常高效的逻辑回归的梯度下降算法,我们将在下次视频中讨论 Python 中的 Broadcasting 技术。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/889857.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号