栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 面试经验 > 面试问答

熊猫矢量化函数cumsum与numpy

面试问答 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

熊猫矢量化函数cumsum与numpy

这里似乎有几件事毫无价值。

首先,

df_a.cumsum()
默认值为
axis=0
(Pandas没有将一次调用中的整个Dataframe求和的概念),而NumPy调用默认为
axis=None
。因此,通过在一个操作上指定一个轴并有效地展平另一个操作,就可以将苹果与橘子进行比较。

也就是说,您可以比较三个调用:

>>> np.cumsum(df_a, axis=0)>>> df_a.cumsum()>>> val.cumsum(axis=0)  # val = df_a.values

在最后一次调用中,这里

val
是基础的NumPy数组,我们不算
.values
在运行时获取属性。

因此,如果您使用的是IPython
Shell,请

%prun
尝试进行行分析:

>>> %prun -q -T pdcumsum.txt df_a.cumsum()>>> val = df_a.values>>> %prun -q -T ndarraycumsum.txt val.cumsum(axis=0)>>> %prun -q -T df_npcumsum.txt np.cumsum(df_a, axis=0)

-T
将输出保存为文本,以便您可以查看彼此匹配的所有三个。这是您最终得到的结果:

  • df_a.cumsum()
    186个 函数调用,.022秒。其中0.013用于
    numpy.ndarray.cumsum()
    。(我的猜测是,如果没有NaN,则
    nancumsum()
    不需要,但请不要在此引用我的意思)。另一个块花在复制阵列上。
  • val.cumsum(axis=0)
    :5个函数调用,0.020秒。不进行任何复制(尽管这不是就地操作)。
  • np.cumsum(df_a, axis=0)
    204个 函数调用,0.026秒 可以说,将Pandas对象传递给顶级NumPy函数似乎最终会在Pandas对象上调用等效方法,该方法要处理大量开销,然后重新调用NumPy函数。

现在,不像

%timeit
您那样,您在这里只打了1个电话
%time
,所以我不会过多地依赖与的相对定时差异
%prun
。也许比较内部函数调用是有用的。但是在这种情况下,当您为两者指定相同的轴时,即使Pandas发出的呼叫数量与NumPy的数量相比,计时差异实际上并没有那么大。换句话说,在这种情况下,所有三个通话的时间都由主导
np.ndarray.cumsum()
,而辅助Pandas通话不会占用太多时间。在其他情况下,辅助Pandas调用确实会消耗更多的运行时,但这似乎不是其中之一。

大局观-正如韦斯·麦金尼(Wes McKinney)所承认的那样,

从索引编制到汇总统计信息,相当简单的操作可能会在到达最低计算层之前经过多层支架。

可以权衡的是灵活性和增加的功能。

最后一个细节:在NumPy中,可以通过调用实例方法而不是顶层函数来避免一点点开销,因为后者只会路由到前者。但是正如一位智者曾经说过的那样,过早的优化是万恶之源。

ndarray.cumsum()``np.cumsum()


以供参考:

>>> pd.__version__, np.__version__('0.22.0', '1.14.0')


转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/646689.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号