这里似乎有几件事毫无价值。
首先,
df_a.cumsum()默认值为
axis=0(Pandas没有将一次调用中的整个Dataframe求和的概念),而NumPy调用默认为
axis=None。因此,通过在一个操作上指定一个轴并有效地展平另一个操作,就可以将苹果与橘子进行比较。
也就是说,您可以比较三个调用:
>>> np.cumsum(df_a, axis=0)>>> df_a.cumsum()>>> val.cumsum(axis=0) # val = df_a.values
在最后一次调用中,这里
val是基础的NumPy数组,我们不算
.values在运行时获取属性。
因此,如果您使用的是IPython
Shell,请
%prun尝试进行行分析:
>>> %prun -q -T pdcumsum.txt df_a.cumsum()>>> val = df_a.values>>> %prun -q -T ndarraycumsum.txt val.cumsum(axis=0)>>> %prun -q -T df_npcumsum.txt np.cumsum(df_a, axis=0)
-T将输出保存为文本,以便您可以查看彼此匹配的所有三个。这是您最终得到的结果:
df_a.cumsum()
: 186个 函数调用,.022秒。其中0.013用于numpy.ndarray.cumsum()
。(我的猜测是,如果没有NaN,则nancumsum()
不需要,但请不要在此引用我的意思)。另一个块花在复制阵列上。val.cumsum(axis=0)
:5个函数调用,0.020秒。不进行任何复制(尽管这不是就地操作)。np.cumsum(df_a, axis=0)
: 204个 函数调用,0.026秒 可以说,将Pandas对象传递给顶级NumPy函数似乎最终会在Pandas对象上调用等效方法,该方法要处理大量开销,然后重新调用NumPy函数。
现在,不像
%timeit您那样,您在这里只打了1个电话
%time,所以我不会过多地依赖与的相对定时差异
%prun。也许比较内部函数调用是有用的。但是在这种情况下,当您为两者指定相同的轴时,即使Pandas发出的呼叫数量与NumPy的数量相比,计时差异实际上并没有那么大。换句话说,在这种情况下,所有三个通话的时间都由主导
np.ndarray.cumsum(),而辅助Pandas通话不会占用太多时间。在其他情况下,辅助Pandas调用确实会消耗更多的运行时,但这似乎不是其中之一。
大局观-正如韦斯·麦金尼(Wes McKinney)所承认的那样,
从索引编制到汇总统计信息,相当简单的操作可能会在到达最低计算层之前经过多层支架。
可以权衡的是灵活性和增加的功能。
最后一个细节:在NumPy中,可以通过调用实例方法而不是顶层函数来避免一点点开销,因为后者只会路由到前者。但是正如一位智者曾经说过的那样,过早的优化是万恶之源。
ndarray.cumsum()``np.cumsum()
以供参考:
>>> pd.__version__, np.__version__('0.22.0', '1.14.0')


