使用
scipy.sparse基于行或列的格式:
csc_matrix和
csr_matrix。
它们使用幕后高效的C实现(包括乘法),并且转置是无操作的(尤其是如果调用
transpose(copy=False)),就像numpy数组一样。
编辑:通过ipython的一些时间:
import numpy, scipy.sparsen = 100000x = (numpy.random.rand(n) * 2).astype(int).astype(float) # 50% sparse vectorx_csr = scipy.sparse.csr_matrix(x)x_dok = scipy.sparse.dok_matrix(x.reshape(x_csr.shape))
现在
x_csr,
x_dok稀疏度为50%:
print repr(x_csr)<1x100000 sparse matrix of type '<type 'numpy.float64'>' with 49757 stored elements in Compressed Sparse Row format>
和时间:
timeit numpy.dot(x, x)10000 loops, best of 3: 123 us per looptimeit x_dok * x_dok.T1 loops, best of 3: 1.73 s per looptimeit x_csr.multiply(x_csr).sum()1000 loops, best of 3: 1.64 ms per looptimeit x_csr * x_csr.T100 loops, best of 3: 3.62 ms per loop
所以看起来我在撒谎。换位 是 很便宜,但CSR * CSC没有高效的C实现(在最新的0.9.0
SciPy的)。每个调用中都会构造一个新的csr对象:-(
作为黑客(尽管现在scipy相对稳定),您可以直接在稀疏数据上进行点积运算:
timeit numpy.dot(x_csr.data, x_csr.data)10000 loops, best of 3: 62.9 us per loop
请注意,这最后一种方法会再次执行Numpy密集乘法。稀疏度为50%,因此实际上比
dot(x, x)2倍快。



