栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 面试经验 > 面试问答

Python Pandas MemoryError

面试问答 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Python Pandas MemoryError

我也可以在0.13.1上重现它,但是在0.12或0.14(昨天发布)中不会发生此问题,因此在0.13中似乎是一个错误。
因此,也许可以尝试升级您的熊猫版本,因为矢量化方法的应用速度更快(在我的计算机上为5s vs> 1min),并且在0.14上使用更少的峰值内存(200Mb
vs 980Mb,%memit)

使用您的样本数据重复50000次(导致

apply_id
450k行的df),并使用@jsalonen函数:

In [23]: pd.__version__ Out[23]: '0.14.0'In [24]: %timeit df_train['Store'].astype(str) +'_' + df_train['Dept'].astype(str)+'_'+ df_train['Date_Str'].astype(str)1 loops, best of 3: 5.42 s per loopIn [25]: %timeit df_train.apply(apply_id, 1)1 loops, best of 3: 1min 11s per loopIn [26]: %load_ext memory_profilerIn [27]: %memit df_train['Store'].astype(str) +'_' + df_train['Dept'].astype(str)+'_'+ df_train['Date_Str'].astype(str)peak memory: 201.75 MiB, increment: 0.01 MiBIn [28]: %memit df_train.apply(apply_id, 1)peak memory: 982.56 MiB, increment: 780.79 MiB


转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/611378.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号