栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 面试经验 > 面试问答

pandas数据框的最大大小

面试问答 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

pandas数据框的最大大小

我将按照评论中的说明发布此答案。我已经看到它多次出现而没有被接受的答案。

内存错误很直观-内存不足。但是有时,由于您有足够的内存,因此对该错误的解决方案或调试令人沮丧,但该错误仍然存​​在。

1)检查代码错误

这可能是一个“愚蠢的步骤”,但这就是为什么它是第一个原因。确保没有无限循环或已知会花费很长时间的事情(例如使用某些

os
模块来搜索整个计算机并将其输出到excel文件中)

2)使您的代码更高效

遵循步骤1的步骤。但是,如果简单的事情需要花费很长时间,则通常可以使用模块或更好的方式来完成更快,更高效的内存。这就是Python和/或开源语言的美!

3)检查对象的总内存

第一步是检查对象的内存。关于此,Stack上有很多线程,因此您可以搜索它们。热门答案在这里和这里

要找到被咬的物体的大小,您可以随时使用

sys.getsizeof()

import sysprint(sys.getsizeof(OBEJCT_NAME_HERE))

现在,错误可能会在创建任何东西之前发生,但是如果您分块读取csv,则可以看到每个块正在使用多少内存。

4)运行时检查内存

有时您有足够的内存,但是正在运行的功能在运行时会占用大量内存。这将导致内存峰值超过完成对象的实际大小,从而导致代码/过程出错。实时检查内存很长,但是可以完成。Ipython很好。检查他们的文件。

使用以下代码直接在Jupyter Notebook中查看文档:

%mprun?%memit?

样品使用:

%load_ext memory_profilerdef lol(x):    return x%memit lol(500)#output --- peak memory: 48.31 MiB, increment: 0.00 MiB

5)这可能是第一个。。。。。

与您的情况一样,只需切换所运行的python版本即可解决此问题。

通常上述步骤可以解决我的问题。



转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/624431.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号