栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 面试经验 > 面试问答

pandas中的大型持久性DataFrame

面试问答 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

pandas中的大型持久性DataFrame

原则上,它不应该用完内存,但是当前
read_csv
由于某些复杂的Python内部问题而导致大文件存在内存问题(这是模糊的,但已经有很长时间了:http
//github.com/pydata / pandas / issues /
407
)。

目前还没有一个完美的解决方案(这是一个单调乏味的解决方案:您可以将文件逐行转录为预先分配的NumPy数组或内存映射文件-

np.mmap
),但这是我将要使用的解决方案。在不久的将来。另一种解决方案是读取文件较小的部分(使用
iterator=True,chunksize=1000
),然后使用进行连接
pd.concat
。当您将整个文本文件拖入内存时,就会出现问题。



转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/653534.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号