栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

python中基于xarray处理netcdf文件时,加速处理速度

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

python中基于xarray处理netcdf文件时,加速处理速度

python中基于xarray处理netcdf文件时,使用dask加速处理速度

在处理高分辨率气象文件netcdf格式文件时,常规的处理速度太慢!!数据量过大,造成卡死,真是上头!!!先不要想着新装内存,虽然我差点京东下单!

话不多说

首先需要先安装好dask包!!!
1、以日数据气温数据netcdf文件为例。

图中是两个打开方式,其中air是气温变量。
data_dask是使用dask,chunks则是以经纬度10度为间隔划分块。进而分块处理。
data_nodask常规打开方法。
2、以按年平均举例,查看两者速度!

可以看到,文件按照chunks字典被划分为1550个chunks。求年均耗时68.8ms!
若要加载dask存储为正常的xarray时,使用load或values方法读取。

不使用dask的情况:

这是一个例子,我认为可以做到抛砖引玉的作用!!!最近处理数据,常常遭遇卡死,先做一记录!后面有新发展继续更新!希望大家提提意见建议!

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/321500.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号