栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 面试经验 > 面试问答

在google-cloud-ml作业中加载numpy数组

面试问答 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

在google-cloud-ml作业中加载numpy数组

首先,您需要在GCS上复制/存储数据(使用

gsutil
),并确保您的训练脚本可以访问该存储桶。最简单的方法是将阵列复制到与数据相同的存储桶中,因为您可能已经将该存储桶配置为具有读取访问权限。如果存储桶与您的培训工作在同一项目中,并且您遵循了这些说明(尤其是
gcloud beta ml init-project
),则应进行设置。如果数据将在另一个存储桶中,请参阅以下说明。

然后,您需要使用一个能够从GCS加载数据的库。尽管您可以自由使用任何可以从GCS读取的客户端库,但Tensorflow包含一个可以执行此操作的模块。以下是使用TensorFlow的

file_io
模块的示例:

from StringIO import StringIOimport tensorflow as tfimport numpy as npfrom tensorflow.python.lib.io import file_io# Create a variable initialized to the value of a serialized numpy arrayf = StringIO(file_io.read_file_to_string('gs://my-bucket/123.npy'))my_variable = tf.Variable(initial_value=np.load(f), name='my_variable')

请注意

StringIO
,由于
file_io.FileIO
未完全实现所需的seek函数,因此必须将文件读取为字符串并使用
numpy.load

奖励:如果有用,您可以使用该

file_io
模块将numpy数组直接存储到GCS ,例如:

np.save(file_io.FileIO('gs://my-bucket/123', 'w'), np.array([[1,2,3], [4,5,6]]))

对于Python 3,请使用

from io import StringIO
代替
from StringIO import StringIO



转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/610616.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号