栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 面试经验 > 面试问答

如何将数据批量上传到Appengine数据存储区?较旧的方法不起作用

面试问答 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

如何将数据批量上传到Appengine数据存储区?较旧的方法不起作用

你们中的某些人可能会遇到这种情况:我无法使用数据存储区的导入/导出实用程序,因为在进入数据存储区之前,我的数据需要进行转换。

我最终使用 apache-beam
(谷歌云数据流)

您只需要编写几行“光束”代码即可

  • 读取您的数据(例如托管在云存储上)-您会得到一个
    PCollection
    字符串,
  • 进行所需的任何转换(以便获得
    PCollection
    数据存储区实体),
  • 将它们转储到数据存储接收器。

我能够以5位工作者的速度每秒800个实体写入我的数据存储区。这使我能够在大约5个小时内完成导入任务(有1600万行)。如果您想使其更快,请使用更多的工人:D



转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/660654.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号