栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 面试经验 > 面试问答

s3fs将Amazon S3存储桶作为本地目录装载的稳定性如何

面试问答 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

s3fs将Amazon S3存储桶作为本地目录装载的稳定性如何

在s3fs上有一篇不错的文章,阅读后我求助于EBS Share。

它强调了使用s3fs时应注意的一些重要注意事项,即与S3的固有局限性有关:

  • 没有文件可以超过5GB
  • 您无法部分更新文件,因此更改单个字节将重新上传整个文件。
  • 对许多小文件的操作非常有效(毕竟每个文件都是一个单独的S3对象),但是大文件的效率很低
  • 尽管S3支持部分/批量下载,但s3fs并未利用此功能,因此,如果您只想读取1GB文件的一个字节,则必须下载整个GB。

因此,这取决于您存储的内容s3fs是否可行。如果您要存储照片,例如要在其中写入整个文件或读取整个文件的位置,而从不增量更改文件,那么它就可以了,尽管有人会问,如果要这样做,那么为什么不只使用S3直接使用API​​?

如果您要在应用数据上(例如数据库文件,日志文件)进行小的增量更改,那么它绝对不是-S3 Just不能那样工作,您无法增量更改文件。

上面提到的文章确实讨论了类似的应用程序s3backer,它通过在S3上实现虚拟文件系统来解决性能问题。这可以解决性能问题,但它本身也有一些问题:

  • 由于写入延迟而造成数据损坏的高风险
  • 太小的块大小(例如,默认为4K)会增加大量额外成本(例如,具有4K块存储容量的50GB,130美元)
  • 太大的块大小会增加大量的数据传输和存储费用。
  • 内存使用可能会令人望而却步:默认情况下,它会缓存1000个块。
    使用默认的4K块大小不是问题,但是大多数用户
    可能会希望增加块大小。

我求助于EC2实例共享的EBS安装驱动器。但是您应该知道,尽管性能最高的选项有一个大问题,但EBS挂载NFS共享有其自身的问题-
单点故障;如果共享EBS卷的计算机出现故障,则您将失去所有访问共享的计算机的访问权限。

这是我能够忍受的风险,也是我最终选择的选项。我希望这有帮助。



转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/394211.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号