栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 系统运维 > 运维 > Linux

StarGFS并行文件系统的高性能客户端实现

Linux 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

StarGFS并行文件系统的高性能客户端实现

一、StarGFS文件系统简介

星实StarGFS是领先的基于POSIX文件系统接口的并行集群文件系统,意味着不必重写或修改应用程序来利用StarGFS。它的开发非常注重最大的性能和可扩展性,高度的灵活性,并且设计考虑了健壮性和易用性。

StarGFS客户端通过高速网络的连接与存储服务器进行通信,访问文件系统内的数据。StarGFS通过在多个存储服务器上透明地分布用户数据,当增加系统中服务器和硬盘的数量,所有硬盘和所有服务器的容量和性能都聚合在一个文件系统名字空间中。从而文件系统的性能和容量就可以轻松地扩展到特定业务所需的量级,也可以在以后系统投入生产时进行在线扩展。

StarGFS文件系统的可伸缩性减少了部署许多独立文件系统的需要,例如每个集群部署一个文件系统,或者更糟的是每个NFS文件服务器部署一个文件系统。StarGFS的统一名字空间将带来强大的存储管理优势,例如避免维护在多个文件系统上暂存的数据的多个副本。由于这个原因,它们使用StarGFS文件系统所需的聚合存储比使用其他解决方案所需的要少得多。通过将文件系统容量与许多服务器聚合在一起,还可以聚合I/O吞吐量,并随其他服务器扩展。此外,通过动态添加服务器,可以在安装集群后轻松地调整吞吐量或容量。

二、StarGFS文件系统组成

StarGFS并行文件系统包含三种系统模块:可用于访问文件系统的文件系统客户端、提供文件I/O服务的智能存储节点和管理文件系统中的名称和目录的元数据节点。图1显示了一个具有StarGFS文件系统的集群。

StarGFS将用户文件块中分离出元数据:文件块由智能存储服务器来提供,包含用户想要存储的数据(即用户文件内容);而元数据是“关于数据的数据”,例如访问权限、文件大小以及关于用户文件块如何分布在存储服务器上的信息。一旦客户端获得了特定文件或目录的元数据,它就可以直接与智能存储服务通信来存储或检索文件块,因此元数据服务不再参与读或写操作。

StarGFS面向所有需要大型和/或快速文件存储的应用场景。虽然StarGFS最初是为高性能计算而开发的,但如今它几乎应用于工业和研究的所有领域,包括但不限于:人工智能、生命科学、石油天然气、金融、音视频媒体、影像档案。无缝可伸缩性的概念还允许快速(但可能是不规则或不可预测的)增长的用户很容易适应他们随着时间的推移所面临的情况。

三、StarGFS文件系统客户端实现

StarGFS提供了POSIX兼容的客户端模式,该客户端通过Linux内核的虚拟文件系统接口进行本地注册,以获得最佳性能。加载客户端时,它将后台通过服务启动脚本启动StarGFS客户端实现文件系统挂载的方法,它与任何其他Linux服务一样。

      本机StarGFS客户端应该在所有应该以最大性能访问StarGFS的主机上使用:

  • NFS、CIFS支持:可以通过NFSv4或Samba重新导出StarGFS挂载点;

  • 大数据HDFS支持:使用StarGFS作为Hadoop的HDFS的替代品。

  • Windows、Linux、MacOS全局跨平台共享:StarGFS还为Windows、MacOS提供一个原生StarGFS客户端驱动,Windows的StarGFS客户端驱动安装并实现挂载以后,业务可以像使用已经完成格式化的本地硬盘一样访问StarGFS的文件系统名字空间,并且可以跟Linux客户端共享同一个文件系统名字空间。

  • 块存储接口支持:StarGFS客户端还能够以块设备的方式来给客户端提供裸设备的访问接口,访问StarGFS服务端的块存储的服务。StarGFS还支持ISCSI存储xi协议。

  • 操作系统内核模块客户端实现:客户端运行在操作系统内核中,以驱动的方式运行,基本没有其他依赖包,所以能更好的兼容各个客户端环境。另外客户端节点也可以通过NFS、CIFS或Hadoop HDFS访问StarGFS。

 

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/838317.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号