栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

【精】简述Alluxio load命令及原理

【精】简述Alluxio load命令及原理

一、Load功能简述

load 命令将底层文件系统(Under File System)中的数据载入到Alluxio中。如果运行该命令的机器上正在运行一个Alluxio worker,那么数据将移动到该worker上,否则,数据会被随机移动到一个worker上。 如果该文件已经存在在Alluxio中,设置了–local选项,并且有本地worker,则数据将移动到该worker上。 否则该命令不进行任何操作。如果该命令的目标是一个文件夹,那么其子文件和子文件夹会被递归载入。

使用举例:

 ./bin/alluxio fs load /data/today
二、Load原理

阅读load的源码可以从从LoadCommad类开始介入。这里我们从alluxio.cli.fs.command.LoadCommand#load方法开始。

此方法的JavaDoc如下:

// 把文件或者目录load到Alluxio空间中,让它驻留在Alluxio中
Loads a file or directory in Alluxio space, makes it resident in Alluxio.

load方法主要做以下功能࿱

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/613187.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号