栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 系统运维 > 运维 > Linux

Hadoop入门教程

Linux 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Hadoop入门教程

目录

Summary

环境准备

集群配置


Summary

本教程使用VMware配置三台虚拟机进行演示。采用SSH方式连接虚拟机进行操作。

虚拟机系统:CentOS-7-x86_64-DVD-1804

SSH工具:FinalShell 3.9.4

JDK:jdk-8u212-linux-x64

Hadoop版本:hadoop-3.1.3

环境准备

在VMware内创建三台CentOS7系统的虚拟机,分别命名为Hadoop102、Hadoop103、Hadoop104。

创建好后在Hadoop102内启动命令行,修改虚拟机的IP地址:

vim /etc/sysconfig/network-scripts/ifcfg-ens33

修改成

DEVICE="ens33"
TYPE="Ethernet"
ONBOOT="yes"
BOOTPROTO="static"
NAME="ens33"
IPADDR="192.168.10.102"
PREFIX=24
GATEWAY="192.168.10.2"
DNS1="192.168.10.2"

三台服务器名称分别为hadoop102、hadoop103、hadoop104,

三台的ip分别为192.168.10.102、192.168.10.103、192.168.10.104,

三台的网关ip分别为192.168.10.2、192.168.10.3、192.168.10.4。

安装FinalShell,ssh连接到三台服务器,将JDK导入到opt目录下面的software文件夹下面。在Linux系统下的opt目录中查看软件包是否导入成功

 ls /opt/software/

看到如下结果说明导入成功

jdk-8u212-linux-x64.tar.gz

创建module目录

mkdir opt/module

解压JDK到/opt/module目录下(进入JDK所在文件夹执行)

[root@hadoop102 software]# tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/

接着配置JDK环境变量

新建/etc/profile.d/my_env.sh文件

[root@hadoop102 software]# sudo vim /etc/profile.d/my_env.sh

添加如下内容

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin

source一下/etc/profile文件,让新的环境变量PATH生效

[root@hadoop102 software]# source /etc/profile

测试一下JDK是否安装成功

[root@hadoop102 software]# java -version

如果能看到以下结果,则代表Java安装成功

openjdk version "1.8.0_161"
OpenJDK Runtime Environment (build 1.8.0_161-b14)
OpenJDK 64-Bit Server VM (build 25.161-b14, mixed mode)

接下来安装Hadoop

用Finalshell将Hadoop安装包导入到opt目录下面的software文件夹里

进入到Hadoop安装包路径下,解压安装文件到/opt/module下面

tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

打开/etc/profile.d/my_env.sh文件

sudo vim /etc/profile.d/my_env.sh

在my_env.sh文件末尾添加如下内容

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

让修改后的文件生效

source /etc/profile

测试是否安装成功

hadoop version

看到如下内容表示成功

Hadoop 3.1.3

查看Hadoop的目录结构

[root@hadoop102 hadoop-3.1.3]# ll

可以看到如下内容

drwxr-xr-x. 2 lovxn lovxn    183 9月  11 2019 bin
drwxr-xr-x. 3 lovxn lovxn     20 9月  11 2019 etc
drwxr-xr-x. 2 lovxn lovxn    106 9月  11 2019 include
drwxr-xr-x. 3 lovxn lovxn     20 9月  11 2019 lib
drwxr-xr-x. 4 lovxn lovxn    288 9月  11 2019 libexec
-rw-rw-r--. 1 lovxn lovxn 147145 9月   4 2019 LICENSE.txt
-rw-rw-r--. 1 lovxn lovxn  21867 9月   4 2019 NOTICE.txt
-rw-rw-r--. 1 lovxn lovxn   1366 9月   4 2019 README.txt
drwxr-xr-x. 3 lovxn lovxn   4096 9月  11 2019 sbin
drwxr-xr-x. 4 lovxn lovxn     31 9月  11 2019 share

(1)bin目录:存放对Hadoop相关服务(hdfs,yarn,mapred)进行操作的脚本

(2)etc目录:Hadoop的配置文件目录,存放Hadoop的配置文件

(3)lib目录:存放Hadoop的本地库(对数据进行压缩解压缩功能)

(4)sbin目录:存放启动或停止Hadoop相关服务的脚本

(5)share目录:存放Hadoop的依赖jar包、文档、和官方案例

直接使用root权限操作风险较大,因此创建用户lovxn用作日常维护

将lovxn加入sudoers文件,使其在必要时可以借用root权限

[root@hadoop102 lovxn]# visudo

在打开的文件中写入

lovxn ALL=(ALL)  ALL

回到lovxn用户

su lovxn

配置主机映射,让三台虚拟机互相认识

这里只演示一台虚拟机,实际上三台都要配置

sudo vi /etc/hosts

写入

192.168.8.102 hadoop102
192.168.8.103 hadoop103
192.168.8.104 hadoop104

配置三台虚拟机互相免密登录,先ssh一下自己创建~/.ssh文件夹

ssh localhost

生成密钥

ssh-keygen -t rsa

然后敲三个回车,就会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)

将公钥拷贝到要免密登录的目标机器上

[lovxn@hadoop102 ~]$ ssh-copy-id hadoop102
[lovxn@hadoop102 ~]$ ssh-copy-id hadoop103
[lovxn@hadoop102 ~]$ ssh-copy-id hadoop104

指令执行时候会问

Are you sure you want to continue connecting (yes/no)?

yes就可以了

接着编写集群分发脚本xsync

先说一下scp

scp可以实现服务器与服务器之间的数据拷贝,基本语法:

scp     -r           $pdir/$fname                  $user@$host:$pdir/$fname

命令   递归     要拷贝的文件路径/名称   目的地用户@主机:目的地路径/名称

在hadoop102、hadoop103、hadoop104都创建好的/opt/module、/opt/software两个目录,然后更改目录权限,让lovxn用户有读写权限

sudo chown lovxn:lovxn -R /opt/module

在hadoop102上,将hadoop102中/opt/module/jdk1.8.0_212目录拷贝到hadoop103上

scp -r /opt/module/jdk1.8.0_212  lovxn@hadoop103:/opt/module

在hadoop103上,将hadoop102中/opt/module/hadoop-3.1.3目录拷贝到hadoop103上

scp -r lovxn@hadoop102:/opt/module/hadoop-3.1.3 /opt/module/

在hadoop103上操作,将hadoop102中/opt/module目录下所有目录拷贝到hadoop104上

scp -r lovxn@hadoop102:/opt/module/* lovxn@hadoop104:/opt/module

再说rsync

rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。

rsync和scp区别:用rsync做文件的复制要比scp的速度快,rsync只对差异文件做更新。scp是把所有文件都复制过去。

基本语法

rsync  -av             $pdir/$fname                   $user@$host:$pdir/$fname

命令   选项参数   要拷贝的文件路径/名称   目的地用户@主机:目的地路径/名称

回到xsync,目的:循环复制文件到所有节点的相同目录下

期望脚本在任何路径都能使用(脚本放在声明了全局环境变量的路径)

echo $PATH
/usr/local/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/home/lovxn/.local/bin:/home/lovxn/bin:/opt/module/jdk1.8.0_212/bin

在/home/lovxn/bin目录下创建xsync文件

[lovxn@hadoop102 opt]$ cd /home/xxx
[lovxn@hadoop102 ~]$ mkdir bin
[lovxn@hadoop102 ~]$ cd bin
[lovxn@hadoop102 bin]$ vim xsync

在该文件中编写如下代码

#!/bin/bash

#1. 判断参数个数
if [ $# -lt 1 ]
then
    echo Not Enough Arguement!
    exit;
fi

#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
    echo ====================  $host  ====================
    #3. 遍历所有目录,挨个发送

    for file in $@
    do
        #4. 判断文件是否存在
        if [ -e $file ]
            then
                #5. 获取父目录
                pdir=$(cd -P $(dirname $file); pwd)

                #6. 获取当前文件的名称
                fname=$(basename $file)
                ssh $host "mkdir -p $pdir"
                rsync -av $pdir/$fname $host:$pdir
            else
                echo $file does not exists!
        fi
    done
done

修改脚本 xsync 具有执行权限

chmod +x xsync

测试脚本

xsync /home/lovxn/bin

将脚本复制到/bin中,以便全局调用

sudo cp xsync /bin/

同步环境变量配置(root所有者)

sudo /home/lovxn/bin/xsync /etc/profile.d/my_env.sh

让环境变量生效(三台虚拟机都要运行)

source /etc/profile

集群配置

NameNode和SecondaryNameNode不要安装在同一台服务器

ResourceManager也很消耗内存,不要和NameNode、SecondaryNameNode配置在同一台机器上

hadoop102

hadoop103 

hadoop104

HDFS

NameNode

DataNode

DataNode

SecondaryNameNode

DataNode

YARN

NodeManager

ResourceManager

NodeManager

NodeManager

Hadoop配置文件分两类:默认配置文件和自定义配置文件,只有用户想修改某一默认配置值时,才需要修改自定义配置文件,更改相应属性值。

要获取的默认文件

文件存放在Hadoop的jar包中的位置

[core-default.xml]

hadoop-common-3.1.3.jar/core-default.xml

[hdfs-default.xml]

hadoop-hdfs-3.1.3.jar/hdfs-default.xml

[yarn-default.xml]

hadoop-yarn-common-3.1.3.jar/yarn-default.xml

[mapred-default.xml]

hadoop-mapreduce-client-core-3.1.3.jar/mapred-default.xml

自定义配置文件:core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml四个配置文件存放在$HADOOP_HOME/etc/hadoop这个路径上,用户可以根据项目需求重新进行修改配置。

配置core-site.xml

[lovxn@hadoop102 bin]$ cd $HADOOP_HOME/etc/hadoop
[lovxn@hadoop102 hadoop]$ vim core-site.xml

文件内容如下:





    
    
        fs.defaultFS
        hdfs://hadoop102:8020
    

    
    
        hadoop.tmp.dir
        /opt/module/hadoop-3.1.3/data
    

    
    
        hadoop.http.staticuser.user
        root
    

配置hdfs-site.xml

[lovxn@hadoop102 hadoop]$ vim hdfs-site.xml

文件内容如下





	
	
        dfs.namenode.http-address
        hadoop102:9870
    
	
    
        dfs.namenode.secondary.http-address
        hadoop104:9868
    

配置yarn-site.xml

[lovxn@hadoop102 hadoop]$ vim yarn-site.xml

文件内容如下:





    
    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    

    
    
        yarn.resourcemanager.hostname
        hadoop103
    

    
    
        yarn.nodemanager.env-whitelist
        JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME
    

配置mapred-site.xml

[lovxn@hadoop102 hadoop]$ vim mapred-site.xml

文件内容如下:





	
    
        mapreduce.framework.name
        yarn
    

在集群上分发配置好的Hadoop配置文件

xsync /opt/module/hadoop-3.1.3/etc/hadoop/

去103和104上查看文件分发情况

cat /opt/module/hadoop-3.1.3/etc/hadoop/core-site.xml

群起集群

配置workers

vim /opt/module/hadoop-3.1.3/etc/hadoop/workers

在该文件中增加如下内容:

hadoop102
hadoop103
hadoop104

注意:该文件中添加的内容结尾不允许有空格,文件中不允许有空行。

同步所有节点配置文件

xsync /opt/module/hadoop-3.1.3/etc

启动集群

如果集群是第一次启动,需要在hadoop102节点格式化NameNode(注意:格式化NameNode,会产生新的集群id,导致NameNode和DataNode的集群id不一致,集群找不到已往数据。如果集群在运行过程中报错,需要重新格式化NameNode的话,一定要先停止namenode和datanode进程,并且要删除所有机器的data和logs目录,然后再进行格式化)。

hdfs namenode -format

启动HDFS

/opt/module/hadoop-3.1.3/sbin/start-dfs.sh

在配置了ResourceManager的节点(hadoop103)启动YARN

/opt/module/hadoop-3.1.3/sbin/start-yarn.sh

 Web端查看HDFS的NameNode

注意:需要先关闭防火墙

查看防火墙状态

firewall-cmd --state

如果是running,需要关闭

systemctl stop firewalld.service
systemctl disable firewalld.service

浏览器中输入:http://192.168.8.102:9870 查看HDFS上存储的数据信息

浏览器中输入:http://192.168.8.103:8088 查看YARN上运行的Job信息

集群测试

上传文件

hadoop fs -mkdir /input
hadoop fs -put  /opt/software/jdk-8u212-linux-x64.tar.gz  /

查看HDFS文件储存路径

cd /opt/module/hadoop-3.1.3/data/dfs/data/current/BP-1962879553-192.168.8.102-1652250943365/current/finalized/subdir0/subdir0

其中 BP-1962879553-192.168.8.102-1652250943365 名称可能会有所不同。

为了查看程序的历史运行情况,需要配置一下历史服务器。

vim mapred-site.xml

在该文件里面增加如下配置



    mapreduce.jobhistory.address
    hadoop102:10220




    mapreduce.jobhistory.webapp.address
    hadoop102:19888

分发配置

xsync $HADOOP_HOME/etc/hadoop/mapred-site.xml

在hadoop102启动历史服务器

mapred --daemon start historyserver

查看历史服务器是否启动

jps

查看JobHistory :  http://192.168.8.102:19888/jobhistory

 集群启动/停止方式总结

整体启动/停止HDFS

start-dfs.sh/stop-dfs.sh

整体启动/停止YARN

start-yarn.sh/stop-yarn.sh

分别启动/停止HDFS组件

hdfs --daemon start/stop namenode/datanode/secondarynamenode

启动/停止YARN

yarn --daemon start/stop  resourcemanager/nodemanager

Hadoop集群启停脚本(包含HDFS,Yarn,Historyserver):myhadoop.sh

cd /home/lovxn/bin
vim myhadoop.sh

输入

#!/bin/bash

if [ $# -lt 1 ]
then
    echo "No Args Input..."
    exit ;
fi

case $1 in
"start")
        echo " =================== 启动 hadoop集群 ==================="

        echo " --------------- 启动 hdfs ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"
        echo " --------------- 启动 yarn ---------------"
        ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"
        echo " --------------- 启动 historyserver ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver"
;;
"stop")
        echo " =================== 关闭 hadoop集群 ==================="

        echo " --------------- 关闭 historyserver ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop historyserver"
        echo " --------------- 关闭 yarn ---------------"
        ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"
        echo " --------------- 关闭 hdfs ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh"
;;
*)
    echo "Input Args Error..."
;;
esac

 赋予脚本执行权限

chmod +x myhadoop.sh

 查看三台服务器Java进程脚本:jpsall

cd /home/lovxn/bin
vim jpsall

 写入

#!/bin/bash

for host in hadoop102 hadoop103 hadoop104
do
        echo =============== $host ===============
        ssh $host jps 
done

 赋予脚本执行权限

chmod +x jpsall

 分发/home/xxx/bin目录,保证自定义脚本在三台机器上都可以使用

 xsync /home/lovxn/bin/
Hadoop分布式文件系统 HDFS

基本语法

hadoop fs 具体命令  OR  hdfs dfs 具体命令,两个是完全相同的

创建/sanguo文件夹

hadoop fs -mkdir /sanguo

在本地创建文件

vim shuguo.txt

随便输入点啥,保存退出

从本地复制到HDFS

hadoop fs -copyFromLocal shuguo.txt /sanguo

其他指令:

-moveFromLocal:从本地剪切粘贴到HDFS

-copyFromLocal:从本地文件系统中拷贝文件到HDFS

-put:等同于copyFromLocal,生产环境更习惯用put

-appendToFile:追加一个文件到已经存在的文件末尾

下载

hadoop fs -get /sanguo/shuguo.txt ./shuguo2.txt

-copyToLocal:从HDFS拷贝到本地,等于-get

显示目录

hadoop fs -ls /sanguo

显示文件内容

 hadoop fs -cat /sanguo/shuguo.txt

设置HDFS中文件的副本数量

hadoop fs -setrep 10 /jinguo/shuguo.txt

这里设置的副本数只是记录在NameNode的元数据中,是否真的会有这么多副本,还得看DataNode的数量。因为目前只有3台设备,最多也就3个副本,只有节点数的增加到10台时,副本数才能达到10。

 API操作

接下来切换回windows系统对hadoop进行连接并进行一些读写操作。

语言:java,环境:IDEA

打开IDEA,选择New project,新建Maven项目,命名为HadoopMaven。

进入pom.xml,写入依赖



            org.apache.logging.log4j
            log4j-core
            2.14.1
        
        
            junit
            junit
            RELEASE
        
        
            org.apache.hadoop
            hadoop-common
            3.1.3
        
        
            org.apache.hadoop
            hadoop-client
            3.1.3
        
        
            org.apache.hadoop
            hadoop-hdfs
            3.1.3
        
    

然后拷贝linux中配置好的hadoop配置文件:core-site.xml、hdfs-site.xml到resource目录下

这里展示一下这两个文件在虚拟机中的位置

[lovxn@hadoop102 hadoop]$ ls
capacity-scheduler.xml      hadoop-policy.xml                 kms-acls.xml          mapred-queues.xml.template     yarn-env.cmd
configuration.xsl           hadoop-user-functions.sh.example  kms-env.sh            mapred-site.xml                yarn-env.sh
container-executor.cfg      hdfs-site.xml                     kms-log4j.properties  shellprofile.d                 yarnservice-log4j.properties
core-site.xml               httpfs-env.sh                     kms-site.xml          ssl-client.xml.example         yarn-site.xml
hadoop-env.cmd              httpfs-log4j.properties           log4j.properties      ssl-server.xml.example
hadoop-env.sh               httpfs-signature.secret           mapred-env.cmd        user_ec_policies.xml.template
hadoop-metrics2.properties  httpfs-site.xml                   mapred-env.sh         workers
[lovxn@hadoop102 hadoop]$ pwd
/opt/module/hadoop-3.1.3/etc/hadoop

 修改windows主机映射文件

找到C:WindowsSystem32driversetchosts,右键点击hosts属性,去掉只读选项

运行输入“CMD”,然后右击以管理员身份运行,输入“cd C:WindowsSystem32driversetc”,执行进入 etc

输入“notepad hosts”,执行,打开hosts文件,添加如下

192.168.8.102 hadoop102
192.168.8.103 hadoop103
192.168.8.104 hadoop104

 在https://github.com/steveloughran/winutils下载Hadoop3.0.0


配置环境变量,指向刚才下载的Hadoop-3.0.0

 注意bin文件夹里一定要有winutils.exe

在项目的src/main/resources目录下,新建一个文件,命名为“log4j.properties”,在文件中填入

log4j.rootLogger=INFO, stdout  
log4j.appender.stdout=org.apache.log4j.ConsoleAppender  
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout  
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n  
log4j.appender.logfile=org.apache.log4j.FileAppender  
log4j.appender.logfile.File=target/spring.log  
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout  
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

新建HadoopTestFile.txt,随便写点啥,记住路径

创建HdfsClient类

import org.apache.hadoop.fs.FileSystem;
import org.junit.Test;
import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;

public class HdfsClient {

    @Test
    public void testMkdirs() throws IOException, URISyntaxException, InterruptedException {

        // 1 获取文件系统
        Configuration configuration = new Configuration();

        // FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:8020"), configuration);
        FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:8020"), configuration,"lovxn");

        // 2 创建目录
        fs.mkdirs(new Path("/xiyou/huaguoshan/"));

        // 3 关闭资源
        fs.close();
    }

    @Test
    public void testCopyFromLocalFile() throws IOException, InterruptedException, URISyntaxException {

        // 1 获取文件系统
        Configuration configuration = new Configuration();
        configuration.set("dfs.replication", "2");
        FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:8020"), configuration, "lovxn");

        // 2 上传文件
        fs.copyFromLocalFile(new Path("C:/Hadoop/HadoopTestFile.txt"), new Path("/xiyou/huaguoshan"));

        // 3 关闭资源
        fs.close();
    }

    @Test
    public void testCopyToLocalFile() throws IOException, InterruptedException, URISyntaxException{

        // 1 获取文件系统
        Configuration configuration = new Configuration();
        FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:8020"), configuration, "lovxn");

        // 2 执行下载操作
        // boolean delSrc 指是否将原文件删除
        // Path src 指要下载的文件路径
        // Path dst 指将文件下载到的路径
        // boolean useRawLocalFileSystem 是否开启文件校验
        fs.copyToLocalFile(false, new Path("/xiyou/huaguoshan/HadoopTestFile.txt"), new Path("C:/Hadoop/HadoopTestFileCopy.txt"), true);

        // 3 关闭资源
        fs.close();
    }

}

运行完毕后查看文件夹,HadoopTestFileCopy.txt被创建,测试通过。

 参数优先级排序:(1)客户端代码中设置的值 >(2)ClassPath下的用户自定义配置文件 >(3)然后是服务器的自定义配置(xxx-site.xml) >(4)服务器的默认配置(xxx-default.xml)

其他操作

@Test
public void testRename() throws IOException, InterruptedException, URISyntaxException{

	// 1 获取文件系统
	Configuration configuration = new Configuration();
	FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:8020"), configuration, "root"); 
		
	// 2 修改文件名称
	fs.rename(new Path("/xiyou/huaguoshan/sunwukong.txt"), new Path("/xiyou/huaguoshan/meihouwang.txt"));
		
	// 3 关闭资源
	fs.close();
}
@Test
public void testDelete() throws IOException, InterruptedException, URISyntaxException{

	// 1 获取文件系统
	Configuration configuration = new Configuration();
	FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:8020"), configuration, "root");
		
	// 2 执行删除
	fs.delete(new Path("/xiyou"), true);
		
	// 3 关闭资源
	fs.close();
}
@Test
public void testListFiles() throws IOException, InterruptedException, URISyntaxException {

	// 1获取文件系统
	Configuration configuration = new Configuration();
	FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:8020"), configuration, "root");

	// 2 获取文件详情
	RemoteIterator listFiles = fs.listFiles(new Path("/"), true);

	while (listFiles.hasNext()) {
		LocatedFileStatus fileStatus = listFiles.next();

		System.out.println("========" + fileStatus.getPath() + "=========");
		System.out.println(fileStatus.getPermission());
		System.out.println(fileStatus.getOwner());
		System.out.println(fileStatus.getGroup());
		System.out.println(fileStatus.getLen());
		System.out.println(fileStatus.getModificationTime());
		System.out.println(fileStatus.getReplication());
		System.out.println(fileStatus.getBlockSize());
		System.out.println(fileStatus.getPath().getName());

		// 获取块信息
		BlockLocation[] blockLocations = fileStatus.getBlockLocations();
		System.out.println(Arrays.toString(blockLocations));
	}
	// 3 关闭资源
	fs.close();
}
@Test
public void testListStatus() throws IOException, InterruptedException, URISyntaxException{

    // 1 获取文件配置信息
    Configuration configuration = new Configuration();
    FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:8020"), configuration, "root");

    // 2 判断是文件还是文件夹
    FileStatus[] listStatus = fs.listStatus(new Path("/"));

    for (FileStatus fileStatus : listStatus) {

        // 如果是文件
        if (fileStatus.isFile()) {
            System.out.println("f:"+fileStatus.getPath().getName());
        }else {
            System.out.println("d:"+fileStatus.getPath().getName());
        }
    }

    // 3 关闭资源
    fs.close();
}

运行时记得改文件路径和登录虚拟机的用户名。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/882407.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号