LINUX 安装步骤参考 https://www.cnblogs.com/zingp/p/11223220.html
注:
1、start-dfs.sh 文件路径在hadoop解压目录下的/hadoop-3.3.1/sbin下
2、启动时提示localhost: ssh: connect to host localhost port 22: Connection refused
- 安装SSH
- 如果是端口不可用,修改
/etc/hadoop/hadoop-env.sh
export HADOOP_SSH_OPTS="-p XXXX"
3、openjdk没有jstack、jstat、jps等命令解决办法
yum install java-1.8.0-openjdk-devel -yhadoop相关指令
1、下载hdfs文件到本地
bin/hadoop fs -get /hdfs/source/path /localfs/destination/path bin/hadoop fs -copyToLocal /hdfs/source/path /localfs/destination/path
区别:copyToLocal的源路径只能是一个本地的文件。而put的源路径可能是多个文件,也可能是标准输入。
当hadoop fs -put - hdfs://host:port/hadoop/hadoopfile时表示从标准输入接收数据,这个时候目标路径必须是一个文件。
2、查看文件
hadoop fs -ls hadoop fs -du -h



