栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 系统运维 > 运维 > Linux

安装hadoop

Linux 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

安装hadoop

安装

LINUX 安装步骤参考 https://www.cnblogs.com/zingp/p/11223220.html
注:
1、start-dfs.sh 文件路径在hadoop解压目录下的/hadoop-3.3.1/sbin下
2、启动时提示localhost: ssh: connect to host localhost port 22: Connection refused

  1. 安装SSH
  2. 如果是端口不可用,修改

/etc/hadoop/hadoop-env.sh

export HADOOP_SSH_OPTS="-p XXXX"

3、openjdk没有jstack、jstat、jps等命令解决办法

yum install java-1.8.0-openjdk-devel -y
hadoop相关指令

1、下载hdfs文件到本地

bin/hadoop fs -get /hdfs/source/path /localfs/destination/path
bin/hadoop fs -copyToLocal /hdfs/source/path /localfs/destination/path

区别:copyToLocal的源路径只能是一个本地的文件。而put的源路径可能是多个文件,也可能是标准输入。
当hadoop fs -put - hdfs://host:port/hadoop/hadoopfile时表示从标准输入接收数据,这个时候目标路径必须是一个文件。

2、查看文件

hadoop fs -ls
hadoop fs -du -h 
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/320105.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号