栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

Hadoop 3.x|第一天|搭建Hadoop环境

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Hadoop 3.x|第一天|搭建Hadoop环境

目录

前言

SCP命令删除???文件 安装JDK安装Hadoop

前言

看的教程是用VM虚拟机然后建了四个虚拟环境做集群,但我不喜欢往自己电脑里面放虚拟机,而且内存也不大,就直接买了一个腾讯云的服务器,整伪集群算了,不知道会不会差别太大…
因为是自己搞的伪集群,安装hadoop部分就不看视频了自己搞,但是版本都按照视频里的来。还好以前大数据课自己装过Hadoop。

SCP命令

上传文件:scp 文件位置 用户名@IP:位置

删除???文件

我的Xshell用rz命令老报错,甚至还上传了一些乱码文件在上面,有一个文件用rm怎么删都删不掉,于是查了一下解决办法。

ls -i查询文件节点号
find -inum 节点号 -delete删除

安装JDK

选用的是jdk-8u212-linux-x64.tar.gz,首先把JDK传到/opt/software里

解压到/opt/moudle里

新建/etc/profile.d/my_env.sh
写入环境变量,之后source一下使它生效

查看一下JAVA版本

安装Hadoop

主要参考视频里的方式,如果出bug了就回去看自己之前写的实验文档。
校园网真的好慢,我有一大半的时光都浪费在等下载等上传上…

继续解压hadoop压缩包

再次编辑/etc/profile.d/my_env.sh文件,写入如下内容,然后source使它生效

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

此时查询Hadoop版本

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/770180.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号