栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

在Ubuntu里安装Java环境,以及一些格式化报错的解决方法,建议大家先把文章看完在配,因为有一些出错原有在后面,看完之后调整顺序。

在Ubuntu里安装Java环境,以及一些格式化报错的解决方法,建议大家先把文章看完在配,因为有一些出错原有在后面,看完之后调整顺序。

安装SSH、配置SSH无密码登陆##

1,安装SSH
输入命令: sudo apt-get install openssh-server

2,安装后,使用如下命令登录本机
ssh localhost

3,退出刚才的ssh localhost
exit
4,切换到ssh目录
cd ~/.ssh

5,创建密钥,输入命令:ssh-keygen -t rsa

6,加入授权,输入命令:cat /id_rsa.pub >> ./authorized_keys
7,此时在输入ssh localhost命令,就可以不用密码登录了

创建hadoop用户

1,创建Hadoop用户,输入命令:sudo useradd -m hadoop -s /bin/bash

2,设置密码,输入命令:sudo passwd hadoop

3,为Hadoop用户增加管理员权限:sudo adduser hadoop sudo

更新apt

1输入命令:sudo apt-get update

2,安装vim:sudo apt-get install vim

安装Java环境

1,利用ftp下载jdk和Hadoop压缩包文件到Ubuntu中

21端口是ftp,22端口是ssh两个协议不同
2,把jdk传到/home/hadoop目录下

3,创建/usr/lib/jvm目录用在存放JDK文件

4,切换到/home/hadoop目录下

5,解压JDK:sudo tar -zxvf ./jdk-8u162-liunx-x64.tar.gz -C /usr/lib/jvm
6,去解压目录查看是否解压成功

7,修改环境变量
在文件vim ~/.bashrc中加入如下内容:
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162
export JRE_HOME= J A V A H O M E / j r e e x p o r t C L A S S P A T H = . : {JAVA_HOME}/jre export CLASSPATH=.: JAVAH​OME/jreexportCLASSPATH=.:{JAVA_HOME}/lib: J R E H O M E / l i b e x p o r t P A T H = {JRE_HOME}/lib export PATH= JREH​OME/libexportPATH={JAVA_HOME}/bin:$PATH

8,使环境变量生效:source ~/.bashrc
9,检验是否配置成功

安装 Hadoop 2

1,通过FTP把Hadoop下载到虚拟机中

2,检查Hadoop是否下载成功

3,解压Hadoop安装包
sudo tar -zxvf ./hadoop-2.7.1.tar.gz -C /usr/local
4,查看解压目录

5,将hadoop-1.7.1.tar.gz改名为hadoop
输入命令:sudo mv ./hadoop-2.7.1/ ./hadoop ./是相对路径

6,修改文件权限:sudo chown -R hadoop ./hadoop
7,检查hadoop是否可用: ./bin/hadoop version 要在Hadoop解压路径下

Hadoop单机配置(非分布式)

Hadoop 默认模式为非分布式模式(本地模式),无需进行其他配置即可运行。非分布式即单 Java 进程,方便进行调试。
Hadoop伪分布式配置
Hadoop 可以在单节点上以伪分布式的方式运行,Hadoop 进程以分离的 Java 进程来运行,节点既作为 NameNode 也作为 DataNode,同时,读取的是 HDFS 中的文件。
Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中,伪分布式需要修改2个配置文件?core-site.xml?和?hdfs-site.xml?。Hadoop的配置文件是 xml 格式,每个配置以声明 property 的 name 和 value 的方式来实现。

1,修改配置文件core-site.xml,添加如下内容。
注意目录位置,输入:sudo vim core-site.xml



hadoop.tmp.dir
file:/usr/local/hadoop/tmp
Abase for other temporary directories.


fs.defaultFS
hdfs://localhost:9000



2,修改配置文件hdfs-site.xml,添加如下内容。
注意目录位置,输入:sudo vim hdfs-site.xml



dfs.replication
1


dfs.namenode.name.dir
file:/usr/ local/hadoop/tmp/dfs/name


dfs.datanode.data.dir
file:/usr/local/hadoop/tmp/dfs/data



3,配置完成后,执行NameNode的格式化
切换目录:cd /usr/local/hadoop
格式化:./bin/hdfs namenode -format

报错了,显示无法创建文件。

解决方法:
1,尝试修改主机名

把主机名改为spark

修改完:


重新格式化之后还是报一样的错。
2,检查地址映射,输入命令:sudo vim /etc/hosts

3,权限问题:
进入root用户:sudo su
给spark用户赋权限:sudo chown -R spark /usr/local/hadoop/
在进入spark用户:su spark
在hadoop目录下重新格式化

可以看到显示成功。

4,开启namenode和datanode守护进程
输入命令:./sbin/start-dfs.sh

5,输入jps查看进程

6,创建目录:./bin/hdfs dfs -mkdir -p /user/hadoop

7,在浏览器中进入HDFS网页
输入网址http://192.168.14.183:50070

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/780543.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号