1,安装SSH
输入命令: sudo apt-get install openssh-server
2,安装后,使用如下命令登录本机
ssh localhost
3,退出刚才的ssh localhost
exit
4,切换到ssh目录
cd ~/.ssh
5,创建密钥,输入命令:ssh-keygen -t rsa
6,加入授权,输入命令:cat /id_rsa.pub >> ./authorized_keys
7,此时在输入ssh localhost命令,就可以不用密码登录了
1,创建Hadoop用户,输入命令:sudo useradd -m hadoop -s /bin/bash
2,设置密码,输入命令:sudo passwd hadoop
3,为Hadoop用户增加管理员权限:sudo adduser hadoop sudo
1输入命令:sudo apt-get update
2,安装vim:sudo apt-get install vim
1,利用ftp下载jdk和Hadoop压缩包文件到Ubuntu中
21端口是ftp,22端口是ssh两个协议不同
2,把jdk传到/home/hadoop目录下
3,创建/usr/lib/jvm目录用在存放JDK文件
4,切换到/home/hadoop目录下
5,解压JDK:sudo tar -zxvf ./jdk-8u162-liunx-x64.tar.gz -C /usr/lib/jvm
6,去解压目录查看是否解压成功
7,修改环境变量
在文件vim ~/.bashrc中加入如下内容:
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162
export JRE_HOME=
J
A
V
A
H
O
M
E
/
j
r
e
e
x
p
o
r
t
C
L
A
S
S
P
A
T
H
=
.
:
{JAVA_HOME}/jre export CLASSPATH=.:
JAVAHOME/jreexportCLASSPATH=.:{JAVA_HOME}/lib:
J
R
E
H
O
M
E
/
l
i
b
e
x
p
o
r
t
P
A
T
H
=
{JRE_HOME}/lib export PATH=
JREHOME/libexportPATH={JAVA_HOME}/bin:$PATH
8,使环境变量生效:source ~/.bashrc
9,检验是否配置成功
1,通过FTP把Hadoop下载到虚拟机中
2,检查Hadoop是否下载成功
3,解压Hadoop安装包
sudo tar -zxvf ./hadoop-2.7.1.tar.gz -C /usr/local
4,查看解压目录
5,将hadoop-1.7.1.tar.gz改名为hadoop
输入命令:sudo mv ./hadoop-2.7.1/ ./hadoop ./是相对路径
6,修改文件权限:sudo chown -R hadoop ./hadoop
7,检查hadoop是否可用: ./bin/hadoop version 要在Hadoop解压路径下
Hadoop 默认模式为非分布式模式(本地模式),无需进行其他配置即可运行。非分布式即单 Java 进程,方便进行调试。
Hadoop伪分布式配置
Hadoop 可以在单节点上以伪分布式的方式运行,Hadoop 进程以分离的 Java 进程来运行,节点既作为 NameNode 也作为 DataNode,同时,读取的是 HDFS 中的文件。
Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中,伪分布式需要修改2个配置文件?core-site.xml?和?hdfs-site.xml?。Hadoop的配置文件是 xml 格式,每个配置以声明 property 的 name 和 value 的方式来实现。
1,修改配置文件core-site.xml,添加如下内容。
注意目录位置,输入:sudo vim core-site.xml
hadoop.tmp.dir file:/usr/local/hadoop/tmp Abase for other temporary directories. fs.defaultFS hdfs://localhost:9000
2,修改配置文件hdfs-site.xml,添加如下内容。
注意目录位置,输入:sudo vim hdfs-site.xml
dfs.replication 1 dfs.namenode.name.dir file:/usr/ local/hadoop/tmp/dfs/name dfs.datanode.data.dir file:/usr/local/hadoop/tmp/dfs/data
3,配置完成后,执行NameNode的格式化
切换目录:cd /usr/local/hadoop
格式化:./bin/hdfs namenode -format
报错了,显示无法创建文件。
解决方法:
1,尝试修改主机名
把主机名改为spark
修改完:
重新格式化之后还是报一样的错。
2,检查地址映射,输入命令:sudo vim /etc/hosts
3,权限问题:
进入root用户:sudo su
给spark用户赋权限:sudo chown -R spark /usr/local/hadoop/
在进入spark用户:su spark
在hadoop目录下重新格式化
可以看到显示成功。
4,开启namenode和datanode守护进程
输入命令:./sbin/start-dfs.sh
5,输入jps查看进程
6,创建目录:./bin/hdfs dfs -mkdir -p /user/hadoop
7,在浏览器中进入HDFS网页
输入网址http://192.168.14.183:50070



