hadoop分布式文件系统(伪分布式hadoop安装)

下载jdk安装包

下载hadoop安装包，下载地址

ssh免密登录配置

# 生成.ssh目录
ssh localhost
cd .ssh
ssh-keygen -t dsa -P '' -f id_dsa
cat id_dsa.pub >> authorized_keys
chmod 600 authorized_keys
#如果想让node01免密登录node02，则在node01执行
scp id_dsa.pub node02:`pwd`/node01.pub
#然后登录node02，在.ssh目录下执行
cat node01.pub >> authorized_keys
chmod 600 authorized_keys

jdk安装完要修改环境变量，并重新加载

vim /etc/profile

export JAVA_HOME=/usr/local/java
export PATH=$PATH:$JAVA_HOME/bin

source /etc/profile

安装hadoop，配置hadoop的环境变量

tar xf hadoop-2.6.5.tar.gz
mv hadoop-2.6.5 /opt/bigdata
vim /etc/profile

export HADOOP_HOME=/opt/bigdata/hadoop-2.6.5
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile
cd $HADOOP_HOME/etc/hadoop

修改hadoop-env.sh中java的环境变量

export JAVA_HOME=/usr/local/java

修改core-site.xml和hdfs-site.xml，内容参见此链接

在core-site.xml中增加如下配置：

    
        fs.defaultFS
        hdfs://node01:9000
    

在hdfs-site.xml中增加如下配置：

    
        dfs.replication
        1
    
    
    
        dfs.namenode.name.dir
        /var/bigdata/hadoop/local/dfs/name
    
	
    
        dfs.datanode.data.dir
        /var/bigdata/hadoop/local/dfs/data
    
    
    
        dfs.namenode.secondary.http-address
        node01:50090
    
    
    
        dfs.namenode.checkpoint.dir
        /var/bigdata/hadoop/local/dfs/secondary
    

配置过hadoop的环境变量后，可以在任意目录直接使用hadoop的命令

格式化hdfs，正常来说安装完毕后只需要执行一次该命令，执行时会删掉所有数据

hdfs namenode -format

启动hdfs

start-dfs.sh
stop-dfs.sh

启动后，可以打开浏览器输入地址（本地需要修改hosts文件）：

namenode地址：http://node01:50070/

secondaryNamenode地址：http://node01:50090/

可以在hdfs创建目录并上传文件

hdfs dfs -mkdir -p /user/hadoop
hdfs dfs -put /opt/soft/hadoop-2.6.5.tar.gz /user/hadoop

在http://node01:50070/中，Utilities -> Browse the file system中查看上传的文件

文件在上传过程中会展示成 文件名.CPOYING，上传成功后才显示为正常的文件名