安装Hadoop集群一般来讲比较困难,我们会采用CDH安装等集成环境,不过在安装这些集成环境时,比较臃肿,安装也很困难。我们尝试使用docker进行安装集群,从0开始,根据业务要求进行定制。
只要你认真细致,实际上安装hadoop集群也不是很难哦。
准备docker环境在这个dockerfile里面,我们先安装jdk1.8,免费后面要继续安装
同事,生成秘钥文件,为了将来机器之间免密访问
# 生成的新镜像以centos镜像为基础 FROM centos # 指定作者信息 MAINTAINER by Rudolfyan # 安装openssh-server RUN yum -y install openssh-server RUN mkdir /var/run/sshd RUN ssh-keygen -t rsa -f /etc/ssh/ssh_host_rsa_key RUN ssh-keygen -t dsa -f /etc/ssh/ssh_host_dsa_key # 指定root密码 RUN /bin/echo 'root:123456'|chpasswd RUN /bin/sed -i 's/.*session.*required.*pam_loginuid.so.*/session optional pam_loginuid.so/g' /etc/pam.d/sshd RUN /bin/echo -e "LANG="en_US.UTF-8"" > /etc/default/local RUN yum -y install java-1.8.0-openjdk.x86_64 EXPOSE 22 CMD /usr/sbin/sshd -D准备hadoop环境
我们下载hadoop3.2.1版本,通过U



