栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Docker学习笔记(二)

Docker学习笔记(二)

Docker部署hadoop集群 一、Docker基本介绍

1、Docker 是一个开源的应用容器引擎,是一个轻量级容器技术。其中,容器是一种通用技术,docker只是其中一种容器应用技术。
2、Docker 是开发者可以打包自己的应用以及环境依赖包到一个可移植的容器中,然后发布到任何流行的 Linux 机器上,可以实现虚拟化。
3、Docker它还可将应用程序与基础架构分开,从而可以快速交付软件,快速部署其他环境下的程序。
4、Docker容器是完全使用沙箱机制,相互之间不会有任何接口,性能好,启动快。

二、Docker核心概念

1、Docker组成
docker主机、docker客户端、
docker仓库(docker Hub有多种镜像可以用)、
docker镜像、docker容器。
2、核心命令:docker build、docker run、docker pull(下载镜像)
3、Docker底层实现:
(1)NameSpace可以实现资源隔离。
(2)Control groups可以实现控制容器对系统资源的消耗。

三、Docker的搭建Hadoop集群环境大致步骤

举例:设置一个集群,包含4台采用Docker创建的容器环境
1、安装docker
2、拉取cnetos7:latest镜像
3、创建容器:创建容器时需要设置固定IP
(1)创建容器时需要设置固定IP
(2)子网创建完成之后就可以创建固定IP的容器了
4、每一容器上部署Openssh。分别对着slaves安装openssh,分别cluster-slave2,cluster-slave重复以上步骤。
5、cluster-master公钥分发。文件生成之后用scp将公钥文件分发到集群slave主机。分发后要进行测试,确定是否可以免密登陆。
6、Ansible安装。可以使用官方自带的安装,然后编辑ansible的hosts文件。
7、配置docker容器hosts。为了让容器在重启之后获取集群hosts,使用了一种启动容器后重写hosts的方法。
8、用ansible分发.bashrc至集群slave下。
9、Hadoop搭建在集群中搭建openjdk。
10、在cluster-master上安装hadoop,选择2.7.4稳定版或者其他。下载完成后解压安装包并创建连接。
11、设置java和hadoop环境变量(.bashrc),
12、修改hadoop所运行需要配置的文件。例如hdfs-site.xml, mapred-site.xml, yarn-site.xml。
13、打包hadoop文件。使得ansible可以分发到slave主机。
14、使用ansible-playbook分发.bashrc和hadoop-dis.tar至slave主机。需要写一个yaml文件保存为hadoop-dis.yaml并执行语句。
15、格式化namenode。等待return 0;Sucessfully formatted字样。
16、启动hadoop集群。在$HADOOP_HOME/sbin下有几个启动和停止的脚本。

参考网址
[1]https://www.jianshu.com/p/d7fa21504784
[2]https://www.jianshu.com/p/0c7b6de487ce
[3]https://www.cnblogs.com/upupfeng/p/13616125.html
[4]https://zhuanlan.zhihu.com/p/187505981?utm_source=wechat_session&utm_medium=social&utm_oi=623588072344915968&utm_campaign=shareopn
[5]https://zhuanlan.zhihu.com/p/421375012

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/326436.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号