栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 系统运维 > 运维 > Linux

新兵蛋子入住Hadoop第七天

Linux 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

新兵蛋子入住Hadoop第七天

完全分布式运行模式(开发重点)

1)准备客户机 2)安装jdk 3) 配置环境变量 4)安装hadoop 5)配置环境变量

6)配置集群 7)单点启动 8) 配置ssh 9)群起并测试集群

scp语法

scp定义(可以实现服务器之间的数据拷贝/安全拷贝)

基本语法

scp-r$pdir/$frame$user@atguigu:$pdir/$fname
命令递归要拷贝的文件路径/名称目的地用户@主机:目的地路径@名称

案例实操

1、在hadoop102上,将hadoop102中/opt/module/jdk1.8.0_212目录拷贝到hadoop103上

scp -r /opt/module/jdk1.8.0_212/ atduigu@hadoop103:/opt/module/

2、在hadoop103上,将hadoop102中/opt/module/hadoop-3.1.3目录拷贝到hadoop103上

scp -r  atguigu@hadoop102:/opt/module/hadoop-3.1.3 /opt/module/

3.在hadoop103上,将hadoop102中/opt/module/hadoop-3.1.3目录拷贝到hadoop104上

scp -r  atguigu@hadoop102:/opt/module/* atguigu@hadoop104:/opt/module/

rsync远程同步工具

rsync主要用于备份和镜像。具有速度快,避免复制相同内容和支持符号链接的优点

rsync和scp区别:用rsync做文件的复制要比scp的速度快,rsync只对差异文件做更新,scp是把所有文件都复制过去。

基本语法
rsync-av$pdir/$fname$user@$host:$pair/$fname
命令选项参数要拷贝的文件路径/名称目的地用户@主机:目的地路径/名称

进项参数说明

选项功能
-a归档拷贝
-v显示复制过程

案例实操

1.删除hadoop103中/opt/module/hadoop-3.1.3/wcinput

rm -rf wcinput/wcoutput/ 删除两个文件,删除一个或者两个都行

2.同步hadoop102中的/opt/module/hadoop-3.1.3到hadoop103

rsync -av hadoop-3.1.3/ atguigu@hadoop103:/opt/module/hadoop-3.1.3/

xsync集群分发脚本

xsync:循环复制文件到所有节点的相同目录下

在/home/atguigu/bin目录下创建xsync文件

[atguigu@hadoop102 opt]$ cd /home/mischen

[atguigu@hadoop102 ~]$ mkdir bin

[atguigu@hadoop102 ~]$ cd bin

[atguigu@hadoop102 bin]$ vim xsync

打开xsync加入脚本

修改脚本 xsync 具有执行权限

[atguigu@hadoop102 bin]$ chmod 777 xsync

测试脚本

[atguigu@hadoop102 ~]$ xsync bin/

同步环境变量配置(root所有者)

[atguigu@hadoop102 ~]$ sudo ./bin/xsync /etc/profile.d/my_env.sh

注意:如果用了sudo,那么xsync一定要给它的路径补全。

让环境变量生效

[atguigu@hadoop103 bin]$ source /etc/profile

ssh免密登录

ls -al 查看所有文件(包含隐藏文件)

配置密钥对命令:

ssh-keygen - t rsa +三次回车

将公钥拷贝到对应的主机上(访问自己也需要给自己拷贝公钥)

ssh-copy-id+主机名称

root用户下免密对登录也需要

1.配置密钥对2.拷贝公钥

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/871507.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号