栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

实验一:熟悉常用的Linux操作和Hadoop操作

实验一:熟悉常用的Linux操作和Hadoop操作

一、实验目的

Hadoop运行在Linux系统上,因此,需要学习实践一些常用的Linux命令。本实验旨在熟悉常用的Linux操作和Hadoop操作,为顺利开展后续其他实验奠定基础。

二、实验平台
	操作系统:Linux(ubuntu-18.04)
	Java:jdk-8u191-linux-x64Hadoop : hadoop-2.7.1
三、实验步骤

复制 :ctrl + shift +c
黏贴 :ctrl + shift +v
打开终端快捷键 : ctrl + alt +t
清除屏幕 :clear

(一)熟悉常用的Linux操作

 cd命令:切换目录
(1) 切换到目录“/usr/local”

cd /usr/local


(2) 切换到当前目录的上一级目录

cd ..


(3) 切换到当前登录Linux系统的用户的自己的主文件夹

cd ~

 ls命令:查看文件与目录
(4)查看目录“/usr”下的所有文件和目录

ls /usr

 mkdir命令:新建目录
(5)进入“/tmp”目录,创建一个名为“a”的目录,并查看“/tmp”目录下已经存在哪些目录

cd /tmp
mkdir a
ls

(6)进入“/tmp”目录,创建目录“a1/a2/a3/a4”

cd /tmp
mkdir -p a1/a2/a3/a4


 rmdir命令:删除空的目录
(7)将上面创建的目录a(在“/tmp”目录下面)删除

rm -rf /tmp/a


(8)删除上面创建的目录“a1/a2/a3/a4” (在“/tmp”目录下面),然后查看“/tmp”目录下面存在哪些目录

rm -rf a1

 cp命令:复制文件或目录
(9)将当前用户的主文件夹下的文件.bashrc复制到目录“/usr”下,并重命名为bashrc1

sudo cp ~/.bashrc /usr/
sudo mv /usr/.bashrc /usr/.bashrc1

(10)在目录“/tmp”下新建目录test,再把这个目录复制到“/usr”目录下

mkdir /tmp/test
sudo cp -r /tmp/test /usr/

 mv命令:移动文件与目录,或更名
(11)将“/usr”目录下的文件bashrc1移动到“/usr/test”目录下

sudo mv /usr/.bashrc1 /usr/test


(12)将“/usr”目录下的test目录重命名为test2

sudo mv /usr/test /usr/test2


 rm命令:移除文件或目录
(13)将“/usr/test2”目录下的bashrc1文件 删除

sudo rm -f /usr/test2/.bashrc1


(14)将“/usr”目录下的test2目录 删除

sudo rm -rf /usr/test2


 cat命令:查看文件内容
(15)查看当前用户主文件夹下的.bashrc文件内容

cat ~/.bashrc


 tac命令:反向查看文件内容
(16)反向查看当前用户主文件夹下的.bashrc文件的内容

tac ~/.bashrc


 more命令:一页一页翻动查看
(17)翻页查看当前用户主文件夹下的.bashrc文件的内容

more ~/.bashrc


 head命令:取出前面几行
(18)查看当前用户主文件夹下.bashrc文件内容前20行

head -n 20 ~/.bashrc


(19)查看当前用户主文件夹下.bashrc文件内容,后面50行不显示,只显示前面几行

head -n -50 ~/.bashrc


 tail命令:取出后面几行
(20)查看当前用户主文件夹下.bashrc文件内容最后20行

tail -n 20 ~/.bashrc


(21)查看当前用户主文件夹下.bashrc文件内容,并且只列出50行以后的数据

tail -n +50 ~/.bashrc


 touch命令:修改文件时间或创建新文件
(22)在“/tmp”目录下创建一个空文件hello,并查看文件时间

touch hello
ls -l hello


(23)修改hello文件,将文件时间整为5天前

touch -d "5 days ago" hello


 chown命令:修改文件所有者权限
(24)将hello文件所有者改为root帐号,并查看属性

sudo chown root /tmp/hello


 find命令:文件查找
(25)找出主文件夹下文件名为.bashrc的文件

find ~/.bashrc

 tar命令:压缩命令
(26)在根目录“/”下新建文件夹test,然后在根目录“/”下打包成test.tar.gz

cd /
touch test
sudo tar -zcvf /test.tar.gz test

(27)把上面的test.tar.gz压缩包,解压缩到“/tmp”目录

sudo tar -zxvf /test.tar.gz -C /tmp


 grep命令:查找字符串
(28)从“~/.bashrc”文件中查找字符串’examples’

grep examples ~/.bashrc

 配置环境变量
(29)请在“~/.bashrc”中设置,配置Java环境变量

gedit ~/.bashrc

首行加入 : export JAVA_HOME=“JDK位置”
(30)查看JAVA_HOME变量的值

echo $JAVA_HOME

(二)熟悉常用的Hadoop操作

(31)使用hadoop用户登录Linux系统,启动Hadoop(Hadoop的安装目录为“/usr/local/hadoop”),为hadoop用户在HDFS中创建用户目录“/user/hadoop”

hadoop fs -mkdir -p /user/hadoop

(32)接着在HDFS的目录“/user/hadoop”下,创建test文件夹,并查看文件列表

hadoop fs -mkdir /user/hadoop/test

(33)将Linux系统本地的“~/.bashrc”文件上传到HDFS的test文件夹中,并查看test

hadoop fs -put ~/.bashrc /user/hadoop/test
hadoop fs -ls /user/hadoop/test


(34)将HDFS文件夹test复制到Linux系统本地文件系统的“/usr/local/hadoop”目录下

hadoop fs -get /user/hadoop/test ./
ls

其中 /user/hadoop/test 为HDFS文件夹test的路径。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/780934.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号