需要工具:
VMware, jdk, centOS7, hadoop
Ⅰ.虚拟机安装centOS安装建议选用以下安装方式:centOS官网 The CentOS Project
VMware自行下载
图形化界面更直观 后续方便VMtools等工具使用 (复制粘贴文本 等主机交互命令)
设置和主机互传文件 (VMtools设置共享文件)桌面模式下设置root直接登录:
CentOS7自动以root身份登陆gnome桌面_DanylZhang的博客-CSDN博客_gnome root登录
安装VMware:
如何给CentOS 安装Vmware Tools(Linux桌面版安装)_键盘林的博客-CSDN博客_centos安装vmware tools
设置共享文件夹后 在Linux内/mnt/hgfs/目录下能找到共享文件
一些方便的命令(/快捷键):
#centOS默认上下翻页 shift + pgUp shift + pgDn #linux一些命令(快捷键) 输入智能补全: "Alt+/"ip设置 windows界面
1.进入虚拟网络编辑器
查看上图子网ip地址 (记录或者自行设置)
2.Windows进入网络适配器 配置VMnet8 ip
Linux界面#进入root用户 su root #重置root密码 sudo passwd #查看ip ifconfig #查看主机名 hostname #永久修改主机名为XXX hostnamectl set-hostname XXX #主机和ip映射 伪分布下只有主机 vi /etc/hostsⅡ.hosts文件配置(ip到主机的映射)
#hosts目录 添加hadoop主机名和ip vi /etc/hosts关闭防火墙
开启SSH服务 (免密登录)Centos7防火墙firewalld的基本配置操作和基本常用命令合集_Dong hua的博客-CSDN博客_centos7防火墙配置命令
ssh原理:结合Hadoop,简单理解SSH - jiapeng - 博客园
Ⅲ.配置JDKcentos7开启ssh服务_想做一个开森的胖纸的博客-CSDN博客_centos7 ssh
#进入根用户 su root
卸载系统自带jdk (openjdk不能使用javac) (如果有)
#查看 java -version #查找含有java的文件 rpm -qa | grep java #删除XXX和所有依赖包(慎用) yum -y remove XXX #只删除XXX rpm -e --nodeps XXX
yum 安装jdk (devel 版本)【Linux】CentOS7下安装JDK详细过程 - Angel挤一挤 - 博客园
#查看可安装jdk yum search java|grep jdk #安装XXX 这里是jdk1.8 dlevel (支持javac) yum install -y XXXⅣ.Hadoop设置伪分布模式(Pseudo-Distributed Operation)
伪分布模式:只有一台主机机器
对Hadoop相关文件进行配置
Centos之hadoop伪分布模式_大树下躲雨的博客-CSDN博客
Centos7 安装Hadoop (HDFS) 及HDFS的启动 - 九月江 - 博客园
启动服务后web管理页面:
简单版本:windows本地单节点配置Hadoophttp://localhost:8088
http://localhost:9870
仅需下载jdk和hadoop然后配置hadoop相关文件即可
Windows安装使用Hadoop3.0.0_weixin_33843409的博客-CSDN博客
winutils指路:Windows本地IDEA运行mapreduce报错java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset._noobiee的博客-CSDN博客
HDFS文件系统的本地位置?
Hadoop中HDFS的文件到底存储在集群节点本地文件系统哪里_YuanOo。的博客-CSDN博客_hdfs在哪里
References图解HDFS存储原理:
hadoop文件存储位置_Hadoop——HDFS_子月二二的博客-CSDN博客
CentOS安装Hadoop - 玄同太子 - 博客园



