栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

linux閰嶇疆hadoop(hadoop瀹夎閰嶇疆)

linux閰嶇疆hadoop(hadoop瀹夎閰嶇疆)

需要工具:

VMware, jdk, centOS7, hadoop

Ⅰ.虚拟机安装

centOS官网 The CentOS Project
VMware自行下载

centOS安装建议选用以下安装方式:

 图形化界面更直观  后续方便VMtools等工具使用 (复制粘贴文本 等主机交互命令)

桌面模式下设置root直接登录:

CentOS7自动以root身份登陆gnome桌面_DanylZhang的博客-CSDN博客_gnome root登录

设置和主机互传文件 (VMtools设置共享文件)

安装VMware:

如何给CentOS 安装Vmware Tools(Linux桌面版安装)_键盘林的博客-CSDN博客_centos安装vmware tools

设置共享文件夹后 在Linux内/mnt/hgfs/目录下能找到共享文件

一些方便的命令(/快捷键):

#centOS默认上下翻页
shift + pgUp
shift + pgDn

#linux一些命令(快捷键)
输入智能补全: "Alt+/"

ip设置 windows界面

1.进入虚拟网络编辑器

 查看上图子网ip地址 (记录或者自行设置)

2.Windows进入网络适配器 配置VMnet8 ip

Linux界面
#进入root用户
su root

#重置root密码
sudo passwd

#查看ip
ifconfig

#查看主机名
hostname
#永久修改主机名为XXX
hostnamectl set-hostname XXX

#主机和ip映射  伪分布下只有主机
vi /etc/hosts
Ⅱ.hosts文件配置(ip到主机的映射)
#hosts目录  添加hadoop主机名和ip
vi /etc/hosts

关闭防火墙

Centos7防火墙firewalld的基本配置操作和基本常用命令合集_Dong hua的博客-CSDN博客_centos7防火墙配置命令

开启SSH服务 (免密登录)

ssh原理:结合Hadoop,简单理解SSH - jiapeng - 博客园

centos7开启ssh服务_想做一个开森的胖纸的博客-CSDN博客_centos7 ssh

Ⅲ.配置JDK
#进入根用户
su root

卸载系统自带jdk (openjdk不能使用javac) (如果有)

#查看
java -version

#查找含有java的文件
rpm -qa | grep java

#删除XXX和所有依赖包(慎用)
yum -y remove XXX
#只删除XXX
rpm -e --nodeps XXX

【Linux】CentOS7下安装JDK详细过程 - Angel挤一挤 - 博客园

yum 安装jdk (devel 版本)
#查看可安装jdk
yum search java|grep jdk

#安装XXX 这里是jdk1.8 dlevel (支持javac)
yum install -y XXX

Ⅳ.Hadoop设置伪分布模式(Pseudo-Distributed Operation)

伪分布模式:只有一台主机机器

对Hadoop相关文件进行配置

Centos之hadoop伪分布模式_大树下躲雨的博客-CSDN博客

Centos7 安装Hadoop (HDFS) 及HDFS的启动 - 九月江 - 博客园

启动服务后web管理页面:

http://localhost:8088
http://localhost:9870

简单版本:windows本地单节点配置Hadoop

仅需下载jdk和hadoop然后配置hadoop相关文件即可

Windows安装使用Hadoop3.0.0_weixin_33843409的博客-CSDN博客

winutils指路:Windows本地IDEA运行mapreduce报错java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset._noobiee的博客-CSDN博客

HDFS文件系统的本地位置?

Hadoop中HDFS的文件到底存储在集群节点本地文件系统哪里_YuanOo。的博客-CSDN博客_hdfs在哪里

图解HDFS存储原理:
hadoop文件存储位置_Hadoop——HDFS_子月二二的博客-CSDN博客

References

CentOS安装Hadoop - 玄同太子 - 博客园

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/772160.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号