栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

大数据生态(四)集群部署提前准备

大数据生态(四)集群部署提前准备

目录

文档方法无法永久关闭集群防火墙

查看防火墙状态

临时关闭防火墙

永久关闭

禁用透明页面压缩(Transparent Huge Pages),无效

原因

更改主机名

修改主机名

将主机名和ip绑定在一起

检测

创建群组和用户

设置ulimit参数

创建hadoop-hdfs目录

创建e3-info目录

.bash_profile配置

查看端口占用情况

时间同步问题

查看时间

同步时间

修改时区

安装ntpdate

关于e3base目录

文档方法无法永久关闭集群防火墙 查看防火墙状态

systemctl status firewalld

临时关闭防火墙

systemctl stop firewalld

永久关闭

systemctl disable firewalld

禁用透明页面压缩(Transparent Huge Pages),无效

原因:查看路径不对

文档命令:

echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag
echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled

实际路径:/sys/kernel/mm/ ransparent_hugepage/enabled

更正:

echo never > /sys/kernel/mm/ ransparent_hugepage/enabled
echo never > /sys/kernel/mm/ transparent_hugepage/enabled


检测命令同样需要修改路径:

cat /sys/kernel/mm/transparent_hugepage/defrag

更改主机名 修改主机名

​ vi /etc/sysconfig/network

vi /etc/hosts:将主机名和ip绑定在一起

检测

Reboot重启检测:

Hostname

cat /etc/sysconfig/network

cat /etc/hosts

创建群组和用户 1.创建新用户

useradd 用户名(以newUser为例)//创建用户 newUser
passwd 用户名(以newUser为例)//给用户newUser设置密码

用户的信息文件目录为; /home

正确的方法:

PS:passwd -S newUser //显示用户密码信息

​ passwd -d newUser //删除用户密码

2.新建组

groupadd 组名(以e3base_lxg为例)//创建组e3base_lxg

3.创建用户的同时加入某个组

useradd -g 组名(以e3base_lxg为例) 用户名(以B为例)//创建用户A,并将其加入组e3base_lxg

4.给已有的用户增加工作组

gpasswd -a 用户名 组名 //将e3base01加入组e3base_lxg

5.永久性删除用户

userdel 用户名(newUser)//删除用户newUser

Userdel -rf user 删除用户以及文件夹

groupdel 组名(B)//删除组B

不演示了一样,保留组接下来操作

6.从组中删除用户

gpasswd -d 用户名 组名

7.显示用户信息

id 用户名

或者
cat /etc/passwd查看该文件

8.查看群组

查看当前用户所在组 :Groups

查看用户组 cat /etc/group

​ 筛选组:

cat /etc/group | grep group_name:

e3base_lxg中有B和e3base01两个用户

9.切换用户(系统用户)

Su 用户名

低权限到高权限要密码

设置ulimit参数

两个用户:root和e3base01

ulimit -u 65536 /ulimit -n 1048576 /ulimit -s 262144 /ulimit -c 65536

创建hadoop-hdfs目录

mkdir /var/run/hadoop-hdfs/

sudo chmod -R 755 /var/run/hadoop-hdfs/ //这里root用户可以不用sudo 赋权

创建e3-info目录

补充:cd /home home下,在这里可以看到home路径下存放的都是用户文件夹。

正文

在集群中各主机的/e3base路径下(cd /e3base)下创建e3-info路径,

.bash_profile配置

输入 vi ~/.bash_profile (注意要用户组用户的)

export E3_INFO_HOME=/e3base/e3-info

立即生效:source ~/.bash_profile

查看端口占用情况

netstat -an 查看端口占用情况

netstat -tunlp|grep 端口号,用于查看指定端口号的进程情况

时间同步问题 查看时间

date -R

PS:美国山地时区是西七区,-0700

同步时间

ntpdate -u ntp.api.bz

ntp常用服务器:

中国国家授时中心:210.72.145.44
NTP服务器(上海) :ntp.api.bz
美国: time.nist.gov
复旦: ntp.fudan.edu.cn
微软公司授时主机(美国) :time.windows.com
北京邮电大学 : s1a.time.edu.cn
清华大学 : s1b.time.edu.cn
北京大学 : s1c.time.edu.cn
台警大授时中心(台湾):asia.pool.ntp.org

修改时区

​ 可以修改相关配置文件,最方便的还是采用tzselect 命令进行选择:

执行tzselect命令–>选择Asia–>选择China–>选择east China - Beijing, Guangdong, Shanghai, etc–>然后输入1。

安装ntpdate

​ yum intsall ntpdate

关于e3base目录

​ 在前述配置中(本文没有在配置文档中),配置了应用目录 /e3base 以及创建了/e3base/e3-ifo文件夹,并在.bash/profile 中添加变量:

​ 输出

后续文档中的变量$E3_INFO_HOME即为该地址。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/585279.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号