前期准备老早之前就说要在虚拟机上装一波Kubernetes集群，但是呢之前装了一次报错了，后来一直也没有重装，趁着这几天放假休息，又重新装了一波，可算是搞定了，本篇文章就将安装的注意事项，以及安装过程向大家分享一下，让大家避免踩坑。
本文仅针对kubeadm安装。
Kubernetes集群安装对硬件的要求还是比较高的，一般最低要求3台2核4G，这里我们的linux版本也选择常用的Cent OS 7.6。
一般呢，我们自己想要搭建学习环境首先得有一台模板虚拟机，就是硬件、操作系统、网络、基本命令，防火墙等都设置OK的linux虚拟主机，后续需要扩展集群只需要拷贝该模板机，修改主机名和静态IP地址即可。
这里如何设置模板机，我之前出过文档，大家可以参考 模板虚拟机安装文档 。
一般操作步骤就是：
能支持开启多台虚拟机的高配主机一台（8核，16G，300G空闲存储）安装虚拟机软件，新建虚拟机，设置虚拟机硬件安装操作系统，需提前准备要安装操作系统的版本主机装XShell、XFtp等远程连接工具（操作更方便）安装Linux常用命令设置网络，配置静态IP关闭防火墙模板机构建完毕，拷贝模板机（修改主机名和静态IP地址）使用即可 Kubernetes 安装注意事项
硬件分配一定不能太吝啬（2核4G）
Docker版本一定要与Kubernetes版本对应，如果不对应后续安装是会出错的，我就在这翻车了
Docker版本选择 点击想要安装的K8s版本，进入查看哪些版本的Docker支持
小知识： 如果版本安装错误如何回退呢？
# 1 docker版本错误 # 1.1 停止docker服务 systemctl stop docker.service # 1.2 下载正确的docker版本（版本号一定要写对） yum downgrade --setopt=obsoletes=0 -y docker-ce-18.09.5-3.el7 docker-ce-cli-18.09.5-3.el7 containerd.io # 1.3 启动docker服务 systemctl start docker.service # 2 kubernetes版本错误 # 2.1 重置kubeadm kubeadm reset # 2.2 卸载 yum erase -y kubelet kubectl kubeadm kubernetes-cni # 2.3 重新安装 yum install -y kubelet-1.15.1 kubeadm-1.15.1 kubectl-1.15.1 # 查看版本 kubectl versionKubeadm 安装K8s
克隆三台机器，一台主节点两台从节点，这里我们搭建简单集群（非高可用集群）
小知识： 使用Xshell工具批量执行命令（三台机器需要同时执行的命令）
如下图，我们可以在命令编辑窗口选择命令的应用范围，回车即可执行到对应窗口
Docker 安装卸载docker旧版本
# 在 master 节点和 slave 节点都要执行 sudo yum remove -y docker docker-client docker-client-latest docker-common docker-latest docker-latest-logrotate docker-logrotate docker-selinux docker-engine-selinux docker-engine
设置docker镜像源
# 在 master 节点和 slave 节点都要执行 sudo yum install -y yum-utils device-mapper-persistent-data lvm2 sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
安装并启动 docker
# 在 master 节点和 slave 节点都要执行 sudo yum install -y docker-ce-18.09.7 docker-ce-cli-18.09.7 containerd.io # 自动启动 sudo systemctl enable docker sudo systemctl start docker # 检查doker版本 docker version安装 nfs-utils
# 在 master 节点和 slave 节点都要执行 sudo yum install -y nfs-utils
必须先安装 nfs-utils 才能挂载 nfs 网络存储
K8S基本配置配置K8S的yum源
# 在 master 节点和 slave 节点都要执行 cat </etc/yum.repos.d/kubernetes.repo [kubernetes] name=Kubernetes baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64 enabled=1 gpgcheck=0 repo_gpgcheck=0 gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg EOF
关闭 防火墙、SeLinux、swap
# 在 master 节点和 slave 节点都要执行 systemctl stop firewalld systemctl disable firewalld setenforce 0 sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config swapoff -a yes | cp /etc/fstab /etc/fstab_bak cat /etc/fstab_bak |grep -v swap > /etc/fstab
修改 /etc/sysctl.conf
# 在 master 节点和 slave 节点都要执行 vim /etc/sysctl.conf
添加(追加至末尾即可)
net.ipv4.ip_forward = 1 net.bridge.bridge-nf-call-ip6tables = 1 net.bridge.bridge-nf-call-iptables = 1
执行命令以应用
# 在 master 节点和 slave 节点都要执行 sysctl -p
安装kubelet、kubeadm、kubectl
# 在 master 节点和 slave 节点都要执行 yum install -y kubelet-1.15.1 kubeadm-1.15.1 kubectl-1.15.1
修改docker Cgroup Driver为systemd ，如果不修改后续，从节点加入集群会出错
# 在 master 节点和 slave 节点都要执行 vim /usr/lib/systemd/system/docker.service
# 将--exec-opt native.cgroupdriver=systemd 添加在 # ExecStart=/usr/bin/dockerd -H fd:// --containerd=/run/containerd/containerd.sock 后边 ExecStart=/usr/bin/dockerd -H fd:// --containerd=/run/containerd/containerd.sock --exec-opt native.cgroupdriver=systemd
设置 docker 镜像
执行以下命令使用 docker 国内镜像，提高 docker 镜像下载速度和稳定
# 在 master 节点和 slave 节点都要执行 curl -sSL https://get.daocloud.io/daotools/set_mirror.sh | sh -s http://f1361db2.m.daocloud.io
重启 docker，并启动 kubelet
# 在 master 节点和 slave 节点都要执行 systemctl daemon-reload systemctl restart docker
启动 kubelet
# 在 master 节点和 slave 节点都要执行 systemctl enable kubelet systemctl start kubelet初始化主节点
在/etc/hosts中设置域名
这里我们可以给三台主机设置对应的域名，便于访问（x.x.x.x 处写每台主机对应的静态IP）
# 在 master 节点和 slave 节点都要执行 echo "x.x.x.x master" >> /etc/hosts echo "x.x.x.x slave1" >> /etc/hosts echo "x.x.x.x slave2" >> /etc/hosts
创建 ./kubeadm-config.yaml
初始化只在主节点执行即可
# 只在 master 节点执行 cat <./kubeadm-config.yaml apiVersion: kubeadm.k8s.io/v1beta1 kind: ClusterConfiguration kubernetesVersion: v1.15.1 imageRepository: registry.cn-hangzhou.aliyuncs.com/google_containers controlPlaneEndpoint: "master:6443" networking: podSubnet: "10.100.0.1/20" EOF
注：podSubnet 所使用的网段不能与节点所在的网段重叠
初始化 apiserver
# 只在 master 节点执行 kubeadm init --config=kubeadm-config.yaml --upload-certs
这里是最容易出错的一点，跑错不要慌，翻译一下错误，对应解决就行（可能端口占用，可能版本不对应，可能上边某些步骤配置错误）
没抛错的话，这里会慢一些，稍等几分
正常会输出Your Kubernetes control-Plane has initialized successfully! 然后巴拉巴拉一堆内容，注意
Your Kubernetes control-plane has initialized successfully!
To start using your cluster, you need to run the following as a regular user:
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
https://kubernetes.io/docs/concepts/cluster-administration/addons/
You can now join any number of the control-plane node running the following command on each as root:
kubeadm join master:6443 --token hdlzr4.xit38cbhscw2uyii
--discovery-token-ca-cert-hash sha256:0a4d7b1c842cd125f0d5fad97f64aadc51bbb595591699e6e4181cb92b515a11
--control-plane --certificate-key 58d2c5f895097bfde0124955f7c1355f633f51bd0317b9b5bfcf6f3df0272189
Please note that the certificate-key gives access to cluster sensitive data, keep it secret!
As a safeguard, uploaded-certs will be deleted in two hours; If necessary, you can use
"kubeadm init phase upload-certs --upload-certs" to reload certs afterward.
Then you can join any number of worker nodes by running the following on each as root:
kubeadm join master:6443 --token hdlzr4.xit38cbhscw2uyii
--discovery-token-ca-cert-hash sha256:0a4d7b1c842cd125f0d5fad97f64aadc51bbb595591699e6e4181cb92b515a11
初始化 root 用户的 kubectl 配置
# 只在 master 节点执行 rm -rf /root/.kube/ mkdir /root/.kube/ cp -i /etc/kubernetes/admin.conf /root/.kube/config
安装 calico
# 只在 master 节点执行 kubectl apply -f https://docs.projectcalico.org/v3.6/getting-started/kubernetes/installation/hosted/kubernetes-datastore/calico-networking/1.7/calico.yaml
calico安装就绪，执行如下命令，等待 3-10 分钟，直到所有的容器组处于 Running 状态
# 只在 master 节点执行 watch kubectl get pod -n kube-system
检查 master 初始化结果
# 只在 master 节点执行 kubectl get nodes
这样主节点我们就安装完毕了
初始化从节点获得 join命令参数
# 只在 master 节点执行 kubeadm token create --print-join-command
这里我们会得到一个token，注意token过期
在从节点上使用join命令即可，细心的同学就会发现在主节点初始化成功后，这个命令已经打印在屏幕上了
# 只在 slave 节点执行
kubeadm join master:6443 --token hdlzr4.xit38cbhscw2uyii
--discovery-token-ca-cert-hash sha256:0a4d7b1c842cd125f0d5fad97f64aadc51bbb595591699e6e4181cb92b515a11
检查初始化结果
从节点都加入进来，集群初始化成功
# 只在 master 节点执行 [root@master ~]# kubectl get nodes NAME STATUS ROLES AGE VERSION master Ready master 10h v1.15.1 slave1 Ready移除 worker 节点10h v1.15.1 slave2 Ready 10h v1.15.1
安装出错，或者想要退出集群
# 只在 slave 节点执行 kubeadm reset # 只在 master 节点执行 node后是节点名，kubectl get nodes可知节点名 kubectl delete node slave1安装 Ingress Controller
# 只在 master 节点执行 kubectl apply -f https://raw.githubusercontent.com/eip-work/eip-monitor-repository/master/dashboard/nginx-ingress.yaml
配置域名解析
将域名 *.com 解析到 slave1 的 IP 地址 z.z.z.z （也可以是 slave2 的地址 y.y.y.y）
验证：在浏览器访问 *.com，将得到 404 NotFound 错误页面
由于需要申请域名，过程会比较繁琐，有如下两种替代方案：
在您的客户端机器设置 hosts ；暂时放弃域名的配置，临时使用 NodePort 或者 kubectl port-forward 的方式访问部署在 K8S 上的 web 应用
真正的生产环境的安装会更复杂一些，需要考虑的问题也会更多，本文搭建的集群供学习使用是可以的，Kubernetes安装完毕，就需要安装对应的图形化界面来操作K8s便于使用。
