大家好，我是Edison
今天是我们「云原生」系列的第三篇：「部署k8s集群」；
Let’s get it！
- 前言
- 1. 安装要求
- 节点规划
- 准备环境
- 2. 设置hosts解析
- 调整系统配置
- 安装docker
- 3. 安装 kubeadm kubelet 和 kubectl
- 初始化配置文件
- 提前下载镜像
- 初始化master节点
- 添加slave节点到集群中
- 4. 网络插件
- 5. 集群设置
- 6. 调整证书过期
- 7. 验证集群
- 8. 部署dashboard
- 清理集群
1. 安装要求
在开始之前，部署 Kubernetes 集群机器需要满足以下几个条件：
- 一台或多台机器，操作系统 CentOS7.8-86_x64
- 硬件配置：2GB或更多RAM，2个CPU或更多CPU，硬盘30GB或更多
- 集群中所有机器之间网络互通
- 可以访问外网，需要拉取镜像
- 禁止swap分区
部署 k8s 集群的节点按照用途可以划分为如下 2 类角色：
（1）master： 集群的master节点，集群的初始化节点，基础配置不低于2C4G
（2）slave： 集群的slave节点，可以多台，基础配置不低于2C4G
本篇文章演示slave节点的添加，会部署一台master+2台slave，节点规划如下：
2. 设置hosts解析
操作节点：所有节点（k8s-master, k8s-slave）均需执行
- 修改 hostname ：hostname必须只能包含小写字母、数字、","、"-"，且开头结尾必须是小写字母或数字
# 在master节点 $ hostnamectl set-hostname k8s-master #设置master节点的hostname # 在slave-1节点 $ hostnamectl set-hostname k8s-slave1 #设置slave1节点的hostname # 在slave-2节点 $ hostnamectl set-hostname k8s-slave2 #设置slave2节点的hostname
- 添加 hosts 解析
$ cat >>/etc/hosts< 调整系统配置 操作节点： 所有的master和slave节点（k8s-master, k8s-slave）需要执行
下述操作均以 k8s-master 为例，其他节点均是相同的操作（ip 和 hostname 的值换成对应机器的真实值）
- 设置安全组开放端口
如果节点间无安全组限制（内网机器间可以任意访问），可以忽略，否则，至少保证如下端口可通：
k8s-master 节点：TCP：6443，2379，2380，60080，60081；UDP协议端口全部打开
k8s-slave 节点：UDP协议端口全部打开
- 设置iptables
$ iptables -P FORWARD ACCEPT
- 关闭swap
$ swapoff -a # 防止开机自动挂载 swap 分区 $ sed -i '/ swap / s/^(.*)$/#1/g' /etc/fstab
- 修改内核参数
$ cat </etc/sysctl.d/k8s.conf net.bridge.bridge-nf-call-ip6tables = 1 net.bridge.bridge-nf-call-iptables = 1 net.ipv4.ip_forward=1 vm.max_map_count=262144 EOF $ modprobe br_netfilter $ sysctl -p /etc/sysctl.d/k8s.conf
- 设置yum源
$ curl -o /etc/yum.repos.d/Centos-7.repo http://mirrors.aliyun.com/repo/Centos-7.repo $ curl -o /etc/yum.repos.d/docker-ce.repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo $ cat < 安装docker/etc/yum.repos.d/kubernetes.repo [kubernetes] name=Kubernetes baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64 enabled=1 gpgcheck=0 repo_gpgcheck=0 gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg EOF $ yum clean all && yum makecache 所有节点都要安装
## 查看所有的可用版本 $ yum list docker-ce --showduplicates | sort -r ##安装旧版本 yum install docker-ce-cli-18.09.9-3.el7 docker-ce-18.09.9-3.el7 ## 安装源里最新版本 $ yum install docker-ce-20.10.12 -y ## 配置docker加速 $ mkdir -p /etc/docker vi /etc/docker/daemon.json { "insecure-registries": [ "172.21.51.143:5000" ], "registry-mirrors" : [ "https://8xpk5wnt.mirror.aliyuncs.com" ##用自己的阿里镜像加速器网址 ] } ## 启动docker $ systemctl enable docker && systemctl start docker3. 安装 kubeadm kubelet 和 kubectlkubeadm是官方社区推出的一个用于快速部署kubernetes集群的工具。
操作节点： 所有的 master 和 slave 节点(k8s-master, k8s-slave) 需要执行
$ yum install -y kubelet-1.21.5 kubeadm-1.21.5 kubectl-1.21.5 --disableexcludes=kubernetes ## 查看kubeadm 版本 $ kubeadm version ## 设置kubelet开机启动 $ systemctl enable kubelet 初始化配置文件操作节点： 只在master节点（k8s-master）执行
$ kubeadm config print init-defaults > kubeadm.yaml $ cat kubeadm.yaml ##编写yaml文件 apiVersion: kubeadm.k8s.io/v1beta2 bootstrapTokens: - groups: - system:bootstrappers:kubeadm:default-node-token token: abcdef.0123456789abcdef ttl: 24h0m0s usages: - signing - authentication kind: InitConfiguration localAPIEndpoint: advertiseAddress: 172.21.51.143 bindPort: 6443 nodeRegistration: criSocket: /var/run/dockershim.sock name: k8s-master taints: null --- apiServer: timeoutForControlPlane: 4m0s apiVersion: kubeadm.k8s.io/v1beta2 certificatesDir: /etc/kubernetes/pki clusterName: kubernetes controllerManager: {} dns: type: CoreDNS etcd: local: dataDir: /var/lib/etcd imageRepository: registry.aliyuncs.com/google_containers kind: ClusterConfiguration kubernetesVersion: 1.21.5 networking: dnsDomain: cluster.local podSubnet: 10.244.0.0/16 serviceSubnet: 10.96.0.0/12 scheduler: {} 提前下载镜像操作节点：只在master节点（k8s-master）执行
# 查看需要使用的镜像列表,若无问题，将得到如下列表 $ kubeadm config images list --config kubeadm.yaml registry.aliyuncs.com/google_containers/kube-apiserver:v1.16.0 registry.aliyuncs.com/google_containers/kube-controller-manager:v1.16.0 registry.aliyuncs.com/google_containers/kube-scheduler:v1.16.0 registry.aliyuncs.com/google_containers/kube-proxy:v1.16.0 registry.aliyuncs.com/google_containers/pause:3.1 registry.aliyuncs.com/google_containers/etcd:3.3.15-0 registry.aliyuncs.com/google_containers/coredns:1.21.5 # 提前下载镜像到本地 $ kubeadm config images pull --config kubeadm.yaml [config/images] Pulled registry.aliyuncs.com/google_containers/kube-apiserver:v1.16.0 [config/images] Pulled registry.aliyuncs.com/google_containers/kube-controller-manager:v1.16.0 [config/images] Pulled registry.aliyuncs.com/google_containers/kube-scheduler:v1.16.0 [config/images] Pulled registry.aliyuncs.com/google_containers/kube-proxy:v1.16.0 [config/images] Pulled registry.aliyuncs.com/google_containers/pause:3.1 [config/images] Pulled registry.aliyuncs.com/google_containers/etcd:3.3.15-0 [config/images] Pulled registry.aliyuncs.com/google_containers/coredns:1.21.5 初始化master节点操作节点：只在master节点（k8s-master）执行
$ kubeadm init --config kubeadm.yaml若初始化成功后，最后会提示如下信息：
... Your Kubernetes master has initialized successfully! To start using your cluster, you need to run the following as a regular user: mkdir -p $HOME/.kube sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config sudo chown $(id -u):$(id -g) $HOME/.kube/config You should now deploy a pod network to the cluster. Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at: https://kubernetes.io/docs/concepts/cluster-administration/addons/ Then you can join any number of worker nodes by running the following on each as root: kubeadm join 172.21.51.143:6443 --token abcdef.0123456789abcdef --discovery-token-ca-cert-hash sha256:1c4305f032f4bf534f628c32f5039084f4b103c922ff71b12a5f0f98d1ca9a4f接下来按照上述提示信息操作，配置 kubectl 客户端的认证
$ mkdir -p $HOME/.kube $ sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config $ sudo chown $(id -u):$(id -g) $HOME/.kube/config 添加slave节点到集群中操作节点：所有的 slave 节点（k8s-slave）需要执行 在每台slave节点，执行如下命令；
该命令是在kubeadm init成功后提示信息中打印出来的，需要替换成实际 init 后打印出的命令。$ kubeadm join 172.21.51.143:6443 --token abcdef.0123456789abcdef --discovery-token-ca-cert-hash sha256:1c4305f032f4bf534f628c32f5039084f4b103c922ff71b12a5f0f98d1ca9a4f如果忘记添加命令，可以通过如下命令生成：
$ kubeadm token create --print-join-command4. 网络插件操作节点：只在master节点（k8s-master）执行，CNI
- 下载flannel的yaml文件
$ wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
- 修改配置，指定网卡名称，大概在文件的190行，添加一行配置：
$ vi kube-flannel.yml ... containers: - name: kube-flannel image: rancher/mirrored-flannelcni-flannel:v0.16.1 command: - /opt/bin/flanneld args: - --ip-masq - --kube-subnet-mgr - --iface=eth0 # 如果机器存在多网卡的话，指定内网网卡的名称，默认不指定的话会找第一块网卡 resources: requests: cpu: "100m" ...
- 执行安装flannel网络插件
# 先拉取镜像,此过程C内速度比较慢 $ docker pull rancher/mirrored-flannelcni-flannel:v0.16.1 # 执行flannel安装 $ kubectl apply -f kube-flannel.yml5. 集群设置设置 master 节点是否可调度
操作节点：k8s-master
默认部署成功后，master节点无法调度业务pod，如需设置master节点也可以参与pod的调度，需执行：
$ kubectl taint node k8s-master node-role.kubernetes.io/master:NoSchedule-设置kubectl自动补全
$ yum install bash-completion -y $ source /usr/share/bash-completion/bash_completion $ source <(kubectl completion bash) $ echo "source <(kubectl completion bash)" >> ~/.bashrc6. 调整证书过期使用kubeadm安装的集群，证书默认有效期为1年，可以通过如下方式修改为10年。
$ cd /etc/kubernetes/pki # 查看当前证书有效期 $ for i in $(ls *.crt); do echo "===== $i ====="; openssl x509 -in $i -text -noout | grep -A 3 'Validity' ; done $ mkdir backup_key; cp -rp ./* backup_key/ $ git clone https://github.com/yuyicai/update-kube-cert.git $ cd update-kube-cert/ $ bash update-kubeadm-cert.sh all # 重建管理服务 $ kubectl -n kube-system delete po kube-apiserver-k8s-master kube-controller-manager-k8s-master kube-scheduler-k8s-master7. 验证集群操作节点： 在master节点（k8s-master）执行
$ kubectl get nodes #观察集群节点是否全部Ready创建测试nginx服务
$ kubectl run test-nginx --image=nginx:alpine查看pod是否创建成功，并访问pod ip测试是否可用
$ kubectl get po -o wide NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES test-nginx-5bd8859b98-5nnnw 1/1 Running 0 9s 10.244.1.2 k8s-slave1$ curl 10.244.1.2 ... Welcome to nginx! If you see this page, the nginx web server is successfully installed and working. Further configuration is required.
For online documentation and support please refer to nginx.org.
Commercial support is available at nginx.com.Thank you for using nginx.