Oracle VM VirtualBox本地安装K3S HA的详细过程

1、Oracle VM VirtualBox搭建VM环境
    0：虚拟机LINUX版本选择：centos8.x
    1：管理>全局设定->网络->新建NAT网络*这个网路就是虚拟机之间通讯的网络

    2：对单台虚拟机配置网络
                    ->网卡1启用NAT网络指定好上面新建的NAT网络名称
                    ->网卡2启用仅主机网络*让每台虚拟机可以进行外网的访问

2、DOCKER安装
    vim /etc/hostname（配置虚拟机的主机名称）
    shutdown -h now（需要重启）
    vim /etc/hosts（编辑hosts，IP地址与各主机名称都要加上，IP地址为NAT网络地址，通过【ip addr】命令来获取，不要使用宿机IP地址）

    yum install net-tools -y（安装网络工具）
    yum install wget -y（安装wget）
    yum remove -y firewalld（卸载防火墙）
    yum remove -y docker（卸载老的docker）
    yum remove -y docker-ce（卸载老的docker-ce）
    yum install -y yum-utils（安装yum工具）
    yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo（下载docker yum源）
    yum clean all（清理缓存）
    yum update -y（更新系统软件）
    dnf makecache（重建缓存）
    yum install -y docker-ce（安装docker）
    systemctl enable docker（开启启动docker）
    systemctl restart docker（启动docker）
    systemctl status docker（查看docker状态）

3、K8S(HA)安装
    export INSTALL_K3S_VERSION=v1.20.2+k3s1（对每台MASTER NODE虚拟机添加K3S版本信息）

    MASTER：（HA需要一台数据库）
        export INSTALL_K3S_EXEC="--datastore-endpoint=mysql://username:password@tcp(ip:3306)/db --docker --kube-apiserver-arg service-node-port-range=1-65000 --no-deploy traefik --write-kubeconfig ~/.kube/config --write-kubeconfig-mode 666"
        curl -sfL http://rancher-mirror.cnrancher.com/k3s/k3s-install.sh | INSTALL_K3S_MIRROR=cn sh -
        cat /var/lib/rancher/k3s/server/node-token（获取MASTER令牌备用）

    NGINX四层负载：
        编辑nginx.conf与http同级添加
        stream{
           upstream k3sList {
              server MASTER1的NAT网络IP地址:6443;
              server MASTER2的NAT网络IP地址:6443;
              ...
               server MASTERn的NAT网络IP地址:6443;
           }
           server{
              listen 6443;
              proxy_pass k3sList;
           }
        }

    NODE：
        export K3S_TOKEN=上面MASTER生成的令牌
        export K3S_URL=https://NGINX在NAT网络的IP地址:6443
        export INSTALL_K3S_EXEC="--docker --kube-apiserver-arg service-node-port-range=1-65000 --no-deploy traefik --write-kubeconfig ~/.kube/config --write-kubeconfig-mode 666"
        curl -sfL http://rancher-mirror.cnrancher.com/k3s/k3s-install.sh | INSTALL_K3S_MIRROR=cn sh -

    *通过kubectl get nodes 查看 master 与 node 节点是否健康

4、RANCHER安装
    docker run -d -v /data/docker/rancher-server/var/lib/rancher/:/var/lib/rancher/ --restart=unless-stopped --name rancher-server -p 9443:443 rancher/rancher:v2.3.10
    vim /etc/hosts 添加对github.com 的支持
    添加集群，导入，填写名称-创建，将链接在任意一台MASTER上执行等待完成。