栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

helm介绍和helm部署应用到k8s集群(helm+k8s)——详细文档

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

helm介绍和helm部署应用到k8s集群(helm+k8s)——详细文档

helm介绍和helm部署应用到k8s集群(helm+k8s)——详细笔记整理文档

本人会经常更新运维相关技术文档,如有兴趣,可以关注我博客,欢迎互动分享
k8s其他相关详细资料下载地址:
kubeadm初始化高可用k8s1.20.4集群网盘地址: https://url28.ctfile.com/f/37115828-599516373-25f42e?p=4907
访问密码:4907

1.普罗米修斯promethues2.35.0监控-宿主机node监控网盘地址: https://url28.ctfile.com/f/37115828-589234219-d1cf35?p=4907
访问密码:4907
2.普罗米修斯promethues2.35.0监控-docker容器网盘地址: https://url28.ctfile.com/f/37115828-589234295-b4e3f2?p=4907
访问密码:4907
3.k8s1.20.4-promethues监控和报警网盘地址: https://url28.ctfile.com/f/37115828-589237365-1fd78d?p=4907
访问密码:4907
4.普罗米修斯promethues2.35.0监控mysql网盘地址: https://url28.ctfile.com/f/37115828-589253370-05b5d8?p=4907
访问密码:4907
5.普罗米修斯promethues2.35.0监控redis网盘地址: https://url28.ctfile.com/f/37115828-589253621-826cc0?p=4907
访问密码:4907

efk7.13.2搜集k8s各容器日志网盘地址: https://url28.ctfile.com/f/37115828-599686611-63bb79?p=4907
访问密码:4907
k8s-helm-51cto课程和笔记-v3版部署k8s集群网盘地址: https://url28.ctfile.com/f/37115828-599686627-f6a619?p=4907
访问密码:4907
阿里云开源插件log-pilot搜集k8s部署应用容器内日志网盘地址: https://url28.ctfile.com/f/37115828-599524530-7be0b5?p=4907
访问密码:4907
k8s重要资料51cto学习视频1和2网盘地址: https://url28.ctfile.com/f/37115828-599688102-7f7abb?p=4907
访问密码:4907

1.普罗米修斯promethues2.35.0监控-宿主机node监控网盘地址: https://url28.ctfile.com/f/37115828-589234219-d1cf35?p=4907
访问密码:4907
2.普罗米修斯promethues2.35.0监控-docker容器网盘地址: https://url28.ctfile.com/f/37115828-589234295-b4e3f2?p=4907
访问密码:4907
3.k8s1.20.4-promethues监控和报警网盘地址: https://url28.ctfile.com/f/37115828-589237365-1fd78d?p=4907
访问密码:4907
4.普罗米修斯promethues2.35.0监控mysql网盘地址: https://url28.ctfile.com/f/37115828-589253370-05b5d8?p=4907
访问密码:4907
5.普罗米修斯promethues2.35.0监控redis网盘地址: https://url28.ctfile.com/f/37115828-589253621-826cc0?p=4907
访问密码:4907

1.为什么使用helm和部署大量应用时传统部署方式面临的挑战?
K8s上的应用对象,都是由特定的资源描述组成,包括deployment、service等。都保存各自文件中或者集中写到一个配置文件,然后kubectl apply -f 部署。如果应用只是由一个或几个这样的服务组成,上面的部署方式足够了。而对于一个复杂的应用,会有很多类似上面的资源描述文件,例如:微服务架构应用,组成应用的服务可能多达十个,几十个,如果有更新或回滚应用的需求,可能要修改和维护所涉及的大量资源文件,而这种组织和管理应用的方式就显得力不从心了。且由于缺少对发布过的应用版本管理和控制,使k8s上的应用维护和更新等面临诸多的挑战,主要面临一下问题:
1).如何将这些服务作为一个整体管理
2).这些资源文件如何高效复用
3).不支持应用级别的版本管理
2.helm介绍
helm是一个k8s的包管理工具,就像linux下的包管理器,如:yum/apt等,可以很方便的将之前打包好的yaml文件部署到k8s上。
helm有3个重要概念:
-helm: 一个命令行客户端工具,主要用于k8s应用chart的创建、打包、发布和管理。
-Chart: 应用描述,一系列用于描述k8s资源相关文件的集合。
-Release: 基于chart的部署实体,一个chart被helm运行后将会生成对应的一个release,将在k8s中创建出真实运行的资源对象。
3.helm版本由v2——到v3的变化
1).架构变化:
-v2版本:必须部署一个Tiller,helm作为客户端,首先需要连接tiller,由tiller作为转发连接到apiserver,而且必须对tiller授权访问k8s资源。
-v3版本:去掉了tiller,helm作为客户端,通过kubeconfig配置文件直接连接apiserver,不用tiller转发了。
2).Release名称可以在不同命名空间重用。
-v2版本:release名称是唯一,不能重复,即使不同命名空间也不能重复。
-v3版本:release名称在不同命名空间可以使用同一个名字,只要命名空间不同就行。
3).支持将chart推送到docker镜像仓库中
-v2版本:chart包不能推送到镜像仓库,有单独的仓库存储。
-v3版本:chart包可以推送到镜像仓库。
4).使用JSONchema验证chart values
5).其他
4.helm的常用命令
-create 创建一个chart并指定名字
-dependency: 管理chart依赖
-get: 下载一个release,可用子命令:all、hooks、manifest、notes、values
-history: 获取release历史
-install: 安装一个chart
-list: 列出release
-package: 将chart目录打包成chart存档文件中
-pull: 从远程仓库中下载chart并解压到本地,如:helm pull stable/mysql --untar
-repo: 添加、列出、移除、更新和索引chart仓库,可用子命令:add、index、list、remove、update
-rollback: 从之前版本回滚
-search: 根据关键字搜索chart,可用子命令:hub、repo
-show: 查看chart详细信息,可用子命令:all、chart、readme、values
-status: 显示已命名版本的状态
-template: 本地呈现模板
-uninstall: 卸载一个release
-upgrade: 更新一个release
-version: 查看helm客户端版本
5.下载和部署helm客户端(helm的二进制命令工具包)
[root@k8s-master heml]# wget https://get.helm.sh/helm-v3.0.0-linux-amd64.tar.gz
[root@k8s-master heml]# ls helm-v3.0.0-linux-amd64.tar.gz
helm-v3.0.0-linux-amd64.tar.gz
[root@k8s-master heml]# tar -zxf helm-v3.0.0-linux-amd64.tar.gz
[root@k8s-master heml]# ls
helm-v3.0.0-linux-amd64.tar.gz linux-amd64
[root@k8s-master heml]# cd linux-amd64/
[root@k8s-master linux-amd64]# ls
helm LICENSE README.md
[root@k8s-master linux-amd64]# mv helm /usr/bin/
[root@k8s-master linux-amd64]# helm -h #查看使用方法
6.helm添加chart仓库和查看仓库
可以添加多个仓库,添加仓库时候,记得起个仓库名,如:stable,aliyun,或其他,一般起个稳定版的stable会优先使用。
[root@k8s-master heml]# helm repo add stable http://mirror.azure.cn/kubernetes/charts #添加微软的,强烈推荐
[root@k8s-master heml]# helm repo add aliyun https://kubernetes.oss-cn-hangzhou.aliyuncs.com/charts #添加阿里云的
[root@k8s-master heml]# helm repo list #列出仓库
NAME URL
stable http://mirror.azure.cn/kubernetes/charts
aliyun https://kubernetes.oss-cn-hangzhou.aliyuncs.com/charts
7.helm基本使用(主要三个命令)
-chart install 安装
-chart upgrade 升级
-chart rollback 回滚
8.helm使用导入的chart仓库部署一个官方mysql
1).导入相关的chart仓库:
[root@k8s-master heml]# helm repo add stable http://mirror.azure.cn/kubernetes/charts #添加微软的,强烈推荐
[root@k8s-master heml]# helm repo add aliyun https://kubernetes.oss-cn-hangzhou.aliyuncs.com/charts #添加阿里云的
[root@k8s-master heml]# helm repo list #列出仓库
NAME URL
stable http://mirror.azure.cn/kubernetes/charts
aliyun https://kubernetes.oss-cn-hangzhou.aliyuncs.com/charts
2).查看mysql的chart的信息(查看导入chart的仓库某个服务的信息):
[root@k8s-master heml]# helm show chart stable/mysql #stable是添加的chart仓库名,查看chart信息
[root@k8s-master heml]# helm show values stable/mysql #stable是添加的chart仓库名,查看chart详细信息
3).部署mysql的k8s的pod
[root@k8s-master heml]# helm install db stable/mysql #安装一个chart,定义release名,如:db,指定chart的仓库名,如:stable
执行完后,会输出一个概要信息:(教你怎么使用,怎么登录mysql)
NAME: db
LAST DEPLOYED: Sat Oct 30 13:39:06 2021
NAMESPACE: default
STATUS: deployed
REVISION: 1
NOTES:
MySQL can be accessed via port 3306 on the following DNS name from within your cluster:
db-mysql.default.svc.cluster.local
To get your root password run:
MYSQL_ROOT_PASSWORD=$(kubectl get secret --namespace default db-mysql -o jsonpath=“{.data.mysql-root-password}” | base64 --decode; echo)
To connect to your database:

  1. Run an Ubuntu pod that you can use as a client:
    kubectl run -i --tty ubuntu --image=ubuntu:16.04 --restart=Never – bash -il
  2. Install the mysql client:
    $ apt-get update && apt-get install mysql-client -y
  3. Connect using the mysql cli, then provide your password:
    $ mysql -h db-mysql -p
    To connect to your database directly from outside the K8s cluster:
    MYSQL_HOST=127.0.0.1
    MYSQL_PORT=3306
    #Execute the following command to route the connection:
    kubectl port-forward svc/db-mysql 3306
    mysql -h M Y S Q L H O S T − P {MYSQL_HOST} -P MYSQLH​OST−P{MYSQL_PORT} -u root -p${MYSQL_ROOT_PASSWORD}
    [root@k8s-master heml]# helm list #查看部署状态
    NAME NAMESPACE REVISION UPDATED STATUS CHART APP VERSION
    db default 1 2021-10-30 13:39:06.7439091 +0800 CST deployed mysql-1.6.9 5.7.30
    [root@k8s-master heml]# kubectl get pod #k8s查看pod,发现没有调度,pending,需要pvc未绑定,后面解决
    NAME READY STATUS RESTARTS AGE
    db-mysql-7f897f4d95-8q7h4 0/1 Pending 0 3m55s
    [root@k8s-master heml]# kubectl get pvc
    NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE
    db-mysql Pending 7m
    [root@k8s-master heml]# kubectl get pvc db-mysql -o yaml #查看申请的pvc和pv存储
    …
    name: db-mysql
    namespace: default
    resourceVersion: “1808064”
    selfLink: /api/v1/namespaces/default/persistentvolumeclaims/db-mysql
    uid: 0b8db694-a4bf-4039-8ed0-ccfcc8a69381
    spec:
    accessModes:
  • ReadWriteOnce
    resources:
    requests:
    storage: 8Gi #要申请8G的存储
    volumeMode: Filesystem
    status:
    phase: Pending
    手动创建一个pv和指定nfs存储,让pvc绑定后即可:
    [root@k8s-master heml]# yum -y install nfs-utils
    [root@k8s-master heml]# cat /etc/exports
    /k8s/nfs_share *(rw,no_root_squash)
    [root@k8s-master heml]# mkdir /k8s/nfs_share/db
    [root@k8s-master heml]# systemctl start nfs
    [root@k8s-master heml]# cat pv_create.yaml
    apiVersion: v1
    kind: PersistentVolume
    metadata:
    name: pv8
    spec:
    capacity:
    storage: 8Gi
    accessModes:
    • ReadWriteOnce
      nfs:
      path: /k8s/nfs_share/db
      server: 192.168.60.128
      [root@k8s-master heml]# kubectl apply -f pv_create.yaml #创建pv
      [root@k8s-master heml]# kubectl get pv #查看pv,已经绑定pvc
      NAME CAPACITY ACCESS MODES RECLAIM POLICY STATUS CLAIM STORAGECLASS REASON AGE
      pv8 8Gi RWO Retain Bound default/db-mysql 11s
      [root@k8s-master heml]# kubectl get pvc #查看pvc,已经绑定pv
      NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE
      db-mysql Bound pv8 8Gi RWO 19m
      [root@k8s-master heml]# kubectl get pod -o wide #查看mysql的pod运行状态,已经正常
      NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
      db-mysql-7f897f4d95-8q7h4 1/1 Running 0 24m 10.244.3.60 k8s-node2
      验证mysql正常:
      使用刚创建chart后的提示信息获取mysql的登录密码:
      [root@k8s-master heml]# kubectl get secret --namespace default db-mysql -o jsonpath=“{.data.mysql-root-password}” | base64 --decode; echo
      bYtfdjdA7f
      [root@k8s-master heml]# kubectl exec -it db-mysql-7f897f4d95-8q7h4 bash #进入mysql的pod
      root@db-mysql-7f897f4d95-8q7h4:/# mysql -uroot -pbYtfdjdA7f #登陆了mysql
      mysql> show databases;
      ±-------------------+
      | Database |
      ±-------------------+
      | information_schema |
      | mysql |
      | performance_schema |
      | sys |
      ±-------------------+
      mysql> quit
      9.修改chart的默认配置选项
      有些chart不能直接安装就可以了,有时会有一些依赖,如:安装mysql时候,需要使用存储,否则没法调度,虽然chart支持pv或pv自动供给存储,但是以为没有创建或默认配置项没有配置自动供给名称等就不能安装成功,这时候就需要修改chart的默认配置选项。
      修改chart的配置选项有两种方式:
      1).–valuse(或-f):指定带有覆盖的yaml文件。这可以多次指定,最右边的文件优先。
      2).–set: 在命令行上指定替代。如果两者都用,则–set优先级较高。
      使用指定修改的values.yaml文件替换(覆盖)原有配置步骤:
      1). 导出官方的yaml文件
      [root@k8s-master heml]# helm show values stable/mysql > values.yaml #导出官方的yaml文件
      2). 修改官方的yaml文件,如指定mysql的自动供给名称
      [root@k8s-master heml]# vim values.yaml #修改官方的yaml文件,如指定mysql的自动供给名称

      3).然后使用修改的yaml文件覆盖官方的yaml文件进行部署。
      [root@k8s-master heml]# helm install db -f values.yaml stable/mysql #指定修改的yaml文件来覆盖原有的yaml文件
      通过–set的命令行方式替换原有默认的配置的步骤:
      如:指定使用pv自动供给的名称
      [root@k8s-master heml]# helm install db2 --set persistence.storageClass=”managed-nfs-storage” stable/mysql
      通过指定values.yaml文件–set方式修改chart默认配置的其他参考案例:

10.想了解官方的chart的是怎么写的,可以把官方的chart仓库的包下载下来进行查看
[root@k8s-master heml]# helm pull stable/mysql #将官方的chart的仓库包拉下来,stable是加入仓库的名字
[root@k8s-master heml]# ls mysql-1.6.9.tgz #查看从官方chart的仓库拉下来的包
mysql-1.6.9.tgz
[root@k8s-master heml]# helm pull stable/mysql --untar #也可拉的时候直接解压
[root@k8s-master heml]# ls mysql #这时查看的是一个目录mysql,tar包的目录结构如下
Chart.yaml README.md templates values.yaml
[root@k8s-master heml]# ls mysql/templates/
configurationFiles-configmap.yaml initializationFiles-configmap.yaml secrets.yaml svc.yaml
deployment.yaml NOTES.txt serviceaccount.yaml tests
_helpers.tpl pvc.yaml servicemonitor.yaml
11.helm通过创建chart安装k8s相关pod的方式
#helm install db stable/mysql #从加入的chart官方仓库安装(从官方仓库安装),安装chart,db为release的名
#helm install db mysql-1.6.9.tgz #安装从chart仓库拉下来的压缩包(从本地存档文件离线安装),db为release名
#helm install db mysql #安装从chart仓库拉下来解压后的目录(从解压目录安装), db为release名
#helm install db http://url…/mysql-1.6.9.tgz #安装从一个网络地址仓库压缩包安装(从下载服务器安装), db为release名
12.创建一个chart并安装一个默认的pod事例(nginx1.16)
创建完的chart就是一个目录,就是一个chart模板,和官方创建chart的目录结构一样。
[root@k8s-master heml]# helm create mychart #创建一个chart,创建完的chart就是一个目录,跟上chart名字: mychart
[root@k8s-master heml]# ls mychart/
charts Chart.yaml templates values.yaml
[root@k8s-master heml]# ls mychart/templates/
deployment.yaml _helpers.tpl ingress.yaml NOTES.txt serviceaccount.yaml service.yaml tests
[root@k8s-master heml]# cat mychart/templates/deployment.yaml #随便查看一个部署的yaml,里面都是变量模板
apiVersion: apps/v1
kind: Deployment
metadata:
name: {{ include “mychart.fullname” . }}
labels:
{{- include “mychart.labels” . | nindent 4 }}
spec:
replicas: {{ .Values.replicaCount }}
selector:
matchLabels:
{{- include “mychart.selectorLabels” . | nindent 6 }}
template:
metadata:
labels:
{{- include “mychart.selectorLabels” . | nindent 8 }}
spec:
{{- with .Values.imagePullSecrets }}
imagePullSecrets:
{{- toYaml . | nindent 8 }}
{{- end }}
serviceAccountName: {{ include “mychart.serviceAccountName” . }}
securityContext:
{{- toYaml .Values.podSecurityContext | nindent 8 }}
containers:
- name: {{ .Chart.Name }}
securityContext:
{{- toYaml .Values.securityContext | nindent 12 }}
image: “{{ .Values.image.repository }}:{{ .Chart.AppVersion }}”
imagePullPolicy: {{ .Values.image.pullPolicy }}
ports:
- name: http
containerPort: 80
protocol: TCP
livenessProbe:
httpGet:
path: /
port: http
readinessProbe:
httpGet:
path: /
port: http
resources:
{{- toYaml .Values.resources | nindent 12 }}
{{- with .Values.nodeSelector }}
nodeSelector:
{{- toYaml . | nindent 8 }}
{{- end }}
{{- with .Values.affinity }}
affinity:
{{- toYaml . | nindent 8 }}
{{- end }}
{{- with .Values.tolerations }}
tolerations:
{{- toYaml . | nindent 8 }}
{{- end }}
[root@k8s-master heml]# cat mychart/values.yaml #查看chart的默认参数,是部署nginx镜像
#Default values for mychart.
#This is a YAML-formatted file.
#Declare variables to be passed into your templates.
replicaCount: 1
image:
repository: nginx
pullPolicy: IfNotPresent
imagePullSecrets: []
nameOverride: “”
fullnameOverride: “”
serviceAccount:
#Specifies whether a service account should be created
create: true
#The name of the service account to use.
#If not set and create is true, a name is generated using the fullname template
name:
……
[root@k8s-master heml]# helm install test-mychart mychart/ #helm部署k8spod,安装chart,指定release名:test-mychart
[root@k8s-master heml]# helm list |grep chart
test-mychart default 1 2021-10-30 16:56:12.091256985 +0800 CST deployed mychart-0.1.0 1.16.0
[root@k8s-master heml]# kubectl get pod |grep chart
test-mychart-7f4dcf6cb7-zpv45 1/1 Running 0 70s
[root@k8s-master heml]# kubectl get pod,deploy,svc |grep chart
pod/test-mychart-7f4dcf6cb7-zpv45 1/1 Running 0 5m19s
deployment.apps/test-mychart 1/1 1 1 5m19s
service/test-mychart ClusterIP 10.103.3.133 80/TCP 5m20s
[root@k8s-master heml]# curl -I 10.103.3.133
HTTP/1.1 200 OK
Server: nginx/1.16.0
13.创建一个chart后的目录结构讲解
#helm create mychart #创建一个chart,指定chart名:mychart
#tree mychart/
mychart/
├── charts
├── Chart.yaml
├── templates
│ ├── deployment.yaml
│ ├── _helpers.tpl
│ ├── ingress.yaml
│ ├── NOTES.txt
│ └── service.yaml
└── values.yaml

-Chart.yaml:用于描述这个 Chart的基本信息,包括名字、描述信息以及版本等。
-values.yaml :用于存储 templates 目录中模板文件中用到变量的值,这些变量定义都是为了让templates目录下yaml引用。
-Templates: 目录里面存放所有yaml模板文件,包含了所有部署应用的yaml文件。
-charts:目录里存放这个chart依赖的所有子chart。
-NOTES.txt :用于介绍Chart帮助信息, helm install 部署后展示给用户。例如:如何使用这个 Chart、列出缺省的设置等。
-_helpers.tpl:放置模板助手的地方,可以在整个 chart 中重复使用
下面进一步解释:
-Chart.yaml: 可理解为是一个变量文件,这个变量文件都可以被templates目录下文件所引用,是定义chart相关信息
-templates目录:下面是你部署一个应用所有涉及的yaml
-helpers.tps: 是放一些templates目录下这些yaml都有可能会用的一些模板
-NOTES.txt: 是部署一个chart后给用户的提示信息
-tests目录: 测试完部署完chart后,如web,做一个链接,看看你是否部署正常
-values.yaml: 定义templates目录下的yaml文件可能引用到的变量

14.自定义一个chart,用helm部署nginx到k8s和版本升级、回滚、删除、打包
按照chart的结构目录自定义创建一个chart,用helm部署nginx到k8s和应用镜像版本的升级、回滚和删除,及将自定义的chart项目打包,在别的机器上直接运行
1).部署版本:nginx1.17:
自定义一个部署部署nginx1.17的yaml的chart:
[root@k8s-master heml]# helm create mychart #创建一个chart模板,这个模板默认就是部署nginx的,创建完的chart就是一个目录,跟上chart的名字
[root@k8s-master heml]# cd mychart/
[root@k8s-master mychart]# ls
charts Chart.yaml templates values.yaml
[root@k8s-master mychart]# ls charts/
空
[root@k8s-master mychart]# > values.yaml #清空默认的定义变量的文件,后面自定义
[root@k8s-master mychart]# cd templates/
[root@k8s-master templates]# ls
deployment.yaml _helpers.tpl ingress.yaml NOTES.txt serviceaccount.yaml service.yaml tests
[root@k8s-master templates]# rm -rf * #删除原有的部署yaml
导出一个部署nginx1.17版本的yaml:
[root@k8s-master templates]# kubectl create deployment mychart --image=nginx:1.17 -o yaml --dry-run=client > deployment.yaml #导出nginx1.17
[root@k8s-master templates]# ls
deployment.yaml
打开部署nginx的yaml,删除不要的,只留自定义需要的,且将经常变化的内容定义成变量(变量在上一级目录的values.yaml中设置供调用),最后如下:
[root@k8s-master templates]# vim deployment.yaml #修改后如下:
apiVersion: apps/v1
kind: Deployment
metadata:
name: {{ .Values.name }}
spec:
replicas: {{ .Values.replicas }}
selector:
matchLabels:
app: mychart
template:
metadata:
labels:
app: mychart
spec:
containers:
- image: {{ .Values.image }}:{{ .Values.imageTag }}
name: nginx
#定义的变量名就是从上一级的values.yaml中取值,在上一级values.yaml中定义变量和值,然后应用到该文件
#注意定义的变量和引用的变量名需要保持一致
[root@k8s-master templates]# vim …/values.yaml #在上一级的values.yaml中定义变量和赋值
name: hello-nginx
replicas: 3
image: nginx
imageTag: 1.17
定义好chart目录结构后,就可以安装chart和部署k8s的应用了:
[root@k8s-master templates]# cd /root/heml/
[root@k8s-master heml]# ls mychart/
charts Chart.yaml templates values.yaml
使用helm部署一个nginx1.17的镜像到k8s集群:
[root@k8s-master heml]# helm install hello-mychart-nginx mychart/ #安装chart,指定release名:hell-mychart-nginx
[root@k8s-master heml]# helm list |grep hello #列出release名
hello-mychart-nginx default 1 2021-10-30 17:38:29.563320809 +0800 CST deployed mychart-0.1.0 1.17.0
[root@k8s-master heml]# kubectl get pod,deploy -o wide |grep hello
pod/hello-nginx-67c9874559-7djxj 1/1 Running 0 2m4s 10.244.1.68 k8s-node1
pod/hello-nginx-67c9874559-mnp7m 1/1 Running 0 2m4s 10.244.3.61 k8s-node2
pod/hello-nginx-67c9874559-q9w7q 1/1 Running 0 2m4s 10.244.1.67 k8s-node1
deployment.apps/hello-nginx 3/3 3 3 2m4s nginx nginx:1.17 app=mychart
[root@k8s-master heml]# curl -I 10.244.1.68
HTTP/1.1 200 OK
Server: nginx/1.17.10
[root@k8s-master heml]#helm get manifest hello-mychart-nginx #查看release引用的变量值,跟上release的名字


#Source: mychart/templates/deployment.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
name: hello-nginx
spec:
replicas: 3
selector:
matchLabels:
app: mychart
template:
metadata:
labels:
app: mychart
spec:
containers:
- image: nginx:1.17
name: nginx
#定义的变量名就是从上一级的values.yaml中取值,在上一级values.yaml中定义变量和值,然后应用到该文件
#注意定义的变量和引用的变量名需要保持一致
2).升级版本:使用helm将应用镜像更新到nginx1.19版本:
使用–set升级方式:
[root@k8s-master heml]# helm upgrade hello-mychart-nginx mychart --set imageTag=1.19 #指定release名和chart名
[root@k8s-master heml]# kubectl get pod -o wide|grep hello
hello-nginx-665df9b9cc-dn89h 1/1 Running 0 53s 10.244.1.70 k8s-node1
hello-nginx-665df9b9cc-jnl4b 1/1 Running 0 2m20s 10.244.3.62 k8s-node2
hello-nginx-665df9b9cc-p7nkj 1/1 Running 0 97s 10.244.1.69 k8s-node1
[root@k8s-master heml]# curl -I 10.244.1.70
HTTP/1.1 200 OK
Server: nginx/1.19.10
升级版本的另一种方法:直接修改values.yaml
[root@k8s-master heml]# vim /root/heml/mychart/values.yaml
name: hello-nginx
replicas: 3
image: nginx
imageTag: 1.19
[root@k8s-master heml]# helm upgrade hello-mychart-nginx mychart -f /root/heml/mychart/values.yaml #指定release名和chart名和values.yaml文件
3).回滚版本:使用helm将应用镜像回滚到上一个版本nginx1.17版本:
[root@k8s-master heml]# helm rollback hello-mychart-nginx #回滚到上一个版本,指定release名
[root@k8s-master heml]# kubectl get pod -o wide|grep hello
hello-nginx-67c9874559-5swhp 1/1 Running 0 53s 10.244.3.69 k8s-node2
hello-nginx-67c9874559-cs4mm 1/1 Running 0 56s 10.244.3.68 k8s-node2
hello-nginx-67c9874559-x87bc 1/1 Running 0 54s 10.244.1.78 k8s-node1
[root@k8s-master heml]# curl -I 10.244.3.69
HTTP/1.1 200 OK
Server: nginx/1.17.10
回滚到指定的发行版本:
[root@k8s-master heml]# helm history hello-mychart-nginx #查看release的发行版本(发行比较多)
REVISION UPDATED STATUS CHART APP VERSION DESCRIPTION
4 Sat Oct 30 20:25:59 2021 superseded mychart-0.1.0 1.16.0 Rollback to 2
5 Sat Oct 30 20:26:44 2021 superseded mychart-0.1.0 1.16.0 Rollback to 3
6 Sat Oct 30 20:27:22 2021 superseded mychart-0.1.0 1.16.0 Rollback to 4
…
[root@k8s-master heml]# helm rollback hello-mychart-nginx 5 #回滚到指定的发行版本
4).将自定义的chart项目打包:
[root@k8s-master heml]# ls mychart/
charts Chart.yaml templates values.yaml
[root@k8s-master heml]# helm package mychart/
Successfully packaged chart and saved it to: /root/heml/mychart-0.1.0.tgz
[root@k8s-master heml]# ls mychart-0.1.0.tgz
mychart-0.1.0.tgz
5).卸载自定义chart项目部署的k8s项目:
[root@k8s-master heml]# helm uninstall hello-mychart-nginx #uninstall 直接跟release名,卸载chart
[root@k8s-master heml]# kubectl get pod|grep hello
空
[root@k8s-master heml]# helm list |grep hello
空
6).在其他机器上直接使用刚才打的chart包部署nginx到k8s集群:
[root@k8s-node1 mnt]# rz
上传
[root@k8s-node1 mnt]# ls
mychart-0.1.0.tgz
[root@k8s-node1 mnt]# helm install test mychart-0.1.0.tgz #安装chart,指定release名:test
[root@k8s-node1 mnt]# helm list
NAME NAMESPACE REVISION UPDATED STATUS CHART APP VERSION
test default 1 2021-10-30 20:59:25.858393692 +0800 CST deployed mychart-0.1.0 1.17.0
[root@k8s-node1 mnt]# kubectl get pod -o wide
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
hello-nginx-6894f4487d-jwtlf 1/1 Running 0 2m9s 10.244.1.85 k8s-node1
hello-nginx-6894f4487d-tjt9m 1/1 Running 0 2m9s 10.244.1.84 k8s-node1
hello-nginx-6894f4487d-zpghn 1/1 Running 0 2m9s 10.244.3.74 k8s-node2
[root@k8s-node1 mnt]# curl -I 10.244.1.85
HTTP/1.1 200 OK
Server: nginx/1.17.0
15.helm最核心的就是模板
helm最核心的就是模板,即:模板化的k8s manifests文件,它本质上就是一个go的templates模板,helm在go template模板的基础上,还会增加很多东西,如:一些自定义的元数据信息,扩展的库以及一些类似于编程形式的工作流,例如:条件语句、管道等等,这些东西都会使得我们的模板变得更加丰富。有了模板后,再用values.yaml文件将我们的配置融入进去。
16.模板使用、调试、内置对象(创建一个模板,然后自定义部署、升级、回滚nginx的deployment和svc)
1).创建一个chart模板并修改:当你使用create创建一个chart模板时候,默认是创建的nginx模板:
[root@k8s-master heml]# helm create nginx-chart #创建一个chart模板,chart名:nginx-chart
[root@k8s-master heml]# cd nginx-chart/
[root@k8s-master nginx-chart]# ls
charts Chart.yaml templates values.yaml
[root@k8s-master nginx-chart]# cat values.yaml |grep nginx
#Default values for nginx-chart.
repository: nginx
#kubernetes.io/ingress.class: nginx
[root@k8s-master nginx-chart]# vim Chart.yaml #将一些注释删掉,保留一些可用变量信息,定义chart相关信息
apiVersion: v2
name: nginx-chart
description: A Helm chart for Kubernetes
type: application
version: 0.1.0 #chart的版本
appVersion: 1.16.0 #chart部署应用的版本
[root@k8s-master nginx-chart]# vim values.yaml #修改,将所有的删除,自己定义变量,定义yaml中经常变化字段的变量
replicas: 3
image: nginx
imageTag: 1.17
label: nginx
svcport: 80
containerport: 80
[root@k8s-master nginx-chart]# ls templates/
deployment.yaml _helpers.tpl ingress.yaml NOTES.txt serviceaccount.yaml service.yaml tests
[root@k8s-master nginx-chart]# cd templates/
[root@k8s-master templates]# rm -rf * #将默认的都删除
创建一个deployment.yaml模板,定义deployment的名字是web:
[root@k8s-master templates]# kubectl create deployment web --image=nginx --dry-run=client -o yaml > deployment.yaml
[root@k8s-master templates]# ls deployment.yaml
deployment.yaml
[root@k8s-master templates]# kubectl apply -f deployment.yaml #先创建一下资源,后面再删除,为了后面生成一个service.yaml,不创建deployment,service的yaml文件生成会报错
[root@k8s-master templates]# kubectl get deploy
NAME READY UP-TO-DATE AVAILABLE AGE
web 1/1 1 1 99s
[root@k8s-master templates]# kubectl expose deployment web --port=80 --target-port=80 --dry-run=client -o yaml > service.yaml #导出一个service的模板文件,service的名字也定义是web
[root@k8s-master templates]# kubectl delete -f deployment.yaml #删除原来测试部署的资源
[root@k8s-master templates]# kubectl get pod
No resources found in default namespace.
[root@k8s-master templates]# ls
deployment.yaml service.yaml
下面是将生成的两个模板进行修改,将经常动态变化的内容改成变量名:(变量值在上一级的values.yaml中定义)
[root@k8s-master templates]# vim deployment.yaml #修改如下
apiVersion: apps/v1
kind: Deployment
metadata:
labels:
chart: {{ .Chart.Name }}
app: {{ .Release.Name }}
name: {{ .Release.Name }}
spec:
replicas: {{ .Values.replicas }}
selector:
matchLabels:
app: {{ .Values.label }}
template:
metadata:
labels:
app: {{ .Values.label }}
spec:
containers:
- image: {{ .Values.image }}:{{ .Values.imageTag }}
name: {{ .Release.Name }}
#.Release.Name 是内置变量,值就是release的名字,可以作为部署资源的名字
#.Chart.Name 是内置变量,是上一级目录中Chart.yaml中定义的chart的名字
#.Values.label 是在上一级目录values.yaml中定义变量
#.Values.imageTag 和.Values.image 都是在上一级目录values.yaml中定义变量
#.Values.replicas 都是在上一级目录values.yaml中定义变量
#注意:定义变量和引用变量的名字要一致
[root@k8s-master templates]# vim service.yaml #修改如下
apiVersion: v1
kind: Service
metadata:
labels:
chart: {{ .Chart.Name }}
app: {{ .Release.Name }}
name: {{ .Release.Name }}
spec:
ports:

  • port: {{ .Values.svcport }}
    protocol: TCP
    targetPort: {{ .Values.containerport }}
    selector:
    app: {{ .Values.label }}
    #注意:上面的标签选择器要选择对了,要和deployment中的pod的标签保持名字一致
    #.Chart.Name 是内置变量,是上一级目录中Chart.yaml中定义的chart的名字
    #.Release.Name 是内置变量,值就是release的名字,可以作为部署资源的名字
    #.Values.label 是在上一级目录values.yaml中定义变量
    #.Values.svcport 是在上一级目录values.yaml中定义变量
    #.Values.containerport 是在上一级目录values.yaml中定义变量
    2).都定义好后,安装chart,部署服务到k8s:
    [root@k8s-master templates]# cd /root/heml/
    [root@k8s-master heml]# ls nginx-chart/
    charts Chart.yaml templates values.yaml
    试运行看是否正确,不会真的运行部署,注意会打印出要部署时候的yaml信息,查看变量已经被变量值替换了:
    [root@k8s-master heml]# helm install web-nginx --dry-run /root/heml/nginx-chart/ #试运行测试(不是真运行,会检查)
    NAME: web-nginx
    LAST DEPLOYED: Sun Oct 31 09:52:08 2021
    NAMESPACE: default
    STATUS: pending-install
    REVISION: 1
    TEST SUITE: None
    HOOKS:
    MANIFEST:

#Source: nginx-chart/templates/service.yaml
apiVersion: v1
kind: Service
metadata:
labels:
chart: nginx-chart
app: web-nginx
name: web-nginx
spec:
ports:

  • port: 80
    protocol: TCP
    targetPort: 80
    selector:
    app: nginx
    #注意:上面的标签选择器要选择对了,要和deployment中的pod的标签保持名字一致
    #.Chart.Name 是内置变量,是上一级目录中Chart.yaml中定义的chart的名字
    #.Release.Name 是内置变量,值就是release的名字,可以作为部署资源的名字
    #.Values.label 是在上一级目录values.yaml中定义变量
    #.Values.svc-port 是在上一级目录values.yaml中定义变量
    #.Values.container-port 是在上一级目录values.yaml中定义变量

#Source: nginx-chart/templates/deployment.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
labels:
chart: nginx-chart
app: web-nginx
name: web-nginx
spec:
replicas: 3
selector:
matchLabels:
app: nginx
template:
metadata:
labels:
app: nginx
spec:
containers:
- image: nginx:1.17
name: web-nginx
#.Release.Name 是内置变量,值就是release的名字,可以作为部署资源的名字
#.Chart.Name 是内置变量,是上一级目录中Chart.yaml中定义的chart的名字
#.Values.label 是在上一级目录values.yaml中定义变量
#.Values.imageTag 和.Values.image 都是在上一级目录values.yaml中定义变量
#.Values.replicas 都是在上一级目录values.yaml中定义变量
#注意:定义变量和引用变量的名字要一致
安装chart,指定release的名字,部署应用到k8s:
[root@k8s-master heml]# helm install web-nginx /root/heml/nginx-chart/ #安装chart,指定release名和chart目录
[root@k8s-master heml]# helm list #列出release
NAME NAMESPACE REVISION UPDATED STATUS CHART APP VERSION
web-nginx default 1 2021-10-31 09:55:06.829907756 +0800 CST deployed nginx-chart-0.1.0 1.16.0
[root@k8s-master heml]# kubectl get pod,svc,ep -o wide
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
pod/web-nginx-5b9bdd596d-6qqs2 1/1 Running 0 7m4s 10.244.1.86 k8s-node1
pod/web-nginx-5b9bdd596d-fblf6 1/1 Running 0 7m4s 10.244.3.78 k8s-node2
pod/web-nginx-5b9bdd596d-hsh72 1/1 Running 0 7m5s 10.244.3.77 k8s-node2
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE SELECTOR
service/kubernetes ClusterIP 10.96.0.1 443/TCP 60d
service/web-nginx ClusterIP 10.108.15.26 80/TCP 7m5s app=nginx
NAME ENDPOINTS AGE
endpoints/fuseim.pri-ifs 9d
endpoints/kubernetes 192.168.60.128:6443 60d
endpoints/web-nginx 10.244.1.86:80,10.244.3.77:80,10.244.3.78:80 7m5s
[root@k8s-master heml]# curl -I 10.108.15.26 #访问部署的应用nginx
HTTP/1.1 200 OK
Server: nginx/1.17.10
3).helm升级nginx镜像到1.19:
[root@k8s-master heml]# vim /root/heml/nginx-chart/values.yaml
replicas: 3
image: nginx
imageTag: 1.19 #将版本号改成:1.19
label: nginx
svcport: 80
containerport: 80
升级时候需要指定release名:web-nginx,和chart名:nginx-chart
[root@k8s-master heml]# helm upgrade web-nginx nginx-chart -f /root/heml/nginx-chart/values.yaml #升级版本
[root@k8s-master heml]# kubectl get pod,svc,ep
NAME READY STATUS RESTARTS AGE
pod/web-nginx-646789699d-kxq87 1/1 Running 0 76s
pod/web-nginx-646789699d-wtmrh 1/1 Running 0 79s
pod/web-nginx-646789699d-xlfc7 1/1 Running 0 77s
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
service/kubernetes ClusterIP 10.96.0.1 443/TCP 60d
service/web-nginx ClusterIP 10.108.15.26 80/TCP 13m
NAME ENDPOINTS AGE
endpoints/fuseim.pri-ifs 9d
endpoints/kubernetes 192.168.60.128:6443 60d
endpoints/web-nginx 10.244.1.87:80,10.244.1.88:80,10.244.3.79:80 13m
[root@k8s-master heml]# curl -I 10.108.15.26
HTTP/1.1 200 OK
Server: nginx/1.19.10
4).使用helm回滚镜像版本,回滚到上一个版本:1.17:
[root@k8s-master heml]# helm rollback web-nginx #回滚,也可回滚到指定版本: helm rollback web-nginx 版本号
[root@k8s-master heml]# kubectl get pod,svc,ep
NAME READY STATUS RESTARTS AGE
pod/web-nginx-5b9bdd596d-c64kg 1/1 Running 0 42s
pod/web-nginx-5b9bdd596d-n85fp 1/1 Running 0 44s
pod/web-nginx-5b9bdd596d-xtjhm 1/1 Running 0 43s
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
service/kubernetes ClusterIP 10.96.0.1 443/TCP 60d
service/web-nginx ClusterIP 10.108.15.26 80/TCP 15m
NAME ENDPOINTS AGE
endpoints/fuseim.pri-ifs 9d
endpoints/kubernetes 192.168.60.128:6443 60d
endpoints/web-nginx 10.244.1.89:80,10.244.3.80:80,10.244.3.81:80 15m
[root@k8s-master heml]# curl -I 10.108.15.26
HTTP/1.1 200 OK
Server: nginx/1.17.10
注释:
-Chart.yaml: 可理解为是一个变量文件,这个变量文件都可以被templates目录下文件所引用,是定义chart相关信息
-templates目录:下面是你部署一个应用所有涉及的yaml
-helpers.tps: 是放一些templates目录下这些yaml都有可能会用的一些模板
-NOTES.txt: 是部署一个chart后给用户的提示信息
-tests目录: 测试完部署完chart后,如web,做一个链接,看看你是否部署正常
-values.yaml: 定义templates目录下的yaml文件可能引用到的变量
17.helm的常用的内置对象变量
-Release.Name: release名字
-Release.Namespace: release命名空间
-Release.Service: release服务的名称
-Release.Revision: release修订版本号、从1开始累加
18.helm安装chart的调试:(不真正执行,只是试运行看是否能运行,加参数:–dry-run)
#helm install web --dry-run /root/nginx-chart
19.管道与函数: 自定义一个chart,部署nginx服务,自定义变量值,且将变量值进行渲染应用到部署的yaml文件
主要两个常用函数对数据加工:
-quote函数: 是将获取变量的值加一个引号
-default函数: 为变量赋值默认值,如果values.yaml没有定义变量,则让使用默认值,如果values.yaml定义了变量,则使用values.yaml中定义的变量值
1).创建一个chart模板:(默认是nginx)
[root@k8s-master heml]# helm create mychart #创建一个chart模板,这个模板默认就是部署nginx的,创建完的chart就是一个目录,跟上chart的名字
[root@k8s-master heml]# cd mychart/
[root@k8s-master mychart]# ls
charts Chart.yaml templates values.yaml
[root@k8s-master mychart]# ls charts/
空
[root@k8s-master mychart]# > values.yaml #清空默认的定义变量的文件,后面自定义
[root@k8s-master mychart]# cd templates/
[root@k8s-master templates]# ls
deployment.yaml _helpers.tpl ingress.yaml NOTES.txt serviceaccount.yaml service.yaml tests
[root@k8s-master templates]# rm -rf * #删除原有的部署yaml
导出一个部署nginx1.17版本的yaml:
[root@k8s-master templates]# kubectl create deployment mychart --image=nginx:1.17 -o yaml --dry-run=client > deployment.yaml #导出nginx1.17
[root@k8s-master templates]# ls
deployment.yaml
打开部署nginx的yaml,删除不要的,只留自定义需要的,且将经常变化的内容定义成变量(变量在上一级目录的values.yaml中设置供调用),最后如下:
[root@k8s-master templates]# vim deployment.yaml #修改后如下:
apiVersion: apps/v1
kind: Deployment
metadata:
name: {{ quote .Values.name }}
spec:
replicas: {{ default “2” .Values.replicas }}
selector:
matchLabels:
app: {{ quote .Values.label }}
template:
metadata:
labels:
app: {{ quote .Values.label }}
spec:
containers:
- image: {{ .Values.image }}:{{ .Values.imageTag }}
name: {{ .Values.name }}
#定义的变量名就是从上一级的values.yaml中取值,在上一级values.yaml中定义变量和值,然后应用到该文件
#注意定义的变量和引用的变量名需要保持一致
#quote函数: 是将获取变量的值加一个引号
#default函数: 为变量赋值默认值,如果values.yaml没有定义变量,则让使用默认值,如果values.yaml定义了变量,则使用values.yaml中定义的变量值
[root@k8s-master templates]# vim …/values.yaml #在上一级的values.yaml中定义变量和赋值
name: hello-nginx
image: nginx
imageTag: 1.18
label: web
#没定义副本数,让用默认值:2
定义好chart目录结构后,就可以安装chart和部署k8s的应用了:
[root@k8s-master templates]# cd /root/heml/
[root@k8s-master heml]# ls mychart/
charts Chart.yaml templates values.yaml
使用helm部署一个nginx1.17的镜像到k8s集群:
[root@k8s-master heml]# helm install --dry-run hello-mychart-nginx mychart/ #试运行安装chart,指定release名:hell-mychart-nginx
NAME: hello-mychart-nginx
LAST DEPLOYED: Sun Oct 31 15:43:37 2021
NAMESPACE: default
STATUS: pending-install
REVISION: 1
TEST SUITE: None
HOOKS:
MANIFEST:


#Source: mychart/templates/deployment.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
name: “hello-nginx”
spec:
replicas: 2
selector:
matchLabels:
app: “web”
template:
metadata:
labels:
app: “web”
spec:
containers:
- image: nginx:1.18
name: hello-nginx
#定义的变量名就是从上一级的values.yaml中取值,在上一级values.yaml中定义变量和值,然后应用到该文件
#注意定义的变量和引用的变量名需要保持一致
#quote函数: 是将获取变量的值加一个引号
#default函数: 为变量赋值默认值,如果values.yaml没有定义变量,则让使用默认值,如果values.yaml定义了变量,则使用values.yaml中定义的变量值
[root@k8s-master heml]# helm install hello-mychart-nginx mychart/ #安装chart,指定release名:hell-mychart-nginx
[root@k8s-master heml]# helm list #列出release
NAME NAMESPACE REVISION UPDATED STATUS CHART APP VERSION
hello-mychart-nginx default 1 2021-10-31 15:45:43.16107637 +0800 CST deployed mychart-0.1.0 1.16.0
[root@k8s-master heml]# kubectl get pod,deploy -o wide |grep hello #查看部署的应用
pod/hello-nginx-788d44bbfc-mcsqm 1/1 Running 0 62s 10.244.1.97 k8s-node1
pod/hello-nginx-788d44bbfc-rzpps 1/1 Running 0 62s 10.244.3.96 k8s-node2
deployment.apps/hello-nginx 2/2 2 2 62s hello-nginx nginx:1.18 app=web
[root@k8s-master heml]# curl -I 10.244.1.97
HTTP/1.1 200 OK
Server: nginx/1.18.0

20.条件判断if使用(创建一个模板chart,然后自定义部署nginx,且使用变量传参和if判断引入开关)
1).创建一个chart模板并修改:当你使用create创建一个chart模板时候,默认是创建的nginx模板:
[root@k8s-master heml]# helm create nginx-chart #创建一个chart模板,chart名:nginx-chart
[root@k8s-master heml]# cd nginx-chart/
[root@k8s-master nginx-chart]# ls
charts Chart.yaml templates values.yaml
[root@k8s-master nginx-chart]# cat values.yaml |grep nginx
#Default values for nginx-chart.
repository: nginx
#kubernetes.io/ingress.class: nginx
[root@k8s-master nginx-chart]# vim Chart.yaml #将一些注释删掉,保留一些可用变量信息,定义chart相关信息
apiVersion: v2
name: nginx-chart
description: A Helm chart for Kubernetes
type: application
version: 0.1.0 #chart的版本
appVersion: 1.16.0 #chart部署应用的版本
[root@k8s-master nginx-chart]# vim values.yaml #修改,将用不到的删除,保留用的,自己定义变量,定义yaml中经常变化字段的变量
replicaCount: 3
image:
repository: nginx
tag: 1.17
pullPolicy: IfNotPresent
containerport: 80
service:
type: ClusterIP
port: 80
ingress:
enabled: true
host: web-nginx.com
resources:
enabled: true
limits:
cpu: 100m
memory: 128Mi
requests:
cpu: 90m
memory: 118Mi
#注意:上面有自定义的,有在原有基础上修改的。
#当enabled:true表示为真,开启相关开关,如:需要设置资源限制和加ingress
#当enabled:false表示为假,关闭相关开关,如:就表示不需要设置资源限制和增加ingress
[root@k8s-master nginx-chart]# ls templates/
deployment.yaml _helpers.tpl ingress.yaml NOTES.txt serviceaccount.yaml service.yaml tests
[root@k8s-master nginx-chart]# cd templates/
[root@k8s-master templates]# rm -rf * #将默认的都删除
创建一个deployment.yaml模板,定义deployment的名字是web:
[root@k8s-master templates]# kubectl create deployment web --image=nginx --dry-run=client -o yaml > deployment.yaml
[root@k8s-master templates]# ls deployment.yaml
deployment.yaml
[root@k8s-master templates]# kubectl apply -f deployment.yaml #先创建一下资源,后面再删除,为了后面生成一个service.yaml,不创建deployment,service的yaml文件生成会报错
[root@k8s-master templates]# kubectl get deploy
NAME READY UP-TO-DATE AVAILABLE AGE
web 1/1 1 1 99s
[root@k8s-master templates]# kubectl expose deployment web --port=80 --target-port=80 --dry-run=client -o yaml > service.yaml #导出一个service的模板文件,service的名字也定义是web
[root@k8s-master templates]# kubectl delete -f deployment.yaml #删除原来测试部署的资源
[root@k8s-master templates]# kubectl get pod
No resources found in default namespace.
[root@k8s-master templates]# ls #一会修改下面的两yaml文件
deployment.yaml service.yaml
下面是将生成的两个模板进行修改,将经常动态变化的内容改成变量名:(变量值在上一级的values.yaml中定义)
[root@k8s-master templates]# vim deployment.yaml #修改如下
apiVersion: apps/v1
kind: Deployment
metadata:
labels:
chart: {{ .Chart.Name }}
app: {{ .Release.Name }}
name: {{ .Release.Name }}
spec:
replicas: {{ .Values.replicaCount }}
selector:
matchLabels:
app: {{ .Release.Name }}
chart: {{ .Chart.Name }}
template:
metadata:
labels:
app: {{ .Release.Name }}
chart: {{ .Chart.Name }}
spec:
containers:
- image: {{ .Values.image.repository }}:{{ .Values.image.tag }}
name: {{ .Release.Name }}
{{- if .Values.resources.enabled }}
resources:
limits:
cpu: {{ .Values.resources.limits.cpu }}
memory: {{ .Values.resources.limits.memory }}
requests:
cpu: {{ .Values.resources.requests.cpu }}
memory: {{ .Values.resources.requests.memory }}
{{- else }}
resources: {}
{{- end }}
#.Release.Name 是内置变量,值就是release的名字,可以作为部署资源的名字
#.Chart.Name 是内置变量,是上一级目录中Chart.yaml中定义的chart的名字
#.Values.label 是在上一级目录values.yaml中定义变量
#.Values.imageTag 和.Values.image 都是在上一级目录values.yaml中定义变量
#.Values.replicaCount 都是在上一级目录values.yaml中定义变量
#注意:定义变量和引用变量的名字要一致
#{{- if .Values.resources.enable }} 条件判断,如果有值,则渲染下面的资源限制,在上一级values.yaml定义,即:如果是enable状态是true(开启开关)就渲染,如果enable为false则不渲染
#{{ .Values.resources.limits.cpu }}: 都是在上一级目录values.yaml中定义变量
#{{ .Values.resources.limits.memory }} 都是在上一级目录values.yaml中定义变量
#{{- }} 前面加横线是为了去掉该行的空格,如果不加,改行渲染时会形成空格
[root@k8s-master templates]# vim service.yaml #修改如下
apiVersion: v1
kind: Service
metadata:
labels:
chart: {{ .Chart.Name }}
app: {{ .Release.Name }}
name: {{ .Release.Name }}
spec:
ports:

  • port: {{ .Values.service.port }}
    protocol: TCP
    targetPort: {{ .Values.containerport }}
    selector:
    app: {{ .Release.Name }}
    chart: {{ .Chart.Name }}
    #注意:上面的标签选择器要选择对了,要和deployment中的pod的标签保持名字一致
    #.Chart.Name 是内置变量,是上一级目录中Chart.yaml中定义的chart的名字
    #.Release.Name 是内置变量,值就是release的名字,可以作为部署资源的名字
    #.Values.service.port 是在上一级目录values.yaml中定义变量,且逐级引用
    #.Values.containerport 是在上一级目录values.yaml中定义变量
    再增加一个ingress.yaml文件,可由开关控制是否部署ingress:
    [root@k8s-master templates]# vim ingress.yaml
    {{- if .Values.ingress.enabled }}
    apiVersion: extensions/v1beta1
    kind: Ingress
    metadata:
    name: web-ingress
    namespace: default
    annotations:
    nginx.ingress.kubernetes.io/whitelist-source-range: 0.0.0.0/0
    spec:
    rules:
  • host: {{ .Values.ingress.host }}
    http:
    paths:
    • path: /
      backend:
      serviceName: {{ .Release.Name }}
      servicePort: {{ .Values.service.port }}
      {{- end }}
      #{{- if .Values.ingress.enabled }} 若上级values.yaml文件中enabled为true,表示启用ingress,开关打开,否则不起用。
      #{{- end }} 是结束符
      #{{- }} 前面的横线表示去掉改行的空格
      #{{ .Values.ingress.host }} 是在上一级values.yaml中定义的域名
      #{{ .Release.Name }} 引用内置变量的值,release的名字
      #{{ .Values.service.port }} 引用在上一级values.yaml中定义的变量值
      [root@k8s-master templates]# ls
      deployment.yaml ingress.yaml service.yaml
      2).都定义好后,安装chart,部署服务到k8s:
      [root@k8s-master templates]# cd /root/heml/
      [root@k8s-master heml]# ls nginx-chart/
      charts Chart.yaml templates values.yaml
      先不开启资源限制和ingress的开关,将enabled设置为false,则部署之后,没有ingress和资源限制:
      [root@k8s-master heml]# vim nginx-chart/values.yaml
      replicaCount: 3
      image:
      repository: nginx
      tag: 1.17
      pullPolicy: IfNotPresent
      containerport: 80
      service:
      type: ClusterIP
      port: 80
      ingress:
      enabled: false
      host: web-nginx.com
      resources:
      enabled: false
      limits:
      cpu: 100m
      memory: 128Mi
      requests:
      cpu: 200m
      memory: 228Mi
      试运行看是否正确,不会真的运行部署,注意会打印出要部署时候的yaml信息,查看变量已经被变量值替换了:
      [root@k8s-master heml]# helm install web-nginx --dry-run /root/heml/nginx-chart/ #试运行测试(不是真运行,会检查)
      NAME: web-nginx
      LAST DEPLOYED: Sun Oct 31 23:36:10 2021
      NAMESPACE: default
      STATUS: pending-install
      REVISION: 1
      TEST SUITE: None
      HOOKS:
      MANIFEST:

#Source: nginx-chart/templates/service.yaml
apiVersion: v1
kind: Service
metadata:
labels:
chart: nginx-chart
app: web-nginx
name: web-nginx
spec:
ports:

  • port: 80
    protocol: TCP
    targetPort: 80
    selector:
    app: web-nginx
    chart: nginx-chart
    #注意:上面的标签选择器要选择对了,要和deployment中的pod的标签保持名字一致
    #.Chart.Name 是内置变量,是上一级目录中Chart.yaml中定义的chart的名字
    #.Release.Name 是内置变量,值就是release的名字,可以作为部署资源的名字
    #.Values.service.port 是在上一级目录values.yaml中定义变量,且逐级引用
    #.Values.containerport 是在上一级目录values.yaml中定义变量

#Source: nginx-chart/templates/deployment.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
labels:
chart: nginx-chart
app: web-nginx
name: web-nginx
spec:
replicas: 3
selector:
matchLabels:
app: web-nginx
chart: nginx-chart
template:
metadata:
labels:
app: web-nginx
chart: nginx-chart
spec:
containers:
- image: nginx:1.17
name: web-nginx
resources: {}
#.Release.Name 是内置变量,值就是release的名字,可以作为部署资源的名字
#.Chart.Name 是内置变量,是上一级目录中Chart.yaml中定义的chart的名字
#.Values.label 是在上一级目录values.yaml中定义变量
#.Values.imageTag 和.Values.image 都是在上一级目录values.yaml中定义变量
#.Values.replicaCount 都是在上一级目录values.yaml中定义变量
#注意:定义变量和引用变量的名字要一致
开启资源限制和ingress的开关,将enabled设置为true,则部署之后有ingress和资源限制:
[root@k8s-master heml]# vim nginx-chart/values.yaml
replicaCount: 3
image:
repository: nginx
tag: 1.17
pullPolicy: IfNotPresent
containerport: 80
service:
type: ClusterIP
port: 80
ingress:
enabled: true
host: web-nginx.com
resources:
enabled: true
limits:
cpu: 100m
memory: 128Mi
requests:
cpu: 90m
memory: 118Mi
[root@k8s-master heml]# helm install web-nginx --dry-run /root/heml/nginx-chart/ #试运行测试(不是真运行,会检查)
NAME: web-nginx
LAST DEPLOYED: Sun Oct 31 23:55:12 2021
NAMESPACE: default
STATUS: pending-install
REVISION: 1
TEST SUITE: None
HOOKS:
MANIFEST:


#Source: nginx-chart/templates/service.yaml
apiVersion: v1
kind: Service
metadata:
labels:
chart: nginx-chart
app: web-nginx
name: web-nginx
spec:
ports:

  • port: 80
    protocol: TCP
    targetPort: 80
    selector:
    app: web-nginx
    chart: nginx-chart
    #注意:上面的标签选择器要选择对了,要和deployment中的pod的标签保持名字一致
    #.Chart.Name 是内置变量,是上一级目录中Chart.yaml中定义的chart的名字
    #.Release.Name 是内置变量,值就是release的名字,可以作为部署资源的名字
    #.Values.service.port 是在上一级目录values.yaml中定义变量,且逐级引用
    #.Values.containerport 是在上一级目录values.yaml中定义变量

#Source: nginx-chart/templates/deployment.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
labels:
chart: nginx-chart
app: web-nginx
name: web-nginx
spec:
replicas: 3
selector:
matchLabels:
app: web-nginx
chart: nginx-chart
template:
metadata:
labels:
app: web-nginx
chart: nginx-chart
spec:
containers:
- image: nginx:1.17
name: web-nginx
resources:
limits:
cpu: 100m
memory: 128Mi
requests:
cpu: 90m
memory: 118Mi
#.Release.Name 是内置变量,值就是release的名字,可以作为部署资源的名字
#.Chart.Name 是内置变量,是上一级目录中Chart.yaml中定义的chart的名字
#.Values.label 是在上一级目录values.yaml中定义变量
#.Values.imageTag 和.Values.image 都是在上一级目录values.yaml中定义变量
#.Values.replicaCount 都是在上一级目录values.yaml中定义变量
#注意:定义变量和引用变量的名字要一致


#Source: nginx-chart/templates/ingress.yaml
apiVersion: extensions/v1beta1
kind: Ingress
metadata:
name: web-ingress
namespace: default
annotations:
nginx.ingress.kubernetes.io/whitelist-source-range: 0.0.0.0/0
spec:
rules:

  • host: web-nginx.com
    http:
    paths:
    • path: /
      backend:
      serviceName: web-nginx
      servicePort: 80
      安装chart,指定release的名字,部署应用到k8s:
      [root@k8s-master heml]# helm install web-nginx /root/heml/nginx-chart/ #安装chart,指定release名和chart目录
      [root@k8s-master heml]# helm list #列出release
      NAME NAMESPACE REVISION UPDATED STATUS CHART APP VERSION
      web-nginx default 1 2021-10-31 23:56:38.344471524 +0800 CST deployed nginx-chart-0.1.0 1.16.0
      [root@k8s-master heml]# kubectl get pod,svc,ep,ing -o wide
      NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
      pod/web-nginx-5dfbb5b45f-8vdlj 1/1 Running 0 28s 10.244.3.104 k8s-node2
      pod/web-nginx-5dfbb5b45f-f49bj 1/1 Running 0 28s 10.244.3.103 k8s-node2
      pod/web-nginx-5dfbb5b45f-qrzzx 1/1 Running 0 28s 10.244.1.101 k8s-node1
      NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE SELECTOR
      service/kubernetes ClusterIP 10.96.0.1 443/TCP 61d
      service/web-nginx ClusterIP 10.103.26.1 80/TCP 28s app=web-nginx,chart=nginx-chart
      NAME ENDPOINTS AGE
      endpoints/fuseim.pri-ifs 9d
      endpoints/kubernetes 192.168.60.128:6443 61d
      endpoints/web-nginx 10.244.1.101:80,10.244.3.103:80,10.244.3.104:80 28s
      NAME CLASS HOSTS ADDRESS PORTS AGE
      ingress.networking.k8s.io/web-ingress web-nginx.com 80 28s
      [root@k8s-master heml]# curl -I 10.103.26.1 #通过service_ip访问
      HTTP/1.1 200 OK
      Server: nginx/1.17.10
      #说明一下,因为虽然部署了ingress,但没有部署ingress-controller,所以通过ingress域名还是无法访问的,只要部署了ingress-controller,就可以访问了,此处主要讲解开关
      21.命名模板(定义公共模板):
      命名模板,即在templates目录中定义一个公共模板_helper.tpl,让templates目录下的其他各个有共性的yaml文件,来引用公共模板的内容,达到公共部分复用,命名模板使用define定义,template引入,在template目录中默认下划线开头的文件为公共模板,如:_helper.tpl
      22.公共模板使用(创建一个模板chart,然后自定义部署nginx,且使用变量传参和公共模板引入)
      1).创建一个chart模板并修改:当你使用create创建一个chart模板时候,默认是创建的nginx模板:
      [root@k8s-master heml]# helm create nginx-chart #创建一个chart模板,chart名:nginx-chart
      [root@k8s-master heml]# cd nginx-chart/
      [root@k8s-master nginx-chart]# ls
      charts Chart.yaml templates values.yaml
      [root@k8s-master nginx-chart]# cat values.yaml |grep nginx
      #Default values for nginx-chart.
      repository: nginx
      #kubernetes.io/ingress.class: nginx
      [root@k8s-master nginx-chart]# vim Chart.yaml #将一些注释删掉,保留一些可用变量信息,定义chart相关信息
      apiVersion: v2
      name: nginx-chart
      description: A Helm chart for Kubernetes
      type: application
      version: 0.1.0 #chart的版本
      appVersion: 1.16.0 #chart部署应用的版本
      [root@k8s-master nginx-chart]# vim values.yaml #修改,将所有的删除,自己定义变量,定义yaml中经常变化字段的变量
      replicas: 3
      image: nginx
      imageTag: 1.19
      label: nginx
      svcport: 80
      containerport: 80
      [root@k8s-master nginx-chart]# ls templates/
      deployment.yaml _helpers.tpl ingress.yaml NOTES.txt serviceaccount.yaml service.yaml tests
      [root@k8s-master nginx-chart]# cd templates/
      [root@k8s-master templates]# rm -rf * #将默认的都删除
      创建一个deployment.yaml模板,定义deployment的名字是web:
      [root@k8s-master templates]# kubectl create deployment web --image=nginx --dry-run=client -o yaml > deployment.yaml
      [root@k8s-master templates]# ls deployment.yaml
      deployment.yaml
      [root@k8s-master templates]# kubectl apply -f deployment.yaml #先创建一下资源,后面再删除,为了后面生成一个service.yaml,不创建deployment,service的yaml文件生成会报错
      [root@k8s-master templates]# kubectl get deploy
      NAME READY UP-TO-DATE AVAILABLE AGE
      web 1/1 1 1 99s
      [root@k8s-master templates]# kubectl expose deployment web --port=80 --target-port=80 --dry-run=client -o yaml > service.yaml #导出一个service的模板文件,service的名字也定义是web
      [root@k8s-master templates]# kubectl delete -f deployment.yaml #删除原来测试部署的资源
      [root@k8s-master templates]# kubectl get pod
      No resources found in default namespace.
      [root@k8s-master templates]# ls #一会修改下面的两yaml文件
      deployment.yaml service.yaml
      定义一个公共模板:供其他有共性的yaml文件引用(如:标签匹配共性、资源名字可以是同一个)
      [root@k8s-master templates]# vim _helper.tpl #定义一个公共模板,供其他yaml文件调用
      {{- define “name” -}}
      {{ .Chart.Name }}-{{ .Release.Name }}
      {{- end -}}
      {{- define “labels” -}}
      app: {{ template “name” . }}
      chart: {{ .Chart.Name }}-{{ .Chart.Version }}
      release: {{ .Release.Name }}
      {{- end -}}
      #上面也是引用了内置变量
      #{{- -}}是为了去掉空行,如果不加,该处会变成空行
      下面是将生成的两个模板进行修改,将经常动态变化的内容改成变量名:(变量值在上一级的values.yaml中定义)
      [root@k8s-master templates]# vim deployment.yaml #修改如下
      apiVersion: apps/v1
      kind: Deployment
      metadata:
      labels:
      {{ include “labels” . | nindent 4 }}
      name: {{ template “name” . }}
      spec:
      replicas: {{ .Values.replicas }}
      selector:
      matchLabels:
      app: {{ .Values.label }}
      template:
      metadata:
      labels:
      app: {{ .Values.label }}
      spec:
      containers:
    • image: {{ .Values.image }}:{{ .Values.imageTag }}
      name: {{ template “name” . }}
      #.Release.Name 是内置变量,值就是release的名字,可以作为部署资源的名字
      #.Chart.Name 是内置变量,是上一级目录中Chart.yaml中定义的chart的名字
      #.Values.label 是在上一级目录values.yaml中定义变量
      #.Values.imageTag 和.Values.image 都是在上一级目录values.yaml中定义变量
      #.Values.replicas 都是在上一级目录values.yaml中定义变量
      #注意:定义变量和引用变量的名字要一致
      #{{ template “name” . }}: 使用template关键字引用模板的名字,模板的名字是_helper.tpl中定义的name,.表示引用当前
      #{{ include “labels” . | nindent 4 }}: nindent 4是缩进4个字符,因为连着用了函数,template关键字不支持,所以引用了include关键字
      [root@k8s-master templates]# vim service.yaml #修改如下
      apiVersion: v1
      kind: Service
      metadata:
      labels:
      {{ include “labels” . | nindent 4 }}
      name: {{ template “name” . }}
      spec:
      ports:
  • port: {{ .Values.svcport }}
    protocol: TCP
    targetPort: {{ .Values.containerport }}
    selector:
    app: {{ .Values.label }}
    #注意:上面的标签选择器要选择对了,要和deployment中的pod的标签保持名字一致
    #.Chart.Name 是内置变量,是上一级目录中Chart.yaml中定义的chart的名字
    #.Release.Name 是内置变量,值就是release的名字,可以作为部署资源的名字
    #.Values.label 是在上一级目录values.yaml中定义变量
    #.Values.svc-port 是在上一级目录values.yaml中定义变量
    #.Values.container-port 是在上一级目录values.yaml中定义变量
    #注意:上面的标签选择器要选择对了,要和deployment中的pod的标签保持名字一致
    #.Chart.Name 是内置变量,是上一级目录中Chart.yaml中定义的chart的名字
    #.Release.Name 是内置变量,值就是release的名字,可以作为部署资源的名字
    #.Values.label 是在上一级目录values.yaml中定义变量
    #.Values.svc-port 是在上一级目录values.yaml中定义变量
    #.Values.container-port 是在上一级目录values.yaml中定义变量
    #{{ template “name” . }}: 使用template关键字引用模板的名字,模板的名字是_helper.tpl中定义的name,.表示引用当前
    #{{ include “labels” . | nindent 4 }}: nindent 4是缩进4个字符,因为连着用了函数,template关键字不支持,所以引用了include关键字
    2).都定义好后,安装chart,部署服务到k8s:
    [root@k8s-master templates]# cd /root/heml/
    [root@k8s-master heml]# ls nginx-chart/
    charts Chart.yaml templates values.yaml
    试运行看是否正确,不会真的运行部署,注意会打印出要部署时候的yaml信息,查看变量已经被变量值替换了:
    [root@k8s-master heml]# helm install web-nginx --dry-run /root/heml/nginx-chart/ #试运行测试(不是真运行,会检查)
    NAME: web-nginx
    LAST DEPLOYED: Sun Oct 31 20:57:59 2021
    NAMESPACE: default
    STATUS: pending-install
    REVISION: 1
    TEST SUITE: None
    HOOKS:
    MANIFEST:

#Source: nginx-chart/templates/service.yaml
apiVersion: v1
kind: Service
metadata:
labels:
app: nginx-chart-web-nginx
chart: nginx-chart-0.1.0
release: web-nginx
name: nginx-chart-web-nginx
spec:
ports:

  • port: 80
    protocol: TCP
    targetPort: 80
    selector:
    app: nginx
    #注意:上面的标签选择器要选择对了,要和deployment中的pod的标签保持名字一致
    #.Chart.Name 是内置变量,是上一级目录中Chart.yaml中定义的chart的名字
    #.Release.Name 是内置变量,值就是release的名字,可以作为部署资源的名字
    #.Values.label 是在上一级目录values.yaml中定义变量
    #.Values.svc-port 是在上一级目录values.yaml中定义变量
    #.Values.container-port 是在上一级目录values.yaml中定义变量

#Source: nginx-chart/templates/deployment.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
labels:
app: nginx-chart-web-nginx
chart: nginx-chart-0.1.0
release: web-nginx
name: nginx-chart-web-nginx
spec:
replicas: 3
selector:
matchLabels:
app: nginx
template:
metadata:
labels:
app: nginx
spec:
containers:
- image: nginx:1.19
name: nginx-chart-web-nginx
#.Release.Name 是内置变量,值就是release的名字,可以作为部署资源的名字
#.Chart.Name 是内置变量,是上一级目录中Chart.yaml中定义的chart的名字
#.Values.label 是在上一级目录values.yaml中定义变量
#.Values.imageTag 和.Values.image 都是在上一级目录values.yaml中定义变量
#.Values.replicas 都是在上一级目录values.yaml中定义变量
#注意:定义变量和引用变量的名字要一致
安装chart,指定release的名字,部署应用到k8s:
[root@k8s-master heml]# helm install web-nginx /root/heml/nginx-chart/ #安装chart,指定release名和chart目录
[root@k8s-master heml]# helm list #列出release
NAME NAMESPACE REVISION UPDATED STATUS CHART APP VERSION
web-nginx default 1 2021-10-31 21:00:16.694093509 +0800 CST deployed nginx-chart-0.1.0 1.16.0
[root@k8s-master heml]# kubectl get pod,svc,ep -o wide
[root@k8s-master heml]# kubectl get pod,svc,ep -o wide
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
pod/nginx-chart-web-nginx-5cb4f94698-k9thk 1/1 Running 0 48s 10.244.3.97 k8s-node2
pod/nginx-chart-web-nginx-5cb4f94698-rw4dq 1/1 Running 0 48s 10.244.3.98 k8s-node2
pod/nginx-chart-web-nginx-5cb4f94698-xgcxw 1/1 Running 0 48s 10.244.1.98 k8s-node1
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE SELECTOR
service/kubernetes ClusterIP 10.96.0.1 443/TCP 61d
service/nginx-chart-web-nginx ClusterIP 10.108.24.131 80/TCP 48s app=nginx
NAME ENDPOINTS AGE
endpoints/fuseim.pri-ifs 9d
endpoints/kubernetes 192.168.60.128:6443 61d
endpoints/nginx-chart-web-nginx 10.244.1.98:80,10.244.3.97:80,10.244.3.98:80 48s
[root@k8s-master heml]# curl -I 10.108.24.131
HTTP/1.1 200 OK
Server: nginx/1.19.10

k8s其他相关详细资料下载地址:
kubeadm初始化高可用k8s1.20.4集群网盘地址: https://url28.ctfile.com/f/37115828-599516373-25f42e?p=4907
访问密码:4907

1.普罗米修斯promethues2.35.0监控-宿主机node监控网盘地址: https://url28.ctfile.com/f/37115828-589234219-d1cf35?p=4907
访问密码:4907
2.普罗米修斯promethues2.35.0监控-docker容器网盘地址: https://url28.ctfile.com/f/37115828-589234295-b4e3f2?p=4907
访问密码:4907
3.k8s1.20.4-promethues监控和报警网盘地址: https://url28.ctfile.com/f/37115828-589237365-1fd78d?p=4907
访问密码:4907
4.普罗米修斯promethues2.35.0监控mysql网盘地址: https://url28.ctfile.com/f/37115828-589253370-05b5d8?p=4907
访问密码:4907
5.普罗米修斯promethues2.35.0监控redis网盘地址: https://url28.ctfile.com/f/37115828-589253621-826cc0?p=4907
访问密码:4907

efk7.13.2搜集k8s各容器日志网盘地址: https://url28.ctfile.com/f/37115828-599686611-63bb79?p=4907
访问密码:4907
k8s-helm-51cto课程和笔记-v3版部署k8s集群网盘地址: https://url28.ctfile.com/f/37115828-599686627-f6a619?p=4907
访问密码:4907
阿里云开源插件log-pilot搜集k8s部署应用容器内日志网盘地址: https://url28.ctfile.com/f/37115828-599524530-7be0b5?p=4907
访问密码:4907
k8s重要资料51cto学习视频1和2网盘地址: https://url28.ctfile.com/f/37115828-599688102-7f7abb?p=4907
访问密码:4907

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/986450.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号