博客
关于我
强烈建议你试试无所不能的chatGPT，快点击我
SaltStack自动化部署HA-Kubernetes-v1.13.6
阅读量：6321 次
发布时间：2019-06-22

本文共 11658 字，大约阅读时间需要 38 分钟。

SaltStack自动化部署HA-Kubernetes-v1.13.6

  • 本项目在GitHub上，会不定期更新，大家也可以提交ISSUE，地址为：https://github.com/sky-daiji/salt-k8s-ha

  • SaltStack自动化部署Kubernetes v1.13.6版本（支持HA、TLS双向认证、RBAC授权、Flannel网络、ETCD集群、Kuber-Proxy使用LVS等）。

  • SaltStack自动化部署Kubernetes v1.12.5版本（支持HA、TLS双向认证、RBAC授权、Flannel网络、ETCD集群、Kuber-Proxy使用LVS等）。

  • 该项目也兼容kubernetes v1.13.6版本，亲测可用。只需将原版本目录中 /srv/salt/k8s/files/k8s-v1.12.5/bin 的bin目录下的二进制文件替换为新版本即可；其他无需更改。

版本明细：Release-v1.13.6

  • 测试通过系统：CentOS 7.6
  • Kernel Version: 4.18.9-1.el7.elrepo.x86_64
  • salt-ssh: salt-ssh 2019.2.0-1
  • Kubernetes： v1.13.6
  • Etcd: v3.3.12
  • Docker: v18.09.2
  • Flannel： v0.11.0
  • CNI-Plugins： v0.7.4
  • nginx: v1.15.3

建议部署节点：最少三个Master节点，请配置好主机名解析（必备）。以下是最小配置，否则可能不成功。

IP地址 Hostname 最小配置 Kernel Version
192.168.245.128 linux-node1 Centos7.6 2G 2CPU 4.18.9-1.el7.elrepo.x86_64
192.168.245.129 linux-node2 Centos7.6 2G 2CPU 4.18.9-1.el7.elrepo.x86_64
192.168.245.130 linux-node3 Centos7.6 2G 2CPU 4.18.9-1.el7.elrepo.x86_64
192.168.245.131 linux-node4 Centos7.6 1G 1CPU 4.18.9-1.el7.elrepo.x86_64

架构介绍

  1. 使用Salt Grains进行角色定义，增加灵活性。
  2. 使用Salt Pillar进行配置项管理，保证安全性。
  3. 使用Salt SSH执行状态，不需要安装Agent，保证通用性。
  4. 使用Kubernetes当前稳定版本v1.13.6，保证稳定性。
  5. 使用nginx来保证集群的高可用。
  6. KeepAlive+VIP的形式完成高可用的缺点
    • 受限于使用者的网络，无法适用于SDN网络，比如Aliyun的VPC
    • 虽然是高可用的，但是流量还是单点的，所有node的的网络I/O都会高度集中于一台机器上（VIP)，一旦集群节点增多，pod增多，单机的网络I/O迟早是网络隐患。
  7. 本文的高可用可通用于任何云上的SDN环境和自建机房环境，列如阿里云的VPC环境中
  8. 本架构ETCD集群使用的是HTTP协议。

关于ETCD要不要使用TLS？

  1. 首先TLS的目的是为了鉴权为了防止别人任意的连接上你的etcd集群。其实意思就是说如果你要放到公网上的ETCD集群，并开放端口，我建议你一定要用TLS。
  2. 如果你的ETCD集群跑在一个内网环境比如（VPC环境），而且你也不会开放ETCD端口，你的ETCD跑在防火墙之后，一个安全的局域网中，那么你用不用TLS，都行。

技术交流QQ群（加群请备注来源于Github）：

  • Docker&Kubernetes：796163694

  • 本教程的来源于以下教程而生成，在此特别感谢两位作者。

    1. 和我一步步部署 kubernetes 集群 https://github.com/opsnull/follow-me-install-kubernetes-cluster

    2. SaltStack自动化部署Kubernetes https://github.com/unixhot/salt-kubernetes

案例架构图

架构图

0.系统初始化(必备)

  1. 设置主机名！！！
[root@linux-node1 ~]# cat /etc/hostnamelinux-node1[root@linux-node2 ~]# cat /etc/hostnamelinux-node2[root@linux-node3 ~]# cat /etc/hostnamelinux-node3[root@linux-node4 ~]# cat /etc/hostnamelinux-node4
  1. 设置/etc/hosts保证主机名能够解析
[root@linux-node1 ~]# cat /etc/hosts127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4::1         localhost localhost.localdomain localhost6 localhost6.localdomain6192.168.245.128 linux-node1192.168.245.129 linux-node2192.168.245.130 linux-node3192.168.245.131 linux-node4
  1. 关闭SELinux和防火墙以及NetworkManager
systemctl disable --now firewalld NetworkManager setenforce 0 sed -ri '/^[^#]*SELINUX=/s#=.+$#=disabled#' /etc/selinux/config
  1. 升级内核
  1. 以上必备条件必须严格检查，否则，一定不会部署成功！

1.设置部署节点到其它所有节点的SSH免密码登录（包括本机）

[root@linux-node1 ~]# ssh-keygen -t rsa[root@linux-node1 ~]# ssh-copy-id linux-node1[root@linux-node1 ~]# ssh-copy-id linux-node2[root@linux-node1 ~]# ssh-copy-id linux-node3[root@linux-node1 ~]# ssh-copy-id linux-node4[root@linux-node1 ~]# scp /etc/hosts linux-node2:/etc/[root@linux-node1 ~]# scp /etc/hosts linux-node3:/etc/[root@linux-node1 ~]# scp /etc/hosts linux-node4:/etc/

2.安装Salt-SSH并克隆本项目代码。

2.1 安装Salt SSH（注意：老版本的Salt SSH不支持Roster定义Grains，需要2017.7.4以上版本）

[root@linux-node1 ~]# yum install -y https://mirrors.aliyun.com/saltstack/yum/redhat/salt-repo-latest-2.el7.noarch.rpm[root@linux-node1 ~]# sed -i "s/repo.saltstack.com/mirrors.aliyun.com\/saltstack/g" /etc/yum.repos.d/salt-latest.repo[root@linux-node1 ~]# yum install -y salt-ssh git unzip p7zip

2.2 获取本项目 1.13.6 分支代码，并放置在 /srv 目录

[root@linux-node1 ~]# git clone -b 1.13.6 https://github.com/sky-daiji/salt-k8s-ha.git[root@linux-node1 ~]# cd salt-k8s-ha/[root@linux-node1 ~]# mv * /srv/[root@linux-node1 srv]# /bin/cp /srv/roster /etc/salt/roster[root@linux-node1 srv]# /bin/cp /srv/master /etc/salt/master

2.4 下载二进制文件，也可以自行官方下载，有需要的朋友可以用FQ软件shadowsocks,（）为了方便国内用户访问，请在百度云盘下载,下载 k8s-v1.13.6-auto.zip 。下载完成后，将文件移动到 /srv/salt/k8s/ 目录下，并解压，注意是 files 目录在 /srv/salt/k8s/目录下。二进制文件下载链接：https://pan.baidu.com/s/1PXibbPX1S0Xmaqjbm_NVNQ 提取码：kbyx

[root@linux-node1 ~]# cd /srv/salt/k8s/[root@linux-node1 k8s]# 7za x k8s-v1.13.6-auto.zip[root@linux-node1 k8s]# rm -f k8s-v1.13.6-auto.zip[root@linux-node1 k8s]# ls -l files/total 0drwx------ 2 root root  94 Mar 18 13:41 cfssl-1.2drwx------ 2 root root 195 Mar 18 13:41 cni-plugins-amd64-v0.7.4drwx------ 3 root root 123 Mar 18 13:41 etcd-v3.3.12-linux-amd64drwx------ 2 root root  47 Mar 18 13:41 flannel-v0.11.0-linux-amd64drwx------ 3 root root  17 Mar 18 13:41 k8s-v1.13.6drwx------ 2 root root  33 Mar 18 20:17 nginx-1.15.3

3.Salt SSH管理的机器以及角色分配

  • k8s-role: 用来设置K8S的角色
  • etcd-role: 用来设置etcd的角色，如果只需要部署一个etcd，只需要在一台机器上设置即可
  • etcd-name: 如果对一台机器设置了etcd-role就必须设置etcd-name
[root@linux-node1 ~]# vim /etc/salt/rosterlinux-node1:  host: 192.168.245.128  user: root  priv: /root/.ssh/id_rsa  minion_opts:    grains:      k8s-role: master      etcd-role: node      etcd-name: etcd-node1linux-node2:  host: 192.168.245.129  user: root  priv: /root/.ssh/id_rsa  minion_opts:    grains:      k8s-role: master      etcd-role: node      etcd-name: etcd-node2linux-node3:  host: 192.168.245.130  user: root  priv: /root/.ssh/id_rsa  minion_opts:    grains:      k8s-role: master      etcd-role: node      etcd-name: etcd-node3linux-node4:  host: 192.168.245.131  user: root  priv: /root/.ssh/id_rsa  minion_opts:    grains:      k8s-role: node

4.修改对应的配置参数，本项目使用Salt Pillar保存配置

[root@k8s-m1 ~]# vim /srv/pillar/k8s.sls#设置Master的IP地址(必须修改)MASTER_IP_M1: "192.168.245.128"MASTER_IP_M2: "192.168.245.129"MASTER_IP_M3: "192.168.245.130"#设置Master的HOSTNAME完整的FQDN名称(必须修改)MASTER_H1: "linux-node1"MASTER_H2: "linux-node2"MASTER_H3: "linux-node3"#KUBE-APISERVER的反向代理地址端口KUBE_APISERVER: "https://127.0.0.1:8443"#设置ETCD集群访问地址（必须修改）ETCD_ENDPOINTS: "http://192.168.245.128:2379,http://192.168.245.129:2379,http://192.168.245.130:2379"FLANNEL_ETCD_PREFIX: "/kubernetes/network"#设置ETCD集群初始化列表（必须修改）ETCD_CLUSTER: "etcd-node1=http://192.168.245.128:2380,etcd-node2=http://192.168.245.129:2380,etcd-node3=http://192.168.245.130:2380"#通过Grains FQDN自动获取本机IP地址，请注意保证主机名解析到本机IP地址NODE_IP: {
   { grains['fqdn_ip4'][0] }}HOST_NAME: {
   { grains['fqdn'] }}#设置BOOTSTARP的TOKEN，可以自己生成BOOTSTRAP_TOKEN: "be8dad.da8a699a46edc482"TOKEN_ID: "be8dad"TOKEN_SECRET: "da8a699a46edc482"ENCRYPTION_KEY: "8eVtmpUpYjMvH8wKZtKCwQPqYRqM14yvtXPLJdhu0gA="#配置Service IP地址段SERVICE_CIDR: "10.1.0.0/16"#Kubernetes服务 IP (从 SERVICE_CIDR 中预分配)CLUSTER_KUBERNETES_SVC_IP: "10.1.0.1"#Kubernetes DNS 服务 IP (从 SERVICE_CIDR 中预分配)CLUSTER_DNS_SVC_IP: "10.1.0.2"#设置Node Port的端口范围NODE_PORT_RANGE: "20000-40000"#设置POD的IP地址段POD_CIDR: "10.2.0.0/16"#设置集群的DNS域名CLUSTER_DNS_DOMAIN: "cluster.local."#设置Docker Registry地址#DOCKER_REGISTRY: "https://192.168.150.135:5000"#设置Master的VIP地址(必须修改)MASTER_VIP: "192.168.150.253"#设置网卡名称VIP_IF: "ens32"

5.执行SaltStack状态

5.1 测试Salt SSH联通性

[root@k8s-m1 ~]# salt-ssh '*' test.ping

执行高级状态，会根据定义的角色再对应的机器部署对应的服务

5.2 部署Etcd，由于Etcd是基础组建，需要先部署，目标为部署etcd的节点。

增加etcd参数的优化。

  • --auto-compaction-retention

    由于ETCD数据存储多版本数据，随着写入的主键增加历史版本需要定时清理，默认的历史数据是不会清理的，数据达到2G就不能写入，必须要清理压缩历史数据才能继续写入;所以根据业务需求，在上生产环境之前就提前确定，历史数据多长时间压缩一次;推荐一小时压缩一次数据这样可以极大的保证集群稳定，减少内存和磁盘占用

  • --max-request-bytes etcd Raft消息最大字节数，ETCD默认该值为1.5M; 但是很多业务场景发现同步数据的时候1.5M完全没法满足要求，所以提前确定初始值很重要;由于1.5M导致我们线上的业务无法写入元数据的问题，我们紧急升级之后把该值修改为默认32M，但是官方推荐的是10M，大家可以根据业务情况自己调整

  • --quota-backend-bytes ETCD db数据大小，默认是2G，当数据达到2G的时候就不允许写入，必须对历史数据进行压缩才能继续写入;参加1里面说的，我们启动的时候就应该提前确定大小，官方推荐是8G，这里我们也使用8G的配置

[root@linux-node1 ~]# salt-ssh -L 'linux-node1,linux-node2,linux-node3' state.sls k8s.etcd

注：如果执行失败，新手建议推到重来，请检查各个节点的主机名解析是否正确（监听的IP地址依赖主机名解析）。

5.3 部署K8S集群

[root@linux-node1 ~]# salt-ssh '*' state.highstate

由于包比较大，这里执行时间较长，5分钟+，喝杯咖啡休息一下，如果执行有失败可以再次执行即可！

6.测试Kubernetes安装

#先验证etcd[root@linux-node1 ~]# source /etc/profile[root@linux-node1 ~]# etcdctl --endpoints=http://192.168.245.128:2379 cluster-health[root@linux-node1 ~]# etcdctl --endpoints=http://192.168.245.128:2379 member list[root@linux-node1 ~]# kubectl get csNAME                 STATUS    MESSAGE             ERRORcontroller-manager   Healthy   ok                  scheduler            Healthy   ok                  etcd-2               Healthy   {"health":"true"}   etcd-1               Healthy   {"health":"true"}   etcd-0               Healthy   {"health":"true"}  [root@linux-node1 ~]# kubectl get nodeNAME          STATUS   ROLES    AGE     VERSIONlinux-node1   Ready    master   3h12m   v1.13.6linux-node2   Ready    master   3h12m   v1.13.6linux-node3   Ready    master   3h13m   v1.13.6linux-node4   Ready    node     3h14m   v1.13.6

7.测试Kubernetes集群和Flannel网络

[root@linux-node1 ~]# kubectl create deployment nginx --image=nginx:alpinedeployment.apps/nginx created需要等待拉取镜像，可能稍有的慢，请等待。[root@linux-node1 ~]# kubectl get pod -o wideNAME                     READY   STATUS    RESTARTS   AGE   IP         NODE          NOMINATED NODE   READINESS GATESnginx-54458cd494-zp9zp   1/1     Running   0          69s   10.2.1.2   linux-node3   
               
     
      测试联通性[root@linux-node1 ~]# ping -c 1 10.2.1.2PING 10.2.1.2 (10.2.1.2) 56(84) bytes of data.64 bytes from 10.2.1.2: icmp_seq=1 ttl=61 time=0.729 ms--- 10.2.1.2 ping statistics ---1 packets transmitted, 1 received, 0% packet loss, time 0msrtt min/avg/max/mdev = 0.729/0.729/0.729/0.000 ms[root@linux-node1 ~]# curl --head http://10.2.1.2HTTP/1.1 200 OKServer: nginx/1.15.9Date: Tue, 19 Mar 2019 05:36:47 GMTContent-Type: text/htmlContent-Length: 612Last-Modified: Fri, 08 Mar 2019 03:05:13 GMTConnection: keep-aliveETag: "5c81dbe9-264"Accept-Ranges: bytes测试扩容，将Nginx应用的Pod副本数量拓展到2个节点[root@linux-node1 ~]# kubectl scale deployment nginx --replicas=2deployment.extensions/nginx scaled[root@linux-node1 ~]# kubectl get podNAME                     READY   STATUS    RESTARTS   AGEnginx-54458cd494-nf946   1/1     Running   0          13snginx-54458cd494-zp9zp   1/1     Running   0          3m57s

8.如何新增Kubernetes节点

  • 1.设置SSH无密码登录，并且在 /etc/hosts 中继续增加对应的解析。确保所有节点都能解析。
  • 2.在 /etc/salt/roster 里面，增加对应的机器。
  • 3.执行SaltStack状态 salt-ssh '*' state.highstate
[root@linux-node5 ~]# vim /etc/salt/rosterlinux-node5:  host: 192.168.245.132  user: root  priv: /root/.ssh/id_rsa  minion_opts:    grains:      k8s-role: node[root@linux-node1 ~]# salt-ssh 'linux-node5' state.highstate

9.下一步要做什么？

你可以安装Kubernetes必备的插件

必备插件
必备插件-2

为Master节点打上污点，让POD尽可能的不要调度到Master节点上。

关于污点的说明大家可自行百度。

kubectl describe node linux-node1kubectl taint node k8s-m1 node-role.kubernetes.io/master=linux-node1:PreferNoSchedulekubectl taint node k8s-m2 node-role.kubernetes.io/master=linux-node2:PreferNoSchedulekubectl taint node k8s-m3 node-role.kubernetes.io/master=linux-node3:PreferNoSchedule

10.已知的错误。

此错误暂未发现影响

[root@linux-node2 ~]# journalctl -u kube-proxy......Feb 21 12:02:22 linux-node2 kube-proxy[40633]: I0221 12:02:22.106696   40633 server_others.go:216] Tearing down inactive rules.Feb 21 12:02:22 linux-node2 kube-proxy[40633]: E0221 12:02:22.195324   40633 proxier.go:430] Failed to execute iptables-restore for nat: exit status 1 (iptables-restore: line 7 failedFeb 21 12:02:22 linux-node2 kube-proxy[40633]: )......

如果有洁癖的，忍受不了这种错误的，我们可以把kube-proxy按照daemonset的方式部署;按照这种方式部署的话要先停用二进制安装的kube-proxy。

PS:这里配置不一样的话需要修改yaml文件。

[root@linux-node1 ~]# systemctl disable kube-proxy[root@linux-node1 ~]# systemctl stop kube-proxy[root@linux-node1 ~]# kubectl apply -f /srv/addons/kube-proxy/kube-proxy.yml[root@linux-node1 ~]# kubectl get pod -n kube-systemNAME                      READY   STATUS    RESTARTS   AGEcoredns-cd7f66fdc-fxvx6   1/1     Running   2          18hcoredns-cd7f66fdc-ldjnh   1/1     Running   2          18hkube-proxy-czxj9          1/1     Running   2          16hkube-proxy-pjpt5          1/1     Running   2          16hkube-proxy-wpfrh          1/1     Running   2          16hkube-proxy-zgg6t          1/1     Running   2          16h

如果你觉得这个项目不错，欢迎各位打赏，你的打赏是对我们的认可，是我们的动力。

微信支付

转载于:https://www.cnblogs.com/skymydaiji/p/10856960.html

你可能感兴趣的文章
timus_1003_floyd_warshall
查看>>
[转]MySQL基本操作
查看>>
搜索、博客-csdn博客搜索-by小雨
查看>>
如何将图片保存至自定义分组
查看>>
[每日一题] OCP1z0-047 :2013-07-29 视图――别名
查看>>
DAO,Service接口与实现类设计
查看>>
（十七）迭代器模式详解（foreach的精髓）
查看>>
ASP.NET MVC的过滤器
查看>>
URL地址传值型多条件搜索JS
查看>>
[翻译]CURAND Libaray--Host API--(2)
查看>>
Delphi xe5 编译报environment.proj错误的解决
查看>>
PHP变量作用域
查看>>
力挺8天入门wpf【转载】
查看>>
Linux模块
查看>>
kendo grid输入框验证方法
查看>>
[转]一致性哈希算法及其在分布式系统中的应用
查看>>
CAS与LDAP集成
查看>>
JQuery巧妙利用CSS操作打印样式
查看>>
(转载)JWebUnit做Web项目自动化测试
查看>>
牛气冲天的Iframe应用笔记
查看>>
喝酒易醉，品茶养心，人生如梦，品茶悟道，何以解忧？唯有杜康！-- 愿君每日到此一游！
当前时间: 2025-01-25 20:49:34   当前IP: 3.144.117.164   联系邮箱:javaeecc@qq.com     Copyright © 2020 - 2022 baihongyu.com 京ICP备2021015314号-2
强烈建议你试试无所不能的CHAT-GPT，快点击我
强烈建议你试试无所不能的CHAT-GPT，快点击我