Kubernetes集群部署
预备知识
如果你不知道以下是做什么的,那么请参考下面链接(包括但不限于)进行学习:
前置要求与约定
集群会使用到的端口号。
各服务器时间与时区需一致,集群内服务器间时间差值不能大于1秒。
文档以 4 个 CentOS 7.4 系统服务器安装高可用 Kubernetes 集群进行讲解。
按照本文档安装 Kubernetes 集群时,Ansible 脚本会将服务器上防火墙关闭,请使用安全组进行网络权限控制。
Master(s) 服务器为 Kubernetes 控制服务器;Worker(s) 服务器为 Kubernetes 运算服务器;Etcd 服务器为组建Etcd 集群的服务器,Etcd 官方建议 Etcd 集群服务器个数为奇数个(比如1、3、5)以防止脑裂。
为安全考虑按本教程安装的 Kubernetes 集群只会在 Master(s) 服务器上配置 kubectl 命令所需 kubeconfig,故 Worker(s) 服务器默认是无法使用 kubectl 命令的。
集群安装示例
环境准备
# 安装 git 命令行
sudo yum install git -y
# 克隆本项目代码
git clone https://github.com/open-hand/kubeadm-ha.git
# 进入项目目录
cd kubeadm-ha
# 安装 ansible 环境
sudo ./install-ansible.sh
配置 ansible inventory 文件
- 项目
example
文件夹下提供了 6 个 ansible inventory 示例文件,请按需求进行选择并修改。 拷贝项目下的
example/hosts.m-master.ip.ini
文件至项目根目录下,命名为inventory.ini
,修改kubernetes部署版本为1.16.15
、各服务器的 IP 地址、用户名、密码,并维护好各服务器与角色的关系。请使用服务器内网 IP 作为 ansible 目标服务器 IP,请勿使用服务器公网 IP。 该用户必须是具有 root 权限的用户,但并非要求一定是 root 用户,其他具有 root 权限的用户也可以。
克隆下来的本项目文件与 inventory.ini 文件很重要,涉及到后期的集群运维工作,请一定妥善保管。
; 将所有节点的信息在这里填写 ; 第一个字段 为节点内网IP,部署完成后为 kubernetes 节点 nodeName ; 第二个字段 ansible_port 为节点 sshd 监听端口 ; 第三个字段 ansible_user 为节点远程登录用户名 ; 第四个字段 ansible_ssh_pass 为节点远程登录用户密码 [all] 192.168.56.11 ansible_port=22 ansible_user="vagrant" ansible_ssh_pass="vagrant" 192.168.56.12 ansible_port=22 ansible_user="vagrant" ansible_ssh_pass="vagrant" 192.168.56.13 ansible_port=22 ansible_user="vagrant" ansible_ssh_pass="vagrant" 192.168.56.14 ansible_port=22 ansible_user="vagrant" ansible_ssh_pass="vagrant" ; 私有云: ; VIP 负载模式: ; 也就是负载均衡器 + keepalived 模式,比如常用的 haproxy + keepalived。 ; 本脚本中负载均衡器有 nginx、haproxy、envoy 可供选择,设置 lb_mode 即可进行任意切换。 ; 设置 lb_kube_apiserver_ip 即表示启用 keepalived,请先与服务器提供部门协商保留一个IP作为 lb_kube_apiserver_ip, ; 一般 lb 节点组中有两个节点就够了,lb节点组中第一个节点为 keepalived 的 master 节点,剩下的都为 backed 节点。 ; ; 节点本地负载模式: ; 只启动负载均衡器,不启用 keepalived(即不设置 lb_kube_apiserver_ip), ; 此时 kubelet 链接 apiserver 地址为 127.0.0.1:lb_kube_apiserver_port。 ; 使用此模式时请将 lb 节点组置空。 ; ; 公有云: ; 不推荐使用 slb 模式,建议直接使用节点本地负载模式。 ; 若使用 slb 模式,请先使用节点本地负载模式进行部署, ; 部署成功后再切换至 slb 模式: ; 将 lb_mode 修改为 slb,将 lb_kube_apiserver_ip 设置为购买到的 slb 内网ip, ; 修改 lb_kube_apiserver_port 为 slb 监听端口。 ; 再次运行初始化集群脚本即可切换至 slb 模式。 [lb] ; 注意etcd集群必须是1,3,5,7...奇数个节点 [etcd] 192.168.56.11 192.168.56.12 192.168.56.13 [kube-master] 192.168.56.11 192.168.56.12 192.168.56.13 [kube-worker] 192.168.56.11 192.168.56.12 192.168.56.13 192.168.56.14 ; 预留组,后续添加master节点使用 [new-master] ; 预留组,后续添加worker节点使用 [new-worker] ; 预留组,后续添加etcd节点使用 [new-etcd] ; 预留组,后续删除worker角色使用 [del-worker] ; 预留组,后续删除master角色使用 [del-master] ; 预留组,后续删除etcd角色使用 [del-etcd] ; 预留组,后续删除节点使用 [del-node] ;-------------------------------------- 以下为基础信息配置 ------------------------------------; [all:vars] ; 是否跳过节点物理资源校验,Master节点要求2c2g以上,Worker节点要求2c4g以上 skip_verify_node=false ; kubernetes版本 kube_version="1.16.15" ; 容器运行时类型,可选项:containerd,docker;默认 containerd container_manager="containerd" ; 负载均衡器 ; 有 nginx、haproxy、envoy 和 slb 四个选项,默认使用 nginx; lb_mode="nginx" ; 使用负载均衡后集群 apiserver ip,设置 lb_kube_apiserver_ip 变量,则启用负载均衡器 + keepalived ; lb_kube_apiserver_ip="192.168.56.15" ; 使用负载均衡后集群 apiserver port lb_kube_apiserver_port="8443" ; 网段选择:pod 和 service 的网段不能与服务器网段重叠, ; 若有重叠请配置 `kube_pod_subnet` 和 `kube_service_subnet` 变量设置 pod 和 service 的网段,示例参考: ; 如果服务器网段为:10.0.0.1/8 ; pod 网段可设置为:192.168.0.0/18 ; service 网段可设置为 192.168.64.0/18 ; 如果服务器网段为:172.16.0.1/12 ; pod 网段可设置为:10.244.0.0/18 ; service 网段可设置为 10.244.64.0/18 ; 如果服务器网段为:192.168.0.1/16 ; pod 网段可设置为:10.244.0.0/18 ; service 网段可设置为 10.244.64.0/18 ; 集群pod ip段,默认掩码位 18 即 16384 个ip kube_pod_subnet="10.244.0.0/18" ; 集群service ip段 kube_service_subnet="10.244.64.0/18" ; 分配给节点的 pod 子网掩码位,默认为 24 即 256 个ip,故使用这些默认值可以纳管 16384/256=64 个节点。 kube_network_node_prefix="24" ; node节点最大 pod 数。数量与分配给节点的 pod 子网有关,ip 数应大于 pod 数。 ; https://cloud.google.com/kubernetes-engine/docs/how-to/flexible-pod-cidr kube_max_pods="110" ; 集群网络插件,目前支持flannel,calico network_plugin="flannel" ; 若服务器磁盘分为系统盘与数据盘,请修改以下路径至数据盘自定义的目录。 ; Kubelet 根目录 kubelet_root_dir="/var/lib/kubelet" ; docker容器存储目录 docker_storage_dir="/var/lib/docker" ; containerd容器存储目录 containerd_storage_dir="/var/lib/containerd" ; Etcd 数据根目录 etcd_data_dir="/var/lib/etcd"
集群部署
- 若有安全组则需要加上以下安全组策略,规则示例:
授权策略 | 协议类型 | 端口范围 | 授权类型 | 授权对象 | 描述 |
---|---|---|---|---|---|
允许 | TCP | 80⁄80 | 地址段访问 | 0.0.0.0/0 | http 协议访问集群 |
允许 | TCP | 443⁄443 | 地址段访问 | 0.0.0.0/0 | https 协议访问集群 |
允许 | TCP | 30000⁄32767 | 地址段访问 | 0.0.0.0/0 | NodePort 访问集群 |
允许 | 全部 | -1/-1 | 地址段访问 | 10.244.0.0/18 | 跨节点 Pod 之间互相访问 |
部署集群:
# 在项目根目录下执行 ansible-playbook -i inventory.ini 90-init-cluster.yml
查看等待 pod 的状态为 runnning:
# 任意master节点下执行 kubectl get po --all-namespaces -w
如果部署失败,想要重置集群,执行:
# 在项目根目录下执行 ansible-playbook -i inventory.ini 99-reset-cluster.yml
其他集群运维操作请查阅项目使用指南
集群网络测试
集群访问公网测试
测试说明
- 镜像中将以下核心代码进行封装成为
curls
命令,使用方式curls url [times]
,例如curls choerodon.io 20
则为访问choerodon.io
20次并打印测试出的时间指标,命令默认访问 10 次。
curl -o /dev/null -s -w '%{time_connect} %{time_starttransfer} %{time_total}' "choerodon.io"
- 时间指标说明
- 单位:秒
- time_connect:建立到服务器的 TCP 连接所用的时间
- time_starttransfer:在发出请求之后,Web 服务器返回数据的第一个字节所用的时间
- time_total:完成请求所用的时间
场景一、 Kubernetes集群node服务器访问公网
测试命令
docker run -it --rm --net=host \ registry.cn-hangzhou.aliyuncs.com/choerodon-tools/network-and-cluster-perfermance-test:0.1.0 \ curls choerodon.io
测试结果
No time_connect time_starttransfer time_total 1 0.015071 0.027448 0.027570 2 0.010049 0.024527 0.024612 3 0.010025 0.022209 0.022311 4 0.012600 0.025269 0.025369 5 0.012847 0.025849 0.025932 6 0.009973 0.023102 0.023220 7 0.013074 0.029310 0.029411 8 0.015137 0.029992 0.030103 9 0.010994 0.029040 0.029173 10 0.010554 0.022011 0.022130
平均响应时间:26ms
场景二、Kubernetes集群Pod访问公网
测试命令
kubectl run curl-test \ -it --quiet --rm --restart=Never \ --image='registry.cn-hangzhou.aliyuncs.com/choerodon-tools/network-and-cluster-perfermance-test:0.1.0' \ -- bash -c "sleep 3; curls choerodon.io"
测试结果
No time_connect time_starttransfer time_total 1 0.014916 0.027232 0.027418 2 0.020213 0.034626 0.034762 3 0.014945 0.028014 0.028165 4 0.016916 0.030483 0.032091 5 0.020519 0.033075 0.033281 6 0.015398 0.027727 0.028003 7 0.015260 0.027099 0.027247 8 0.019549 0.033506 0.033597 9 0.020941 0.032935 0.035226 10 0.014298 0.026570 0.026983
平均响应时间:29ms
集群内部网络延迟测试
测试说明
测试数据
Service Name: ingress-nginx.ingress-controller.svc
Service Cluster IP: 10.244.64.8 (可通过
kubectl get svc ingress-nginx -n ingress-controller
进行查看)Service Port: 80
通过向
ingress-nginx
的healthz
api执行curl命令进行网络延迟测试curl "http://10.244.64.8/healthz"
场景一、 Kubernetes集群node服务器上通过Service Cluster IP访问
测试命令
docker run -it --rm --net=host \ registry.cn-hangzhou.aliyuncs.com/choerodon-tools/network-and-cluster-perfermance-test:0.1.0 \ curls http://10.244.64.8/healthz
测试结果
No time_connect time_starttransfer time_total 1 0.000491 0.000983 0.001038 2 0.000347 0.002051 0.002122 3 0.000298 0.000894 0.000975 4 0.000263 0.082559 0.082665 5 0.000351 0.000732 0.000785 6 0.000234 0.084351 0.084445 7 0.000245 0.000550 0.000592 8 0.000436 0.086836 0.086947 9 0.000215 0.000536 0.000573 10 0.000369 0.089528 0.089635
平均响应时间:34ms
场景二、Kubernetes集群内部通过service访问
测试命令
kubectl run curl-test \ -it --quiet --rm --restart=Never \ --image='registry.cn-hangzhou.aliyuncs.com/choerodon-tools/network-and-cluster-perfermance-test:0.1.0' \ -- bash -c "sleep 3; curls http://ingress-nginx.ingress-controller.svc/healthz"
测试结果
No time_connect time_starttransfer time_total 1 0.040173 0.080107 0.080205 2 0.047826 0.065836 0.065932 3 0.064808 0.091835 0.091938 4 0.075448 0.087315 0.087410 5 0.112765 0.195511 0.195640 6 0.104970 0.199655 0.199777 7 0.127144 0.139747 0.139834 8 0.056066 0.063325 0.063456 9 0.021773 0.028471 0.028578 10 0.017777 0.023236 0.023330
平均响应时间:112ms
集群内部网络性能测试
测试说明
- 使用 iperf 进行测试.
场景一、主机之间
服务端命令:
docker run -it --rm --net=host \ registry.cn-hangzhou.aliyuncs.com/choerodon-tools/network-and-cluster-perfermance-test:0.1.0 \ iperf -s -p 12345 -i 1 -M
注意: 此时该服务端命令会前台运行,一直等待客户端请求,请另起一个终端窗口进行执行客户端命令。
客户端命令:
docker run -it --rm --net=host \ registry.cn-hangzhou.aliyuncs.com/choerodon-tools/network-and-cluster-perfermance-test:0.1.0 \ iperf -c 服务端节点IP -p 12345 -i 1 -t 10 -w 20K
测试结果
[ ID] Interval Transfer Bandwidth [ 3] 0.0- 1.0 sec 225 MBytes 1.89 Gbits/sec [ 3] 1.0- 2.0 sec 223 MBytes 1.87 Gbits/sec [ 3] 2.0- 3.0 sec 237 MBytes 1.98 Gbits/sec [ 3] 3.0- 4.0 sec 223 MBytes 1.87 Gbits/sec [ 3] 4.0- 5.0 sec 273 MBytes 2.29 Gbits/sec [ 3] 5.0- 6.0 sec 259 MBytes 2.17 Gbits/sec [ 3] 6.0- 7.0 sec 308 MBytes 2.59 Gbits/sec [ 3] 7.0- 8.0 sec 257 MBytes 2.16 Gbits/sec [ 3] 8.0- 9.0 sec 261 MBytes 2.19 Gbits/sec [ 3] 9.0-10.0 sec 234 MBytes 1.96 Gbits/sec [ 3] 0.0-10.0 sec 2.44 GBytes 2.10 Gbits/sec
场景二、不同主机的Pod之间
服务端命令:
kubectl run iperf-server \ -it --quiet --rm --restart=Never \ --overrides='{"spec":{"nodeName":"指定服务端运行的节点"}}' \ --image='registry.cn-hangzhou.aliyuncs.com/choerodon-tools/network-and-cluster-perfermance-test:0.1.0' \ -- bash -c "sleep 3; ifconfig eth0; iperf -s -p 12345 -i 1 -M"
注意: 此时该服务端命令会前台运行,一直等待客户端请求,请另起一个终端窗口进行执行客户端命令。查看输出的日志,替换下面客户端命令中Pod的IP
客户端命令:
kubectl run iperf-client \ -it --quiet --rm --restart=Never \ --overrides='{"spec":{"nodeName":"指定客户端运行的节点"}}' \ --image='registry.cn-hangzhou.aliyuncs.com/choerodon-tools/network-and-cluster-perfermance-test:0.1.0' \ -- iperf -c 服务端POD的IP -p 12345 -i 1 -t 10 -w 20K
测试结果
[ ID] Interval Transfer Bandwidth [ 3] 0.0- 1.0 sec 1.42 GBytes 12.2 Gbits/sec [ 3] 1.0- 2.0 sec 1.39 GBytes 11.9 Gbits/sec [ 3] 2.0- 3.0 sec 1.22 GBytes 10.5 Gbits/sec [ 3] 3.0- 4.0 sec 1.27 GBytes 10.9 Gbits/sec [ 3] 4.0- 5.0 sec 1.04 GBytes 8.91 Gbits/sec [ 3] 5.0- 6.0 sec 1.36 GBytes 11.7 Gbits/sec [ 3] 6.0- 7.0 sec 1.42 GBytes 12.2 Gbits/sec [ 3] 7.0- 8.0 sec 1.57 GBytes 13.5 Gbits/sec [ 3] 8.0- 9.0 sec 1.25 GBytes 10.8 Gbits/sec [ 3] 9.0-10.0 sec 1.56 GBytes 13.4 Gbits/sec [ 3] 0.0-10.0 sec 13.5 GBytes 11.6 Gbits/sec
场景三、节点与其他点的 Pod 之间
服务端命令:
docker run -it --rm --net=host \ registry.cn-hangzhou.aliyuncs.com/choerodon-tools/network-and-cluster-perfermance-test:0.1.0 \ iperf -s -p 12345 -i 1 -M
注意: 此时该服务端命令会前台运行,一直等待客户端请求,请另起一个终端窗口进行执行客户端命令。
客户端命令:
kubectl run iperf-client \ -it --quiet --rm --restart=Never \ --overrides='{"spec":{"nodeName":"指定客户端运行的节点"}}' \ --image='registry.cn-hangzhou.aliyuncs.com/choerodon-tools/network-and-cluster-perfermance-test:0.1.0' \ -- iperf -c 服务端节点IP -p 12345 -i 1 -t 10 -w 20K
测试结果
[ ID] Interval Transfer Bandwidth [ 3] 0.0- 1.0 sec 289 MBytes 2.43 Gbits/sec [ 3] 1.0- 2.0 sec 290 MBytes 2.43 Gbits/sec [ 3] 2.0- 3.0 sec 226 MBytes 1.89 Gbits/sec [ 3] 3.0- 4.0 sec 209 MBytes 1.75 Gbits/sec [ 3] 4.0- 5.0 sec 254 MBytes 2.13 Gbits/sec [ 3] 5.0- 6.0 sec 257 MBytes 2.15 Gbits/sec [ 3] 6.0- 7.0 sec 265 MBytes 2.23 Gbits/sec [ 3] 7.0- 8.0 sec 184 MBytes 1.55 Gbits/sec [ 3] 8.0- 9.0 sec 217 MBytes 1.82 Gbits/sec [ 3] 9.0-10.0 sec 236 MBytes 1.98 Gbits/sec [ 3] 0.0-10.0 sec 2.37 GBytes 2.04 Gbits/sec