kubernetes （k8s)的二进制部署单节点（etcd和flannel网络）
生活随笔
收集整理的这篇文章主要介绍了
kubernetes （k8s)的二进制部署单节点（etcd和flannel网络）
小编觉得挺不错的,现在分享给大家,帮大家做个参考.
文章目录
- 1 常见的k8s部署方式
- 2 环境准备
- 2.1 拓扑
- 2.2 所有主机关闭防火墙,selinux,swap
- 2.3 所有主机配置主机名，并再maser上做主机映射
- 2.4 所有主机将桥接的IPV4流量传递到 iptables的链
- 2.5 所有主机配置时间同步
- 3 部署etcd集群
- 3.1 etcd简述
- 3.1.1 什么是etcd
- 3.1.2 etcd的特点
- 3.1.3 etcd的端口和部署要求
- 3.2 准备签发证书环境
- 3.2.1 在master01上，下载证书制作工具，授予执行权限
- 3.2.2 创建k8s工作目录，上传脚本文件到目录，创建生成证书的目录,生成证书
- 3.3 启动etcd服务
- 3.3.1上传etcd-v3.3.10到/opt/k8s/目录中，解压
- 3.3.2 创建用于存放etcd 配置文件，命令文件，证书目录
- 3.3.3 将etcd相关的证书文件和命令文件拷贝到另外两个节点
- 3.3.4把etcd服务管理文件拷贝到另外两个集群节点
- 3.3.5 在所有etcd节点上启动etcd服务
- 3.4 在master01上检查集群状态
- 3.4.1 查看集群状态
- 3.4.2 切换版本与查看集群节点状态，成员列表
- 4 给所有node节点安装docker引擎
- 5 在 master01 上配置flannel 网络
- 5.1 k8s中pod的网络通信
- 5.2 Overlay Network 和 Vxlan
- 5.3 flannel的工作原理
- 5.3.1 Flannel
- 5.3.2 flannel 工作原理
- 5.3.3 etcd 在flannel 提供
- 5.4在etcd服务器上，添加 flannel网络配置信息
- 5.5 在所有node节点上创建k8s工作目录，启动flanneld服务，开启网络功能
- 5.6 所有node节点配置 docker 连接flannel
- 5.7 测试连通性
1 常见的k8s部署方式
- Minikube
- Minikube是一个工具,可以在本地快速运行一个单节点微型K8S,仅用于学习、预览k8s的一些特性使用。
- 部署地址:I https://kubernetes.io/docs/setup/minikube
- Kubeadmin
- Kubeadmin也是一个工具,提供kubeadm init和kubeadm join,用于快速部署K8S集群,相对简单。
- 使用kubadmin 安装的k8s，其证书有效期只有1年。而k8s组件之间的通信都需要证书。如果证书过期，则k8s集群瘫痪
- https://kubernetes.io/docs/reference/setup-tools/kubeadm/kubeadm/
- 二进制安装部署
- 生产首选,从官方下载发行版的二进制包,手动部署每个组件和**自签TLS证书,**组成k8S集群,新手推荐。
- https://github.com/kubernetes/kubernetes/releases
小结: Kubeadm降低部署门槛,但屏蔽了很多细节,遇到问题很难排查。如果想更容易可控,推荐使用二进制包部署kubernetes集群,虽然手动部署麻烦点,期间可以学习很多工作原理,也利于后期维护。
2 环境准备
2.1 拓扑
| 角色 | ip | 服务 |
| k8s集群master01 | 192.168.23.103 | kube-apiserver;kube-controller-manager; kube-scheduler;etcd |
| k8s集群master02 | 192.168.23.10 | |
| k8s集群node01 | 192.168.23.104 | kubelet; kube-proxy;docker;flannel |
| k8s集群node02 | 192.168.23.105 | |
| etc集群节点1 | 192.168.23.103 | etcd |
| etc集群节点2 | 192.168.23.104 | |
| etc集群节点3 | 192.168.23.105 | |
| 负载均衡Nginx+keepalived01(master) | 192.168.23.11 | |
| 负载均衡Nginx+keepalived02(backup) | 192.168.23.12 | |
| VIP | 192.168.23.18 |
2.2 所有主机关闭防火墙,selinux,swap
#关闭所有主机的firewalld防火墙和开机自启 systemctl disable firewalld --now systemctl status firewalld#设置selinux为宽松模式，并且下次开机后禁用selinux setenforce 0 sed -i 's/enforcing/disabled/' /etc/selinux/config #关闭swap交互空间，并且取消开机自动挂载 swapoff -a sed -ri 's/.*swap.*/#&/' /etc/fstab2.3 所有主机配置主机名，并再maser上做主机映射
#所有主机修改主机名 hostnamectl set-hostname master01 hostnamectl set-hostname node01 hostnamectl set-hostname node02#在master01主机上配置主机名映射 [root@master01 ~]# cat >> /etc/hosts <<EOF 192.168.23.103 master01 192.168.23.104 node01 192.168.23.105 node02 EOF#ping主机名测试 [root@master01 ~]# ping master01 [root@master01 ~]# ping node01 [root@master01 ~]# ping node022.4 所有主机将桥接的IPV4流量传递到 iptables的链
cat > /etc/sysctl.d/k8s.conf << EOF net.bridge.bridge-nf-call-ip6tables = 1 net.bridge.bridge-nf-call-iptables = 1 EOFsysctl --system2.5 所有主机配置时间同步
#所有主机配置时间同步yum -y install ntpdatentpdate time.windows.com3 部署etcd集群
3.1 etcd简述
3.1.1 什么是etcd
etcd是Coreos团队于2013年6月发起的开源项目,它的目标是构建一个高可用的分布式键值(key-value)数据库。etcd内部采用raft协议作为一致性算法, etcd是go语言编写的。
3.1.2 etcd的特点
etcd作为服务发现系统,有以下的特点:
- 简单:安装配置简单,而且提供了HTTP API进行交互,使用也很简单
- 安全:支持SSL证书验证
- 快速:单实例支持每秒2k+读操作
- 可靠:采用raft算法,实现分布式系统数据的可用性和一致性
3.1.3 etcd的端口和部署要求
etcd 的端口：
- etcd目前默认使用2379端口提供HTTP API服务,
- 2380端口和peer通信
- 这两个端口已经被IANA (互联网数字分配机构)官方预留给etcd 。即etcd默认使用2379端口对外为客户端提供通讯,使用端口2380来进行服务器间内部通讯。
部署要求：
- etcd在生产环境中一般推荐集群方式部署。
- 由于etcd的leader选举机制,要求至少为3台或以上的奇数台。
3.2 准备签发证书环境
- 准备签发证书环境CFSSL是CloudFlare公司开源的一款PKI/TLS工具。CESSL包含一个命令行工具和一个用于签名、验证和捆绑TLS证书的 HTTP API服务。使用Go语言编写。
- CFSSL使用配置文件生成证书,因此自签之前,需要生成它识别的 json格式的配置文件, CFSSL提供了方便的命令行生成配置文件。
- CFSSL用来为etcd提供TLS证书,它支持签三种类型的证书:
- client证书,服务端连接客户端时携带的证书,用于客户端验证服务端身份,如kube-apiserver访问etcd;
- server证书,客户端连接服务端时携带的证书,用于服务端验证客户端身份,如etcd对外提供服务;
- peer证书,相互之间连接时使用的证书,如etcd节点之间进行验证和通信。
这里实验环境全部都使用同一套证书认证。
3.2.1 在master01上，下载证书制作工具，授予执行权限
#在 master01 上下载制作工具 wget https://pkg.cfssl.org/R1.2/cfssl_linux-amd64 -O /usr/local/bin/cfssl wget https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64 -O /usr/local/bin/cfssljson wget https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64 -O /usr/local/bin/cfssl-certinfo 或 curl -L https://pkg.cfssl.org/R1.2/cfssl_linux-amd64 -o /usr/local/bin/cfssl curl -L https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64 -o /usr/local/bin/cfssljson curl -L https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64 -o /usr/local/bin/cfssl-certinfo#授予执行权限 chmod +x /usr/local/bin/cfssl*cfssl是一个开源的证书管理工具，使用json文件生成证书，比openssl更加方便
cfss1:证书签发的工具命令
cfssljson:将cfss1生成的证书(json格式)变为文件承载式证书
cfssl-certinfo:验证证书的信息
cfssl-certinfo -cert <证书名称> #看证书的信息
3.2.2 创建k8s工作目录，上传脚本文件到目录，创建生成证书的目录,生成证书
#创建k8s工作目录 [root@master01 opt]# mkdir /opt/k8s [root@master01 opt]# cd /opt/k8s/#上传etcd-cert.sh 和 etcd.sh 到/opt/k8s目录 [root@master01 k8s]# ls etcd-cert.sh etcd.sh etcd-cert.sh etcd.sh#添加x 权限 [root@master01 k8s]# chmod +x etcd-cert.sh etcd.sh#创建用于生成CA证书,etcd服务器证书及私钥的目录 [root@master01 k8s]# mkdir /opt/k8s/etcd-cert [root@master01 k8s]# mv etcd-cert.sh etcd-cert [root@master01 k8s]# cd /opt/k8s/etcd-cert/ #注意，看一下脚本，把ip改为自己的 [root@master01 etcd-cert]# vim etcd-cert.sh #!/bin/bash #配置证书生成策略，让 CA 软件知道颁发有什么功能的证书，生成用来签发其他组件证书的根证书 cat > ca-config.json <<EOF {"signing": {"default": {"expiry": "87600h"},"profiles": {"www": {"expiry": "87600h","usages": ["signing","key encipherment","server auth","client auth"]}}} } EOF#ca-config.json：可以定义多个 profiles，分别指定不同的过期时间、使用场景等参数； #后续在签名证书时会使用某个 profile；此实例只有一个 www 模板。 #expiry：指定了证书的有效期，87600h 为10年，如果用默认值一年的话，证书到期后集群会立即宕掉 #signing：表示该证书可用于签名其它证书；生成的 ca.pem 证书中 CA=TRUE； #key encipherment：表示使用非对称密钥加密，如 RSA 加密； #server auth：表示client可以用该 CA 对 server 提供的证书进行验证； #client auth：表示server可以用该 CA 对 client 提供的证书进行验证； #注意标点符号，最后一个字段一般是没有逗号的。#----------------------- #生成CA证书和私钥（根证书和私钥） #特别说明： cfssl和openssl有一些区别，openssl需要先生成私钥，然后用私钥生成请求文件，最后生成签名的证书和私钥等，但是cfssl可以直接得到请求文件。 cat > ca-csr.json <<EOF {"CN": "etcd","key": {"algo": "rsa","size": 2048},"names": [{"C": "CN","L": "Beijing","ST": "Beijing"}] } EOF#CN：Common Name，浏览器使用该字段验证网站或机构是否合法，一般写的是域名 #key：指定了加密算法，一般使用rsa（size：2048） #C：Country，国家 #ST：State，州，省 #L：Locality，地区,城市 #O: Organization Name，组织名称，公司名称 #OU: Organization Unit Name，组织单位名称，公司部门cfssl gencert -initca ca-csr.json | cfssljson -bare ca#生成的文件： #ca-key.pem：根证书私钥 #ca.pem：根证书 #ca.csr：根证书签发请求文件#cfssl gencert -initca <CSRJSON>：使用 CSRJSON 文件生成生成新的证书和私钥。如果不添加管道符号，会直接把所有证书内容输出到屏幕。 #注意：CSRJSON 文件用的是相对路径，所以 cfssl 的时候需要 csr 文件的路径下执行，也可以指定为绝对路径。 #cfssljson 将 cfssl 生成的证书（json格式）变为文件承载式证书，-bare 用于命名生成的证书文件。#----------------------- #生成 etcd 服务器证书和私钥 cat > server-csr.json <<EOF {"CN": "etcd","hosts": ["192.168.23.103","192.168.23.104","192.168.23.105"],"key": {"algo": "rsa","size": 2048},"names": [{"C": "CN","L": "BeiJing","ST": "BeiJing"}] } EOF#hosts：将所有 etcd 集群节点添加到 host 列表，需要指定所有 etcd 集群的节点 ip 或主机名不能使用网段，新增 etcd 服务器需要重新签发证书。cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=www server-csr.json | cfssljson -bare server#生成的文件： #server.csr：服务器的证书请求文件 #server-key.pem：服务器的私钥 #server.pem：服务器的数字签名证书#-config：引用证书生成策略文件 ca-config.json #-profile：指定证书生成策略文件中的的使用场景，比如 ca-config.json 中的 www #执行脚本，生成CA证书，etcd服务器证书以及私钥 [root@master01 etcd-cert]# ./etcd-cert.sh[root@master01 etcd-cert]# ls ca-config.json ca-csr.json ca.pem server.csr server-key.pem ca.csr ca-key.pem etcd-cert.sh server-csr.json server.pe3.3 启动etcd服务
3.3.1上传etcd-v3.3.10到/opt/k8s/目录中，解压
#etcd 二进制包地址： https://github.com/etcd-io/etcd/release#上传etcd-v3.3.10 包到/opt/k8s目录中，解压 [root@master01 k8s]# ls etcd-v3.3.10-linux-amd64.tar.gz etcd-v3.3.10-linux-amd64.tar.gz[root@master01 k8s]# tar xf etcd-v3.3.10-linux-amd64.tar.gz[root@master01 k8s]# ls etcd-v3.3.10-linux-amd64 Documentation etcd etcdctl README-etcdctl.md README.md READMEv2-etcdctl.mdetcd 就是etcd 服务的启动命令，后面可以跟各种启动参数
etcdctl 主要为etcd服务提供了命令行操作
3.3.2 创建用于存放etcd 配置文件，命令文件，证书目录
[root@master01 k8s]# mkdir -p /opt/etcd/{cfg,bin,ssl} [root@master01 k8s]# mv /opt/k8s/etcd-v3.3.10-linux-amd64/etcd /opt/k8s/etcd-v3.3.10-linux-amd64/etcdctl /opt/etcd/bin/ [root@master01 k8s]# cp /opt/k8s/etcd-cert/*.pem /opt/etcd/ssl/[root@master01 k8s]# ls -R /opt/etcd/bin/ /opt/etcd/ssl/ /opt/etcd/bin/: etcd etcdctl/opt/etcd/ssl/: ca-key.pem ca.pem server-key.pem server.pem [root@master01 k8s]# pwd /opt/k8s [root@master01 k8s]# ls etcd.sh etcd.sh [root@master01 k8s]# vim etcd.sh #!/bin/bash # example: ./etcd.sh etcd01 192.168.80.10 etcd02=https://192.168.80.11:2380,etcd03=https://192.168.80.12:2380#创建etcd配置文件/opt/etcd/cfg/etcd ETCD_NAME=$1 ETCD_IP=$2 ETCD_CLUSTER=$3WORK_DIR=/opt/etcdcat > $WORK_DIR/cfg/etcd <<EOF #[Member] ETCD_NAME="${ETCD_NAME}" ETCD_DATA_DIR="/var/lib/etcd/default.etcd" ETCD_LISTEN_PEER_URLS="https://${ETCD_IP}:2380" ETCD_LISTEN_CLIENT_URLS="https://${ETCD_IP}:2379"#[Clustering] ETCD_INITIAL_ADVERTISE_PEER_URLS="https://${ETCD_IP}:2380" ETCD_ADVERTISE_CLIENT_URLS="https://${ETCD_IP}:2379" ETCD_INITIAL_CLUSTER="etcd01=https://${ETCD_IP}:2380,${ETCD_CLUSTER}" ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster" ETCD_INITIAL_CLUSTER_STATE="new" EOF#Member:成员配置 #ETCD_NAME：节点名称，集群中唯一。成员名字，集群中必须具备唯一性，如etcd01 #ETCD_DATA_DIR：数据目录。指定节点的数据存储目录，这些数据包括节点ID，集群ID，集群初始化配置，Snapshot文件，若未指定-wal-dir，还会存储WAL文件；如果不指定会用缺省目录 #ETCD_LISTEN_PEER_URLS：集群通信监听地址。用于监听其他member发送信息的地址。ip为全0代表监听本机所有接口 #ETCD_LISTEN_CLIENT_URLS：客户端访问监听地址。用于监听etcd客户发送信息的地址。ip为全0代表监听本机所有接口#Clustering：集群配置 #ETCD_INITIAL_ADVERTISE_PEER_URLS：集群通告地址。其他member使用，其他member通过该地址与本member交互信息。一定要保证从其他member能可访问该地址。静态配置方式下，该参数的value一定要同时在--initial-cluster参数中存在 #ETCD_ADVERTISE_CLIENT_URLS：客户端通告地址。etcd客户端使用，客户端通过该地址与本member交互信息。一定要保证从客户侧能可访问该地址 #ETCD_INITIAL_CLUSTER：集群节点地址。本member使用。描述集群中所有节点的信息，本member根据此信息去联系其他member #ETCD_INITIAL_CLUSTER_TOKEN：集群Token。用于区分不同集群。本地如有多个集群要设为不同 #ETCD_INITIAL_CLUSTER_STATE：加入集群的当前状态，new是新集群，existing表示加入已有集群。#创建etcd.service服务管理文件 cat > /usr/lib/systemd/system/etcd.service <<EOF [Unit] Description=Etcd Server After=network.target After=network-online.target Wants=network-online.target[Service] Type=notify EnvironmentFile=${WORK_DIR}/cfg/etcd ExecStart=${WORK_DIR}/bin/etcd \ --name=\${ETCD_NAME} \ --data-dir=\${ETCD_DATA_DIR} \ --listen-peer-urls=\${ETCD_LISTEN_PEER_URLS} \ --listen-client-urls=\${ETCD_LISTEN_CLIENT_URLS},http://127.0.0.1:2379 \ --advertise-client-urls=\${ETCD_ADVERTISE_CLIENT_URLS} \ --initial-advertise-peer-urls=\${ETCD_INITIAL_ADVERTISE_PEER_URLS} \ --initial-cluster=\${ETCD_INITIAL_CLUSTER} \ --initial-cluster-token=\${ETCD_INITIAL_CLUSTER_TOKEN} \ --initial-cluster-state=new \ --cert-file=${WORK_DIR}/ssl/server.pem \ --key-file=${WORK_DIR}/ssl/server-key.pem \ --trusted-ca-file=${WORK_DIR}/ssl/ca.pem \ --peer-cert-file=${WORK_DIR}/ssl/server.pem \ --peer-key-file=${WORK_DIR}/ssl/server-key.pem \ --peer-trusted-ca-file=${WORK_DIR}/ssl/ca.pem Restart=on-failure LimitNOFILE=65536[Install] WantedBy=multi-user.target EOF#--listen-client-urls：用于指定etcd和客户端的连接端口 #--advertise-client-urls：用于指定etcd服务器之间通讯的端口，etcd有要求，如果--listen-client-urls被设置了，那么就必须同时设置--advertise-client-urls，所以即使设置和默认相同，也必须显式设置 #--peer开头的配置项用于指定集群内部TLS相关证书（peer 证书），这里全部都使用同一套证书认证 #不带--peer开头的的参数是指定 etcd 服务器TLS相关证书（server 证书），这里全部都使用同一套证书认证systemctl daemon-reload systemctl enable etcd systemctl restart etcd [root@master01 k8s]# ./etcd.sh etcd01 192.168.23.103 etcd02=https://192.168.23.104:2380,etcd03=https://192.168.23.105:2380#新开一个终端查看 [root@master01 k8s]# ps -ef | grep etcd3.3.3 将etcd相关的证书文件和命令文件拷贝到另外两个节点
[root@master01 k8s]# scp -r /opt/etcd/ 192.168.23.104:/opt/ [root@master01 k8s]# scp -r /opt/etcd/ 192.168.23.105:/opt/#node1修改etcd文件 [root@node01 cfg]# vim /opt/etcd/cfg/etcd #[Member] ETCD_NAME="etcd02 ETCD_DATA_DIR="/var/lib/etcd/default.etcd" ETCD_LISTEN_PEER_URLS="https://192.168.23.104:2380" ETCD_LISTEN_CLIENT_URLS="https://192.168.23.104:2379"#[Clustering] ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.23.104:2380" ETCD_ADVERTISE_CLIENT_URLS="https://192.168.23.104:2379" ETCD_INITIAL_CLUSTER="etcd01=https://192.168.23.103:2380,etcd02=https://192.168.23.104:2380,etcd03=https://192.168.23.105:2380" ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster" ETCD_INITIAL_CLUSTER_STATE="new"#node2修改etcd文件 [root@node02 ~]# vim /opt/etcd/cfg/etcd #[Member] ETCD_NAME="etcd03" ETCD_DATA_DIR="/var/lib/etcd/default.etcd" ETCD_LISTEN_PEER_URLS="https://192.168.23.105:2380" ETCD_LISTEN_CLIENT_URLS="https://192.168.23.105:2379"#[Clustering] ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.23.105:2380" ETCD_ADVERTISE_CLIENT_URLS="https://192.168.23.105:2379" ETCD_INITIAL_CLUSTER="etcd01=https://192.168.23.103:2380,etcd02=https://192.168.23.104:2380,etcd03=https://192.168.23.105:2380" ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster" ETCD_INITIAL_CLUSTER_STATE="new"3.3.4把etcd服务管理文件拷贝到另外两个集群节点
[root@master01 k8s]# cd /usr/lib/systemd/system/ [root@master01 system]# ls etcd.service etcd.service [root@master01 system]# pwd /usr/lib/systemd/system [root@master01 system]# scp etcd.service 192.168.23.104:`pwd` [root@master01 system]# scp etcd.service 192.168.23.105:`pwd`3.3.5 在所有etcd节点上启动etcd服务
[root@master01 k8s]# systemctl restart etcd [root@master01 k8s]# systemctl enable etcd [root@master01 k8s]# systemctl status etcd[root@node01 cfg]# systemctl daemon-reload [root@node01 cfg]# systemctl start etcd [root@node01 cfg]# systemctl enable etcd [root@node01 cfg]# systemctl status etcd[root@node02 ~]# systemctl daemon-reload [root@node02 ~]# systemctl restart etcd [root@node02 ~]# systemctl enable etcd.service [root@node02 ~]# systemctl status etcd3.4 在master01上检查集群状态
3.4.1 查看集群状态
[root@master01 k8s]# cd /opt/etcd/ssl/ [root@master01 ssl]# /opt/etcd/bin/etcdctl \ --ca-file=ca.pem \ --cert-file=server.pem \ --key-file=server-key.pem \ --endpoints="https://192.168.23.103:2379,https://192.168.23.104:2379,https://192.168.23.105:2379" \ cluster-health–cert-file:识别HTTPS端使用ssL证书文件
–key-file:使用此ssL密钥文件标识HTTPS客户端
–ca-file:使用此CA证书验证启用https的服务器的证书
**–endpoints:**集群中以逗号分隔的机器地址列表cluster-health:检查etcd集群的运行状况
3.4.2 切换版本与查看集群节点状态，成员列表
切换到etcd3版本查看集群节点状态和成员列表
默认3.3etcd使用的是v2, 3.4的etcd默认使用的是v3版本。
v2和v3是命令不同。etcd2和etcd3也是不兼容的。默认使用etcd2
4 给所有node节点安装docker引擎
#所有node几点都需要安装docker引擎。安装docker引擎需要使用在线源 [root@master01 ssl]# cd /etc/yum.repos.d/ [root@master01 yum.repos.d]# ls bak local.repo [root@master01 yum.repos.d]# mv bak/* . [root@master01 yum.repos.d]# ls bak CentOS-CR.repo CentOS-fasttrack.repo CentOS-Sources.repo local.repo CentOS-Base.repo CentOS-Debuginfo.repo CentOS-Media.repo CentOS-Vault.repo[root@master01 yum.repos.d]# yum install -y yum-utils device-mapper-persistent-data lvm2 [root@master01 yum.repos.d]# yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo [root@master01 yum.repos.d]#yum install -y docker-ce docker-ce-cli containerd.io#所有node节点启动docker [root@master01 yum.repos.d]# systemctl enable docker.service --now [root@master01 yum.repos.d]# systemctl is-active docker active5 在 master01 上配置flannel 网络
5.1 k8s中pod的网络通信
Pod 内容器与容器之间的通信
在同一个 Pod 内的容器（Pod内的容器是不会跨宿主机的）共享同一个网络命令空间，相当于它们在同一台机器上一样，可以用 localhost 地址访问彼此的端口。
同一个Node内Pod之间的通信
每个Pod 都有一个真实的全局 IP 地址，同一个 Node 内的不同 Pod 之间可以直接采用对方 Pod 的 IP 地址进行通信，Pod1 与 Pod2 都是通过Veth 连接到同一个 docker0 网桥，网段相同，所以它们之间可以直接通信。
不同 Node 上Pod 之间的通信
Pod 地址与 docker0 在同一网段，docker0 网段与宿主机网卡是两个不同的网段，且不同 Node 之间的通信只能通过宿主机的物理网卡进行。要想实现不同 Node 上 Pod 之间的通信，就必须想办法通过主机的物理网卡 IP 地址进行寻址和通信。
因此要满足两个条件
- Pod 的 IP 不能冲突
- 将 Pod 的 IP 和所在的 Node的IP关联起来，通过这个关联让不同 Node 上 Pod 之间直接通过内网 IP 地址通信。
5.2 Overlay Network 和 Vxlan
Overlay Network:
叠加网络，在一层或者三层基础网络上叠加的一种虚拟网络技术模式， 该网络中的主机通过虚拟链路隧道连接起来（类似于VPN）。
VXLAN:
将源数据包封装到UDP中，并使用基础网络的IP/MAC作为外层报文头进行封装，然后在以太网上传输，到达目的地后由隧道端点解封装并将数据发送给目标地址。
5.3 flannel的工作原理
5.3.1 Flannel
- Flannel 是一款网络插件CNI其中有（flannel、calico等），Flannel 的功能是让集群中的不同节点主机创建的 Docker 容器都具有全集群唯一的虚拟 IP 地址，在K8s中实现跨主机pod相互间通信。
- Flannel 是 Overlay 网络的一种，也是将 TCP 源数据包封装在另一种网络包里面进行路由转发和通信，目前支持 UDP、VXLAN、host-GW（静态路由）3种数据转发方式。
5.3.2 flannel 工作原理
5.3.3 etcd 在flannel 提供
-
存储管理Flannel可分配的IP地址段资源
-
监控 ETCD 中每个 Pod 节点对应node节点的路由表，并在内存中建立维护 Pod 节点路由表
5.4在etcd服务器上，添加 flannel网络配置信息
#添加flannel 网络配置信息，写入分配的子网段到etcd 中，供flannel使用 [root@master01 yum.repos.d]# cd /opt/etcd/ssl/ [root@master01 ssl]# /opt/etcd/bin/etcdctl \ --ca-file=ca.pem \ --cert-file=server.pem \ --key-file=server-key.pem \ --endpoints="https://192.168.23.103:2379,https://192.168.23.104:2379,https://192.168.23.105:2379" \ set /coreos.com/network/config '{"Network": "172.17.0.0/16", "Backend": {"Type": "vxlan"}}' ------------------------------------------------- #命令释义： #使用etcdctl命令，借助ca证书，目标端点（endpoints）为三个ETCD节点IP，端口为2379 #set /coreos.com/network/config 设置网段信息，格式为 set <key> <value>,设置键值对 #"Network": "172.17.0.0/16" 设置docker0网段，此网段必须是集合网段（B类地址），而Pod分配的资源必须在此网段中的子网段（C类地址） #"Backend": {"Type": "vxlan"}} 设置flannel使用类型是VXLAN ---------------------------------------------------------------------#查看写入信息 [root@master01 ssl]# /opt/etcd/bin/etcdctl \ --ca-file=ca.pem \ --cert-file=server.pem \ --key-file=server-key.pem \ --endpoints="https://192.168.23.103:2379,https://192.168.23.104:2379,https://192.168.23.105:2379" \ get /coreos.com/network/config5.5 在所有node节点上创建k8s工作目录，启动flanneld服务，开启网络功能
#这里操作要在所有的node节点上操作#上传flannel.sh 和 flannel-v0.10.0-linux.amd64.tar.gz 到/opt目录中 [root@node01 ~]# cd /opt/ [root@node011 opt]# ls flannel-v0.10.0-linux-amd64.tar.gz flannel.sh flannel.sh flannel-v0.10.0-linux-amd64.tar.gz[root@node01 opt]# ls flanneld mk-docker-opts.sh README.md flanneld mk-docker-opts.sh README.md #flanneld 为主要的执行文件，mk-docker-opts.sh 脚本主要用于生成Docker 启动参数#创建kubernetes的工作目录 [root@node01 opt]# mkdir -p /opt/kubernetes/{cfg,bin,ssl}[root@node01 opt]# mv /opt/mk-docker-opts.sh /opt/flanneld /opt/kubernetes/bin/#所有node节点启动flanneld服务，开启flannel网络功能 [root@node01 opt]# cd /opt/ [root@node01 opt]# vim flannel.s #!/bin/bash#定义etcd集群的端点IP地址和对外提供服务的2379端口 #${var:-string}：若变量var为空，则用在命令行中用string来替换；否则变量var不为空时，则用变量var的值来替换，这里的1代表的是位置变量$1 ETCD_ENDPOINTS=${1:-"http://127.0.0.1:2379"}#创建flanneld配置文件 cat > /opt/kubernetes/cfg/flanneld <<EOF FLANNEL_OPTIONS="--etcd-endpoints=${ETCD_ENDPOINTS} \\ -etcd-cafile=/opt/etcd/ssl/ca.pem \\ -etcd-certfile=/opt/etcd/ssl/server.pem \\ -etcd-keyfile=/opt/etcd/ssl/server-key.pem" EOF#flanneld 本应使用 etcd 客户端TLS相关证书（client 证书），这里全部都使用同一套证书认证。#创建flanneld.service服务管理文件 cat > /usr/lib/systemd/system/flanneld.service <<EOF [Unit] Description=Flanneld overlay address etcd agent After=network-online.target network.target Before=docker.service[Service] Type=notify EnvironmentFile=/opt/kubernetes/cfg/flanneld ExecStart=/opt/kubernetes/bin/flanneld --ip-masq \$FLANNEL_OPTIONS ExecStartPost=/opt/kubernetes/bin/mk-docker-opts.sh -k DOCKER_NETWORK_OPTIONS -d /run/flannel/subnet.env Restart=on-failure[Install] WantedBy=multi-user.targetEOF#flanneld启动后会使用 mk-docker-opts.sh 脚本生成 docker 网络相关配置信息 #mk-docker-opts.sh -k DOCKER_NETWORK_OPTIONS：将组合选项键设置为环境变量DOCKER_NETWORK_OPTIONS，docker启动时将使用此变量 #mk-docker-opts.sh -d /run/flannel/subnet.env：指定要生成的docker网络相关信息配置文件的路径，docker启动时候引用此配置systemctl daemon-reload systemctl enable flanneld systemctl restart flanneld [root@node01 opt]# chmod +x flannel.sh #脚本后指定etcd集群位置 [root@node01 opt]# ./flannel.sh https://192.168.23.103:2379,https://192.168.23.104:2379,https://192.168.23.105:2379#flannel启动后，会生成一个docker网络相关信息配置文件/run/flannel/subnet.env, #包含了docker要使用flannel通讯的相关参数 [root@node01 opt]# cat /run/flannel/subnet.env DOCKER_OPT_BIP="--bip=172.17.4.1/24" DOCKER_OPT_IPMASQ="--ip-masq=false" DOCKER_OPT_MTU="--mtu=1450" DOCKER_NETWORK_OPTIONS=" --bip=172.17.4.1/24 --ip-masq=false --mtu=1450"[root@node01 opt]# systemctl status flanneld.service------------------ #--bip：指定docker 启动时的子网 #--ip-masq:设置 ipmasq=false 关闭snat 伪装策略 #--mtu=1450： 需要留出50字节给外层的vxlan封包额外开销使用5.6 所有node节点配置 docker 连接flannel
[root@node01 opt]# vim /usr/lib/systemd/system/docker.service -----12行添加--- EnvironmentFile=/run/flannel/subnet.env -----13行修改(添加参数$DOCKER_NETWORK_OPTIONS) ExecStart=/usr/bin/dockerd $DOCKER_NETWORK_OPTIONS -H fd:// --containerd=/run/containerd/containerd.sock[root@node01 opt]# systemctl daemon-reload [root@node01 opt]# systemctl restart docker5.7 测试连通性
#两个node节点分别查看docker 0网卡和 flannel网卡 [root@node01 opt]# ifconfig#指定使用docker0 网卡的ip进行ping测试 [root@node01 opt]# ping -I 172.17.4.1 172.17.25.1总结
以上是生活随笔为你收集整理的kubernetes （k8s)的二进制部署单节点（etcd和flannel网络）的全部内容，希望文章能够帮你解决所遇到的问题。
- 上一篇： k8s单节点部署（master ，nod
- 下一篇： k8s多节点（接单节点继续）