实战-kubeadm方式搭建k8s集群-v1-22-1-20211102-测试成功-阳明(CRI-Containerd)

实战：kubeadm方式搭建k8s集群(k8s-v1.22.1,containerd-v1.5.5)-2021.11.2(部署成功-阳明)

2021.11.2 搭建。

实验环境

1、硬件环境

3台虚机 2c2g,20g。(nat模式，可访问外网)

角色	主机名	ip
master节点	master1	172.29.9.51
node节点	node1	172.29.9.52
node节点	node2	172.29.9.53

2、软件环境

软件	版本
操作系统	centos7.6_x64 1810 mini(其他centos7.x版本也行)
containerd	v1.5.5
kubernetes	v1.22.1

实验软件

链接：https:bashhostnamectl--staticset-hostnamenode1bashhostnamectl--staticset-hostnamenode2bash

注意： 节点的 hostname 必须使用标准的 DNS 命名，另外千万不用什么默认的 localhost的 hostname，会导致各种错误出现的。在 Kubernetes 项目里，机器的名字以及一切存储在 Etcd 中的 API 对象，都必须使用标准的 DNS 命名（RFC 1123）。可以使用命令 hostnamectl set-hostname node1来修改 hostname。

1.2关闭防火墙，selinux

systemctlstopfirewalld&&systemctldisablefirewalldsystemctlstopNetworkManager&&systemctldisableNetworkManagersetenforce0sed-is/SELINUX=enforcing/SELINUX=disabled//etc/selinux/config

1.3关闭swap分区

swapoff-ased-ri's/.*swap.*/#&/'/etc/fstab

问题：k8s集群安装为什么需要关闭swap分区？ swap必须关，否则kubelet起不来,进而导致k8s集群起不来； 可能kublet考虑到用swap做数据交换的话，对性能影响比较大；

1.4配置dns解析

cat>>/etc/hosts<<EOF172.29.9.51 master1172.29.9.52 node1172.29.9.53 node2EOF

问题：k8s集群安装时节点是否需要配置dns解析？ 就是后面的kubectl如果需要连接运行在node上面的容器的话，它是通过kubectl get node出来的名称去连接的，所以那个的话，我们需要在宿主机上能够解析到它。如果它解析不到的话，那么他就可能连不上；

1.5将桥接的IPv4流量传递到iptables的链

modprobebr_netfiltercat>/etc/sysctl.d/k8s.conf<<EOFnet.bridge.bridge-nf-call-ip6tables =1net.bridge.bridge-nf-call-iptables =1net.ipv4.ip_forward =1EOFsysctl--system

注意：将桥接的IPv4流量传递到iptables的链 由于开启内核 ipv4 转发需要加载 br_netfilter 模块，所以加载下该模块： modprobe br_netfilter bridge-nf说明：

bridge-nf 使得 netfilter 可以对 Linux 网桥上的 IPv4/ARP/IPv6 包过滤。比如，设置net.bridge.bridge-nf-call-iptables＝1后，二层的网桥在转发包时也会被 iptables的 FORWARD 规则所过滤。常用的选项包括：

• net.bridge.bridge-nf-call-arptables：是否在 arptables 的 FORWARD 中过滤网桥的 ARP 包
• net.bridge.bridge-nf-call-ip6tables：是否在 ip6tables 链中过滤 IPv6 包
• net.bridge.bridge-nf-call-iptables：是否在 iptables 链中过滤 IPv4 包
• net.bridge.bridge-nf-filter-vlan-tagged：是否在 iptables/arptables 中过滤打了 vlan 标签的包。

1.6安装 ipvs

cat>/etc/sysconfig/modules/ipvs.modules<<EOF#!/bin/bashmodprobe -- ip_vsmodprobe -- ip_vs_rrmodprobe -- ip_vs_wrrmodprobe -- ip_vs_shmodprobe -- nf_conntrack_ipv4EOFchmod755/etc/sysconfig/modules/ipvs.modules&&bash/etc/sysconfig/modules/ipvs.modules&&lsmod|grep-eip_vs-enf_conntrack_ipv4yuminstallipset-yyuminstallipvsadm-y

说明： 01、上面脚本创建了的/etc/sysconfig/modules/ipvs.modules文件，保证在节点重启后能自动加载所需模块。使用lsmod |grep -e ip_vs -e nf_conntrack_ipv4命令查看是否已经正确加载所需的内核模块;02、要确保各个节点上已经安装了 ipset 软件包，因此需要：yum install ipset -y;03、为了便于查看 ipvs 的代理规则，最好安装一下管理工具 ipvsadm：yum install ipvsadm -y

1.7同步服务器时间

yuminstallchrony-ysystemctlenablechronyd--nowchronycsources

1.8配置免密(方便后期从master节点传文件到node节点)

#在master1节点执行如下命令，按2次回车ssh-keygen#在master1节点执行ssh-copy-id-i~/.ssh/id_rsa.pubroot@172.29.9.52ssh-copy-id-i~/.ssh/id_rsa.pubroot@172.29.9.53

2、安装 Containerd(all节点均要配置)

2.1安装containerd

cd/root/yuminstalllibseccomp-ywgethttps:tar-C/-xzfcri-containerd-cni-1.5.5-linux-amd64.tar.gzecho"export PATH=$PATH:/usr/local/bin:/usr/local/sbin">>~/.bashrcsource~/.bashrcmkdir-p/etc/containerdcontainerdconfigdefault>/etc/containerd/config.tomlsystemctlenablecontainerd--nowctrversion

说明：centos7上具体如何安装containerd，请看文章:实战：centos7上containerd的安装-20211023,本次只提供具体shell命令。

2.2将 containerd 的 cgroup driver 配置为 systemd

对于使用 systemd 作为 init system 的 Linux 的发行版，使用 systemd作为容器的 cgroup driver可以确保节点在资源紧张的情况更加稳定，所以推荐将 containerd 的 cgroup driver 配置为 systemd。

修改前面生成的配置文件 /etc/containerd/config.toml，在 plugins."io.containerd.grpc.v1.cri".containerd.runtimes.runc.options配置块下面将 SystemdCgroup设置为 true：

#通过搜索SystemdCgroup进行定位#vim /etc/containerd/config.toml[plugins."io.containerd.grpc.v1.cri".containerd.runtimes.runc]...[plugins."io.containerd.grpc.v1.cri".containerd.runtimes.runc.options]SystemdCgroup=true....#注意：最终输出shell命令：sed-i"s/SystemdCgroup =false/SystemdCgroup =true/g"/etc/containerd/config.toml

2.3配置镜像加速器地址

然后再为镜像仓库配置一个加速器，需要在 cri 配置块下面的 registry配置块下面进行配置 registry.mirrors：（注意缩进）

[root@master1 ~]#vim /etc/containerd/config.toml[plugins."io.containerd.grpc.v1.cri".registry][plugins."io.containerd.grpc.v1.cri".registry.mirrors][plugins."io.containerd.grpc.v1.cri".registry.mirrors."docker.io"]endpoint=["https:[plugins."io.containerd.grpc.v1.cri".registry.mirrors."k8s.gcr.io"]endpoint=["https:……sandbox_image="registry.aliyuncs.com/k8sxio/pause:3.5"……

2.5启动containerd服务

由于上面我们下载的 containerd 压缩包中包含一个 etc/systemd/system/containerd.service的文件，这样我们就可以通过 systemd 来配置 containerd 作为守护进程运行了，现在我们就可以启动 containerd 了，直接执行下面的命令即可：

systemctldaemon-reloadsystemctlenablecontainerd--now

2.6验证

启动完成后就可以使用 containerd 的本地 CLI 工具 ctr和 crictl了，比如查看版本：

ctr versioncrictl version

至此，containerd安装完成。

3、使用 kubeadm 部署 Kubernetes

3.1添加阿里云YUM软件源(all节点均要配置)

我们使用阿里云的源进行安装：

cat>/etc/yum.repos.d/kubernetes.repo<<EOF[kubernetes]name=Kubernetesbaseurl=https:enabled=1gpgcheck=0repo_gpgcheck=0gpgkey=https:EOF

3.2安装 kubeadm、kubelet、kubectl(all节点均要配置)

yummakecachefastyuminstall-ykubelet-1.22.2kubeadm-1.22.2kubectl-1.22.2--disableexcludes=kuberneteskubeadmversionsystemctlenable--nowkubelet

说明：--disableexcludes 禁掉除了kubernetes之外的别的仓库

符合预期：

3.3初始化集群(master1节点操作)

当我们执行 kubelet --help命令的时候可以看到原来大部分命令行参数都被 DEPRECATED了，这是因为官方推荐我们使用 --config来指定配置文件，在配置文件中指定原来这些参数的配置，可以通过官方文档 Set Kubelet parameters via a config file了解更多相关信息，这样 Kubernetes 就可以支持**动态 Kubelet 配置（Dynamic Kubelet Configuration）**了，参考 Reconfigure a Node’s Kubelet in a Live Cluster。

然后我们可以通过下面的命令在 master 节点上输出集群初始化默认使用的配置：

[root@master1 ~]#kubeadm config print init-defaults --component-configs KubeletConfiguration >kubeadmyaml

然后根据我们自己的需求修改配置，比如修改 imageRepository指定集群初始化时拉取 Kubernetes 所需镜像的地址，kube-proxy 的模式为 ipvs，另外需要注意的是我们这里是准备安装 flannel 网络插件的，需要将 networking.podSubnet设置为10.244.0.0/16：

[root@master1 ~]#vim kubeadmyamlapiVersion:kubeadm.k8s.io/v1beta3bootstrapTokens:- groups:- system:bootstrappers:kubeadm:default-node-tokentoken:abcdef.0123456789abcdefttl:24h0m0susages:- signing- authenticationkind:InitConfigurationlocalAPIEndpoint:advertiseAddress:172.29.9.51# 修改1：指定master节点内网IPbindPort:6443nodeRegistration:criSocket:/run/containerd/containerd.sock# 修改2：使用 containerd的Unix socket 地址imagePullPolicy:IfNotPresentname:master1#name #修改3：修改master节点名称taints:# 修改4：给master添加污点，master节点不能调度应用- effect:"NoSchedule"key:"node-role.kubernetes.io/master"---apiVersion:kubeproxy.config.k8s.io/v1alpha1kind:KubeProxyConfigurationmode:ipvs# 修改5：修改kube-proxy 模式为ipvs，默认为iptables---apiServer:timeoutForControlPlane:4m0sapiVersion:kubeadm.k8s.io/v1beta3certificatesDir:/etc/kubernetes/pkiclusterName:kubernetescontrollerManager:{}dns:{}etcd:local:dataDir:/var/lib/etcdimageRepository:registry.aliyuncs.com/k8sxio#修改6：image地址kind:ClusterConfigurationkubernetesVersion:1.22.2#修改7：指定k8s版本号，默认这里忽略了小版本号networking:dnsDomain:cluster.localserviceSubnet:10.96.0.0/12podSubnet:10.244.0.0/16# 修改8：指定 pod 子网scheduler:{}---apiVersion:kubelet.config.k8s.io/v1beta1authentication:anonymous:enabled:falsewebhook:cacheTTL:0senabled:truex509:clientCAFile:/etc/kubernetes/pki/ca.crtauthorization:mode:Webhookwebhook:cacheAuthorizedTTL:0scacheUnauthorizedTTL:0sclusterDNS:- 10.96.0.10clusterDomain:cluster.localcpuManagerReconcilePeriod:0sevictionPressureTransitionPeriod:0sfileCheckFrequency:0shealthzBindAddress:127.0.0.1healthzPort:10248httpCheckFrequency:0simageMinimumGCAge:0skind:KubeletConfigurationcgroupDriver:systemd# 修改9：配置 cgroup driverlogging:{}memorySwap:{}nodeStatusReportFrequency:0snodeStatusUpdateFrequency:0srotateCertificates:trueruntimeRequestTimeout:0sshutdownGracePeriod:0sshutdownGracePeriodCriticalPods:0sstaticPodPath:/etc/kubernetes/manifestsstreamingConnectionIdleTimeout:0ssyncFrequency:0svolumeStatsAggPeriod:0s

配置提示

对于上面的资源清单的文档比较杂，要想完整了解上面的资源对象对应的属性，可以查看对应的 godoc 文档，地址:https:[root@master1 ~]#kubeadm config images list --config kubeadm.yaml#记得昨天测试都没报错啊，现在怎么报错了。。。可以忽略，不影响后续使用的。