Prometheus

Prometheus基础

1.简介

我们知道监控是保证系统运行必不可少的功能，特别是对于 Kubernetes 这种比较庞大的系统来说，监控报警更是不可或缺，我们需要时刻了解系统的各种运行指标，也需要时刻了解我们的 Pod 的各种指标，更需要在出现问题的时候有报警信息通知到我们。

在早期的版本中 Kubernetes 提供了 heapster、influxDB、grafana的组合来监控系统，在现在的版本中已经移除掉了 heapster。现在更加流行的监控工具是 Prometheus，Prometheus 是 Google 内部监控报警系统的开源版本，是 Google SRE 思想在其内部不断完善的产物，它的存在是为了更快和高效的发现问题，快速的接入速度，简单灵活的配置都很好的解决了这一切，而且是已经毕业的 CNCF 项目。

2.特点

Prometheus 最初是 SoundCloud构建的开源系统监控和报警工具，是一个独立的开源项目，于2016年加入了 CNCF 基金会，作为继 Kubernetes 之后的第二个托管项目。Prometheus 相比于其他传统监控工具主要有以下几个特点：

具有由 metric 名称和键/值对标识的时间序列数据的多维数据模型
有一个灵活的查询语言
不依赖分布式存储，只和本地磁盘有关
通过 HTTP 的服务拉取时间序列数据
也支持推送的方式来添加时间序列数据
还支持通过服务发现或静态配置发现目标
多种图形和仪表板支持

3.架构

Prometheus 由多个组件组成，但是其中有些组件是可选的：

Prometheus Server：用于抓取指标、存储时间序列数据
exporter：暴露指标让任务来抓
pushgateway：push 的方式将指标数据推送到该网关
alertmanager：处理报警的报警组件 adhoc：用于数据查询

大多数 Prometheus 组件都是用 Go 编写的，因此很容易构建和部署为静态的二进制文件。下图是 Prometheus 官方提供的架构及其一些相关的生态系统组件：

整体流程比较简单，Prometheus 直接接收或者通过中间的 Pushgateway 网关被动获取指标数据，在本地存储所有的获取的指标数据，并对这些数据进行一些规则整理，用来生成一些聚合数据或者报警信息，Grafana 或者其他工具用来可视化这些数据。

注意：prometheus的数据可以也可以存储在ceph里，但不能存储在nfs里。测试环境，你可以用nfs，prometheus是可以跑起来的。但生产环境一定不能用nfs，否则重建之后，以前的历史数据可其他能会被损坏！

💘 实战：prometheus部署(测试成功)-2022.4.29

实验环境

bash

centos7prometheus-2.35.0

实验软件

链接：https:-rw-rw-rw-1rootroot77MApr2812:38prometheus-2.35.0.linux-amd64.tar.gz[root@master1 ~]#tar -xf prometheus-2.35.0.linux-amd64.tar.gz [root@master1 ~]#cd prometheus-2.35.0.linux-amd64/[root@master1 prometheus-2.35.0.linux-amd64]#lltotal198236drwxr-xr-x23434343438Apr2117:59console_libraries#2个与prometheus dashboard相关的drwxr-xr-x234343434173Apr2117:59consoles-rw-r--r--13434343411357Apr2117:59LICENSE-rw-r--r--1343434343773Apr2117:59NOTICE-rwxr-xr-x134343434105576684Apr2117:55prometheus#二进制文件-rw-r--r--134343434934Apr2117:59prometheus.yml-rwxr-xr-x13434343497394322Apr2117:58promtool#校验相关的

启动prometheus

Prometheus 是通过一个 YAML 配置文件来进行启动的，如果我们使用二进制的方式来启动的话，可以使用下面的命令：

bash

./prometheus或者./prometheus--config.file=prometheus.yml

其中 prometheus.yml文件的基本配置如下：

yaml

global:scrape_interval:15sevaluation_interval:15s#评估频率rule_files:#告警规则文件# - "first.rules"# - "second.rules"scrape_configs:- job_name:prometheusstatic_configs:- targets:['localhost:9090']

上面这个配置文件中包含了3个模块：global、rule_files和 scrape_configs。

由于 prometheus 通过 HTTP 的方式来暴露的它本身的监控数据，prometheus 也能够监控本身的健康情况。在默认的配置里有一个单独的 job，叫做 prometheus，它采集 prometheus 服务本身的时间序列数据。这个 job 包含了一个单独的、静态配置的目标：监听 localhost 上的 9090 端口。prometheus 默认会通过目标的 /metrics路径采集 metrics。所以，默认的 job 通过 URL：http:prometheus：prom/prometheus:v2.34.0

实验软件

链接：https:namespace/monitorcreated

2.将 `prometheus.yml`文件用 ConfigMap 的形式进行管理

本次实验目录如下：

bash

[root@master1 ~]#mkdir prometheus-example[root@master1 ~]#cd prometheus-example/

为了能够方便的管理配置文件，我们这里将 prometheus.yml文件用 ConfigMap 的形式进行管理：

[root@master1 prometheus-example]#vim prometheus-cm.yaml

yaml

# prometheus-cm.yamlapiVersion:v1kind:ConfigMapmetadata:name:prometheus-confignamespace:monitordata:prometheus.yml:|global:scrape_interval:15sscrape_timeout:15sscrape_configs:- job_name:'prometheus'static_configs:- targets:['localhost:9090']

注意：

3.创建prometheus 的 Pod 资源

现在我们来创建 prometheus 的 Pod 资源：

[root@master1 prometheus-example]#vim prometheus-deploy.yaml

yaml

# prometheus-deploy.yamlapiVersion:apps/v1kind:Deploymentmetadata:name:prometheusnamespace:monitorlabels:app:prometheusspec:selector:matchLabels:app:prometheustemplate:metadata:labels:app:prometheusspec:serviceAccountName:prometheuscontainers:- image:prom/prometheus:v2.34.0name:prometheusargs:- "--config.file=/etc/prometheus/prometheus.yml"- "--storage.tsdb.path=/prometheus"# 指定tsdb数据路径- "--storage.tsdb.retention.time=24h"#保存时间- "--web.enable-admin-api"# 控制对admin HTTP API的访问，其中包括删除时间序列等功能- "--web.enable-lifecycle"# 支持热更新，直接执行localhost:9090/-/reload立即生效ports:- containerPort:9090name:httpvolumeMounts:- mountPath:"/etc/prometheus"name:config-volume- mountPath:"/prometheus"name:dataresources:requests:cpu:100mmemory:512Milimits:cpu:100mmemory:512Mivolumes:- name:data#tsdb数据路径:/prometheus，这里使用的是pvcpersistentVolumeClaim:claimName:prometheus-data- configMap:#name:prometheus-configname:config-volume

yaml

……#上面突然写成那种我还看不懂了哈哈……老铁，没毛病！volumes:#这里要再次熟悉下关于volumes/volumeMounts数据卷挂载的使用方法！！！- name:data#tsdb数据路径:/prometheus，这里使用的是pvcpersistentVolumeClaim:claimName:prometheus-data- name:config-volumeconfigMap:#name:prometheus-config

另外为了 prometheus 的性能和数据持久化我们这里是直接将通过一个 LocalPV 来进行数据持久化的，通过 --storage.tsdb.path=/prometheus指定数据目录。

4.创建prometheus的pv/pvc资源

创建如下所示的一个 PVC 资源对象，注意是一个 LocalPV，和 node1 节点具有亲和性：

先在宿主机node1节点上上创建这个下面LocalPV要使用到的本地目录：

bash

[root@master1 ~]#ssh node1Lastlogin:FriApr2909:57:062022frommaster1[root@node1 ~]#mkdir -p /data/k8s/prometheus

创建prometheus-pvc.yaml文件：

[root@master1 prometheus-example]#vim prometheus-pvc.yaml

yaml

#prometheus-pvc.yamlapiVersion:v1kind:PersistentVolumemetadata:name:prometheus-locallabels:app:prometheusspec:accessModes:- ReadWriteOncecapacity:storage:20GistorageClassName:local-storagelocal:path:/data/k8s/prometheus#一定要先在宿主机上创建这个目录！！！nodeAffinity:#pv也是可以配置节点亲和性的哦！！！required:nodeSelectorTerms:- matchExpressions:- key:kubernetes.io/hostnameoperator:Invalues:- node1#这里是自己的node1节点persistentVolumeReclaimPolicy:Retain---apiVersion:v1kind:PersistentVolumeClaimmetadata:name:prometheus-datanamespace:monitorspec:selector:matchLabels:app:prometheusaccessModes:- ReadWriteOnceresources:requests:storage:20GistorageClassName:local-storage

5.创建prometheus的rbac资源

由于 prometheus 可以访问 Kubernetes 的一些资源对象，所以需要配置 rbac 相关认证，这里我们使用了一个名为 prometheus 的 serviceAccount 对象：

[root@master1 prometheus-example]#vim prometheus-rbac.yaml

yaml

# prometheus-rbac.yamlapiVersion:v1kind:ServiceAccount#创建一个ServiceAccountmetadata:name:prometheusnamespace:monitor---apiVersion:rbac.authorization.k8s.io/v1kind:ClusterRolemetadata:name:prometheusrules:- apiGroups:- ""resources:- nodes- services- endpoints- pods- nodes/proxyverbs:- get- list- watch- apiGroups:- "extensions"resources:- ingressesverbs:- get- list- watch- apiGroups:- ""resources:- configmaps- nodes/metricsverbs:- get- nonResourceURLs:- /metricsverbs:- get---apiVersion:rbac.authorization.k8s.io/v1kind:ClusterRoleBindingmetadata:name:prometheusroleRef:apiGroup:rbac.authorization.k8s.iokind:ClusterRolename:prometheussubjects:- kind:ServiceAccountname:prometheusnamespace:monitor

由于我们要获取的资源信息，在每一个 namespace 下面都有可能存在，所以我们这里使用的是 ClusterRole的资源对象。

值得一提的是我们这里的权限规则声明中有一个 nonResourceURLs的属性，是用来对非资源型 metrics 进行操作的权限声明，这个在以前我们很少遇到过。

6.创建以上资源

创建prometheus.yml

我们这里暂时只配置了对 prometheus本身的监控，直接创建该资源对象：

bash

[root@master1 prometheus-example]#kubectl apply -f prometheus-cm.yamlconfigmap/prometheus-configcreated

配置文件创建完成了，以后如果我们有新的资源需要被监控，我们只需要将上面的 ConfigMap 对象更新即可。

创建prometheus-pv-pvc.yaml

bash

[root@master1 prometheus-example]#kubectl apply -f prometheus-pvc.yaml persistentvolume/prometheus-localcreatedpersistentvolumeclaim/prometheus-datacreated#验证[root@master1 prometheus-example]#kubectl get pvc -nmonitorNAMESTATUSVOLUMECAPACITYACCESSMODESSTORAGECLASSAGEprometheus-dataBoundprometheus-local20GiRWOlocal-storage33s[root@master1 prometheus-example]#kubectl get pvNAMECAPACITYACCESSMODESRECLAIMPOLICYSTATUSCLAIMSTORAGECLASSREASONAGEprometheus-local20GiRWORetainBoundmonitor/prometheus-datalocal-storage35s

创建prometheus-rbac.yaml

bash

[root@master1 prometheus-example]#kubectl apply -f prometheus-rbac.yamlserviceaccount"prometheus"createdclusterrole.rbac.authorization.k8s.io"prometheus"createdclusterrolebinding.rbac.authorization.k8s.io"prometheus"created

现在我们就可以添加 promethues 的资源对象了：

bash

[root@master1 prometheus-example]#kubectl apply -f prometheus-deploy.yaml deployment.apps/prometheuscreated[root@master1 prometheus-example]#kubectl get pods -n monitorNAMEREADYSTATUSRESTARTSAGEprometheus-58f59fd485-7hncv0/1CrashLoopBackOff2(24s ago) 112s[root@master1 prometheus-example]#kubectl logs prometheus-58f59fd485-7hncv -nmonitorts=2022-04-29T04:42:09.982Zcaller=main.go:516level=infomsg="Starting Prometheus"version="(version=2.34.0,branch=HEAD,revision=881111fec4332c33094a6fb2680c71fffc427275)"ts=2022-04-29T04:42:09.982Zcaller=main.go:521level=infobuild_context="(go=go1.17.8,user=root@121ad7ea5487,date=20220315-15:18:00)"ts=2022-04-29T04:42:09.982Zcaller=main.go:522level=infohost_details="(Linux 3.10.0-957.el7.x86_64 #1 SMP Thu Nov 8 23:39:32 UTC 2018 x86_64 prometheus-58f59fd485-7hncv (none))"ts=2022-04-29T04:42:09.982Zcaller=main.go:523level=infofd_limits="(soft=65536,hard=65536)"ts=2022-04-29T04:42:09.982Zcaller=main.go:524level=infovm_limits="(soft=unlimited,hard=unlimited)"ts=2022-04-29T04:42:09.983Zcaller=query_logger.go:90level=errorcomponent=activeQueryTrackermsg="Error opening query log file"file=/prometheus/queries.activeerr="open /prometheus/queries.active:permission denied"panic:Unabletocreatemmap-edactivequeryloggoroutine1[running]:github.com/prometheus/prometheus/promql.NewActiveQueryTracker({0x7ffe09113e00,0xb},0x14,{0x3637a40,0xc0002032c0})/app/promql/query_logger.go:120+0x3d7main.main()/app/cmd/prometheus/main.go:569+0x6049

创建 Pod 后，我们可以看到并没有成功运行，出现了 open /prometheus/queries.active:permission denied这样的错误信息，这是因为我们的 prometheus 的镜像中是使用的 nobody 这个用户，然后现在我们通过 LocalPV 挂载到宿主机上面的目录的 ownership却是 root：

bash

[root@node1 ~]#ls -la /data/k8stotal0drwxr-xr-x3rootroot24Apr2909:57.drwxr-xr-x3rootroot17Apr2909:57..drwxr-xr-x2rootroot6Apr2909:57prometheus

所以当然会出现操作权限问题了，这个时候我们就可以通过 securityContext来为 Pod 设置下 volumes 的权限，通过设置 runAsUser=0指定运行的用户为 root；也可以通过设置一个 initContainer 来修改数据目录权限（本次使用后面这种方法）：

yaml

[root@master1 prometheus-example]#vim prometheus-deploy.yaml......initContainers:- name:fix-permissionsimage:busyboxcommand:[chown,-R,"nobody:nobody",/prometheus]volumeMounts:- name:datamountPath:/prometheus

完整代码如下：

yaml

# prometheus-deploy.yamlapiVersion:apps/v1kind:Deploymentmetadata:name:prometheusnamespace:monitorlabels:app:prometheusspec:selector:matchLabels:app:prometheustemplate:metadata:labels:app:prometheusspec:serviceAccountName:prometheusinitContainers:- name:fix-permissionsimage:busyboxcommand:[chown,-R,"nobody:nobody",/prometheus]volumeMounts:- name:datamountPath:/prometheuscontainers:- image:prom/prometheus:v2.34.0name:prometheusargs:- "--config.file=/etc/prometheus/prometheus.yml"- "--storage.tsdb.path=/prometheus"# 指定tsdb数据路径- "--storage.tsdb.retention.time=24h"#保存时间- "--web.enable-admin-api"# 控制对admin HTTP API的访问，其中包括删除时间序列等功能- "--web.enable-lifecycle"# 支持热更新，直接执行localhost:9090/-/reload立即生效ports:- containerPort:9090name:httpvolumeMounts:- mountPath:"/etc/prometheus"name:config-volume- mountPath:"/prometheus"name:dataresources:requests:cpu:100mmemory:512Milimits:cpu:100mmemory:512Mivolumes:#这里要再次熟悉下关于volumes/volumeMounts数据卷挂载的使用方法！！！- name:data#tsdb数据路径:/prometheus，这里使用的是pvcpersistentVolumeClaim:claimName:prometheus-data- configMap:#name:prometheus-configname:config-volume

这个时候我们重新更新下 prometheus：

bash

[root@master1 prometheus-example]#kubectl apply -f prometheus-deploy.yamldeployment.apps/prometheusconfigured#注意：这里下载镜像要耐心等待一会儿！！！74M大小！[root@master1 prometheus-example]#kubectl get pods -n monitorNAMEREADYSTATUSRESTARTSAGEprometheus-849c8456c7-dz6rt1/1Running054s[root@master1 prometheus-example]#kubectl logs prometheus-849c8456c7-dz6rt -nmonitor……ts=2022-04-29T05:00:09.184Zcaller=main.go:1142level=infomsg="Loading configuration file"filename=/etc/prometheus/prometheus.ymlts=2022-04-29T05:00:09.185Zcaller=main.go:1179level=infomsg="Completed loading of configuration file"filename=/etc/prometheus/prometheus.ymltotalDuration=1.128855msdb_storage=1.302µsremote_storage=5.18µsweb_handler=721nsquery_engine=2.705µsscrape=773.91µsscrape_sd=66.725µsnotify=1.443µsnotify_sd=2.966µsrules=4.859µstracing=20.118µsts=2022-04-29T05:00:09.185Zcaller=main.go:910level=infomsg="Server is ready to receive web requests."

7.创建prometheus的svc资源

Pod 创建成功后，为了能够在外部访问到 prometheus 的服务，我们还需要创建一个 Service 对象：

[root@master1 prometheus-example]#vim prometheus-svc.yaml

yaml

# prometheus-svc.yamlapiVersion:v1kind:Servicemetadata:name:prometheusnamespace:monitorlabels:app:prometheusspec:selector:app:prometheustype:NodePortports:- name:webport:9090targetPort:http

为了方便测试，我们这里创建一个 NodePort类型的服务，当然我们可以创建一个 Ingress对象，通过域名来进行访问：

bash

[root@master1 prometheus-example]#kubectl apply -f prometheus-svc.yamlservice/prometheuscreated[root@master1 prometheus-example]#kubectl get svc -nmonitorNAMETYPECLUSTER-IPEXTERNAL-IPPORT(S) AGEprometheusNodePort10.108.47.93<none>9090:30092/TCP9s