使用prometheus采集数据，Grafana作为成图展示，Alertmanager输出告警

监控告警平台使用docker-compose运行

参考其他文档完成docker，docker-compose安装

基础环境

• 已完成docker，docker-compose安装
• centos7.9
• IP：192.168.3.10
• 已关闭防火墙及selinux（/etc/selinux/config中修改SELINUX值为disable）
• 数据盘空间：根据存储时长及监控点数量估算（主要是prometheus数据）
• 创建监控文件夹

# 主监控文件夹
mkdir monitor
# 创建监控平台各个应用文件夹，以下均在主监控文件夹monitor中# 创建prometheus文件夹
mkdir -p prometheus/data
chmod 777 data# 创建Grafana文件夹
mkdir -p grafana/grafana-storage
chmod 777 grafana-storage# 创建Alertmanager文件夹,规则文件夹,被采集设备信息文件夹
mkdir alert rules targets

编写docker-compose文件

编写docker-compose文件，运行监控告警平台；在monitor文件夹下新建monitor-docker-compose.yml配置文件，具体参考如下（配置文件中的端口为默认，可根据需求自行修改测试）：

version: '3.2'
services:prometheus:image: prom/prometheusrestart: "always"ports:- 9090:9090container_name: "prometheus"volumes:- "./prometheus/prometheus.yml:/etc/prometheus/prometheus.yml"- "./rules:/etc/prometheus/rules"- "./prometheus/data:/prometheus"- "./targets:/etc/prometheus/targets"command:- '--config.file=/etc/prometheus/prometheus.yml'- '--storage.tsdb.path=/prometheus'alertmanager:image: prom/alertmanager:latestrestart: "always"ports:- 9093:9093container_name: "alertmanager"volumes:- "./alert/alertmanager.yml:/etc/alertmanager/alertmanager.yml"- "./alert/template/:/etc/alertmanager/template/"grafana:image: grafana/grafanarestart: "always"ports:- 3000:3000container_name: "grafana"volumes:- "./grafana/grafana-storage:/var/lib/grafana"

构建prometheus配置文件

在prometheus文件夹中新建配置文件prometheus.yml，具体配置如下：

global:scrape_interval:     15s    # 多久 收集 一次数据evaluation_interval: 15s    # 多久 评估 一次规则scrape_timeout:      10s    # 每次 收集数据的 超时时间scrape_configs:- job_name: prometheusstatic_configs:- targets: ['192.168.3.10:9090']   labels:instance: prometheus# 此处为被监控节点信息，下面会说到这个文件- job_name: nodefile_sd_configs:- files: - ./targets/*.ymlrefresh_interval: 10salerting:alertmanagers:- static_configs:- targets:- 192.168.3.10:9093
# 以下为告警规则文件
rule_files:- "/etc/prometheus/rules/*.yml"

构建Altermanager配置文件

此处测试告警外发至企业微信，Altermanager还支持外发钉钉，邮件等。具体可参考官网链接

global:resolve_timeout: 1mwechat_api_url: 'https://qyapi.weixin.qq.com/cgi-bin/'wechat_api_corp_id: '企业微信秘钥'wechat_api_secret: '应用秘钥'
route:receiver: 'monitor_node'group_wait: 30sgroup_interval: 5mrepeat_interval: 5mgroup_by: [alertname]routes:- receiver: 'monitor_node'group_wait: 10s
templates:- "template/*.tmpl"receivers:
- name: 'monitor_node'wechat_configs: - send_resolved: truemessage: '{{ template "wechat.default.message" . }}'to_party: 'id_num' # 机器人所在部门IDagent_id: '应用ID'     # 企业微信中创建的应用的IDapi_secret: '应用秘钥'      # 企业微信中，应用的Secret

被监控节点安装node-exporter

以下实例压缩包安装方式，也可采用docker，docker-compose方式安装：

# 压缩包安装
wget https://github.com/prometheus/node_exporter/releases/download/v1.2.2/node_exporter-1.2.2.linux-amd64.tar.gz# 写入服务
[Unit]
Description=node_exporter
After=network.target
[Service]
Type=simple
ExecStart=  /xxx/node_exporter  # node-exporter目录
PrivateTmp=true
RestartSec=5
StartLimitInterval=0
Restart=always
[Install]
WantedBy=multi-user.target# 重载配置
systemctl daemon-reload

被监控节点targets配置

这里使用file_sd_configs方式采集被监控节点信息（node-exporter），其他方式可参考官方文档；跟据具体业务环境有多种方式可参考；
在targets文件夹中新建node.yml,参考配置如下：

- targets: ['192.168.3.11:9100']labels:instance: vm01- targets: ['192.168.3.12:9100']labels:instance: vm02- targets: ['192.168.3.13:9100']labels:instance: vm03

告警规则配置

这篇文章主要是提供监控-成图-告警的实现测试，非生产环境；具体的告警规则可结合实际环境来进行配置；
将规则配置文件放在rules文件夹中，命名为*.yml对应prometheus中的配置项。

具体可以参考官方配置

这里放一部分我的测试rules配置参考：

groups:- name: node-alertrules:- alert: node-downexpr: prometheus:up == 0for: 1mlabels:severity: 'critical'annotations:summary: "instance: {{ $labels.instance }} 宕机"description: "instance: {{ $labels.instance }} \n- job: {{ $labels.job }} 宕机"value: "{{ $value }}"instance: "{{ $labels.instance }}"- alert: node-cpu-highexpr:  prometheus:cpu:total:percent > 80for: 3mlabels:severity: infoannotations:summary: "instance: {{ $labels.instance }} cpu 使用率高于 {{ $value }}"description: "instance: {{ $labels.instance }} \n- job: {{ $labels.job }} CPU使用率持续高于80% 。"value: "{{ $value }}"instance: "{{ $labels.instance }}"- alert: node-cpu-iowait-highexpr:  prometheus:cpu:iowait:percent >= 12for: 3mlabels:severity: infoannotations:summary: "instance: {{ $labels.instance }} cpu iowait 高于 {{ $value }}"description: "instance: {{ $labels.instance }} \n- job: {{ $labels.job }} cpu iowait持续高于12%"value: "{{ $value }}"instance: "{{ $labels.instance }}"

运行测试环境

# 在monitor文件夹下运行
docker-compose -f monitor-docker-compose.yml up -d
# docker ps查看prometheus，Altermanager，Grafana三个容器状态
# web登陆Grafana管理页面，配置dashboard

运行环境测试正常后，可以在Altermanager管理页面继续测试告警的静默等功能，Grafana仪表盘导入位置参考下图：

Grafana仪表盘可在官方文档找到

鼠标悬停+上边，选择Import

将从官网找到的dashboard id 填入，并Load即可。

END

• 排错可先查官方文档，学习内容丰富
• 每个步骤做好测试，缩小排查范围
• 欢迎交流指正~~