1. 项目概述在AlmaLinux系统上容器化部署PrometheusGrafana监控组合是当前企业级监控系统搭建的主流方案之一。作为CentOS的替代品AlmaLinux凭借其稳定性和长期支持特性正成为越来越多运维团队的首选操作系统。而将Prometheus和Grafana这两个黄金搭档通过Docker容器化部署不仅能实现环境隔离还能大幅简化部署和迁移流程。这套监控方案的核心价值在于实时采集系统/服务指标数据Prometheus通过可视化仪表盘直观展示监控数据Grafana利用容器技术实现快速部署和环境一致性2. 环境准备与依赖安装2.1 系统基础配置首先确保AlmaLinux系统已完成基础配置# 更新系统 sudo dnf update -y # 安装必要工具 sudo dnf install -y curl wget vim net-tools # 检查防火墙状态 sudo firewall-cmd --state提示如果防火墙处于active状态需要开放相关端口Prometheus默认9090Grafana默认30002.2 Docker环境安装容器化部署的核心是Docker环境在AlmaLinux上安装步骤如下# 安装依赖包 sudo dnf install -y yum-utils device-mapper-persistent-data lvm2 # 添加Docker仓库 sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo # 安装Docker引擎 sudo dnf install -y docker-ce docker-ce-cli containerd.io # 启动并设置开机自启 sudo systemctl start docker sudo systemctl enable docker # 验证安装 docker --version3. Prometheus容器化部署3.1 配置文件准备创建Prometheus配置目录并编写配置文件mkdir -p ~/prometheus/config vim ~/prometheus/config/prometheus.yml典型配置示例global: scrape_interval: 15s evaluation_interval: 15s scrape_configs: - job_name: prometheus static_configs: - targets: [localhost:9090]3.2 启动Prometheus容器使用Docker运行Prometheus服务docker run -d \ --nameprometheus \ -p 9090:9090 \ -v ~/prometheus/config:/etc/prometheus \ prom/prometheus参数说明-d后台运行--name容器名称-p端口映射主机端口:容器端口-v配置文件挂载3.3 验证安装访问http://服务器IP:9090应该能看到Prometheus的Web界面。可以通过Status Targets查看监控目标状态。4. Grafana容器化部署4.1 启动Grafana容器直接运行官方Grafana镜像docker run -d \ --namegrafana \ -p 3000:3000 \ grafana/grafana4.2 初始配置访问http://服务器IP:3000使用默认账号登录admin/admin首次登录会要求修改密码4.3 添加Prometheus数据源左侧菜单选择Configuration Data Sources点击Add data source选择Prometheus配置URL为http://prometheus服务器IP:9090点击Save Test5. 监控系统集成与优化5.1 监控节点配置要让Prometheus监控更多节点需要修改配置文件scrape_configs: - job_name: node_exporter static_configs: - targets: [node1:9100, node2:9100]然后在各节点上运行node_exporter容器docker run -d \ --namenode_exporter \ -p 9100:9100 \ quay.io/prometheus/node-exporter5.2 Grafana仪表盘导入在Grafana中点击 Import输入仪表盘ID如1860为Node Exporter全指标仪表盘选择对应的Prometheus数据源点击Import5.3 告警规则配置在Prometheus配置中添加告警规则rule_files: - alert.rules # 创建告警规则文件 vim ~/prometheus/config/alert.rules示例告警规则groups: - name: example rules: - alert: HighCPUUsage expr: 100 - (avg by(instance)(irate(node_cpu_seconds_total{modeidle}[5m])) * 100) 80 for: 5m labels: severity: warning annotations: summary: High CPU usage on {{ $labels.instance }} description: {{ $labels.instance }} CPU usage is {{ $value }}%6. 容器编排与持久化6.1 使用Docker Compose管理创建docker-compose.yml文件version: 3 services: prometheus: image: prom/prometheus ports: - 9090:9090 volumes: - ./prometheus/config:/etc/prometheus restart: unless-stopped grafana: image: grafana/grafana ports: - 3000:3000 volumes: - grafana-storage:/var/lib/grafana restart: unless-stopped volumes: grafana-storage:启动服务docker-compose up -d6.2 数据持久化方案Prometheus数据持久化# 创建数据卷 docker volume create prometheus-data # 修改运行命令添加数据卷 -v prometheus-data:/prometheusGrafana数据持久化# 创建数据卷 docker volume create grafana-storage # 修改运行命令添加数据卷 -v grafana-storage:/var/lib/grafana7. 安全加固措施7.1 访问控制Prometheus基础认证basic_auth: username: admin password: $PASSWORDGrafana安全配置修改默认管理员密码配置LDAP/SSO集成设置数据源权限7.2 网络隔离建议将监控组件部署在独立网络# 创建自定义网络 docker network create monitor-net # 运行容器时加入网络 --network monitor-net8. 常见问题排查8.1 Prometheus无法采集数据检查步骤确认targets状态是否为UP检查防火墙规则验证exporter是否正常运行查看Prometheus日志docker logs prometheus8.2 Grafana无法连接数据源排查方法测试数据源连接检查网络连通性确认Prometheus服务地址正确查看Grafana日志docker logs grafana8.3 容器资源占用过高优化建议限制容器资源--memory2g --cpus1调整Prometheus存储参数优化Grafana仪表盘查询9. 性能调优技巧9.1 Prometheus存储优化调整抓取间隔global: scrape_interval: 30s启用数据压缩--storage.tsdb.wal-compression9.2 Grafana性能优化设置仪表盘自动刷新间隔优化查询语句避免全量扫描使用模板变量减少重复面板10. 扩展监控能力10.1 添加黑盒监控使用blackbox_exporter监控HTTP/HTTPS/TCP等服务- job_name: blackbox metrics_path: /probe params: module: [http_2xx] static_configs: - targets: - https://example.com relabel_configs: - source_labels: [__address__] target_label: __param_target - source_labels: [__param_target] target_label: instance - target_label: __address__ replacement: blackbox:911510.2 集成Alertmanager配置告警通知alerting: alertmanagers: - static_configs: - targets: - alertmanager:9093创建alertmanager.yml配置route: receiver: email-notifications receivers: - name: email-notifications email_configs: - to: adminexample.com from: alertmanagerexample.com smarthost: smtp.example.com:587 auth_username: user auth_password: password