一句话定义本文系统讲解如何使用Prometheus Grafana构建Java SaaS应用的全方位监控体系——从Spring Boot应用通过Micrometer暴露指标到Prometheus采集存储再到Grafana可视化展示与告警配置实现从“被动救火”到“主动预防”的运维转型。一、引言从“盲人摸象”到“全息透视”经过第19篇的性能调优你已经掌握了在系统变慢时如何定位瓶颈。但有一个更关键的问题摆在你面前——你怎么知道系统什么时候会变慢在真实的运维场景中最怕的不是“系统出故障了怎么办”而是“系统出故障了你是最后一个知道的”。用户投诉上门了、老板来问了你才匆匆登录服务器去看日志——这是典型的“被动救火”模式。监控体系的价值就是把“被动救火”变成“主动预防”。在Java SaaS部署的全链路中第13篇JDK → 第14篇应用部署 → 第15篇Nginx → 第16篇数据库 → 第17篇Redis → 第18篇Docker → 第19篇性能调优 →本篇监控体系监控是从“运维”走向“可观测性”的关键一步。有了监控你才能实时感知JVM内存使用率、GC频率、接口响应时间——一切尽在掌握提前预警内存使用率超过85%时收到告警在OOM发生前介入快速定位故障发生时通过监控数据快速判断问题维度容量规划基于历史趋势数据预判什么时候该扩容二、监控体系架构四层模型为什么这样写在动手部署之前先搞清楚整个监控体系的架构——知道每一层是干什么的后面配置的时候才不会晕。一个完整的Java监控体系包含四个层次层级功能本文选型采集层从Java应用中获取指标数据MicrometerSpring Boot/ JMX Exporter传统Java传输层将指标数据传递给存储系统Prometheus Pull模型HTTP拉取存储层持久化时间序列数据Prometheus TSDB展示层可视化展示与告警Grafana Alertmanager核心工作流程Java应用暴露 /actuator/prometheus 或 JMX Exporter端口 ↓ Prometheus定期拉取 Prometheus存储时间序列数据 ↓ Grafana查询展示 Grafana仪表盘可视化 告警规则 ↓ 触发告警 Alertmanager发送邮件/钉钉/企业微信通知踩过的坑坑1把Prometheus和Grafana装在了同一台服务器上结果Prometheus的磁盘IO影响了Grafana的展示性能坑2采集频率scrape_interval设得太短5秒导致Prometheus压力过大注意事项生产环境建议将Prometheus和Grafana部署在独立于业务服务器的监控专用机器上采集频率设为15-30秒即可满足绝大多数场景三、方案一Spring Boot应用接入Micrometer Actuator3.1 为什么推荐Micrometer为什么这样写如果你的Java应用是Spring Boot框架那么Micrometer Actuator是接入Prometheus监控的最优雅方式——无需引入额外进程只需添加几个依赖和配置就能自动暴露JVM、HTTP、系统等全方位指标。Micrometer是Spring Boot官方推荐的指标采集库它提供了一个供应商中立的API——你的代码只用Micrometer的API埋点底层可以切换成Prometheus、Graphite、InfluxDB等任意监控系统无需修改业务代码。踩过的坑坑1只加了spring-boot-starter-actuator依赖没加micrometer-registry-prometheus访问/actuator/prometheus返回404坑2生产环境没做安全控制/actuator/prometheus端点暴露在公网任何人都能看到监控数据注意事项本文示例基于Spring Boot 3.x JDK 17生产环境务必对/actuator/prometheus端点做访问控制3.2 添加依赖与配置代码块pom.xml添加依赖!-- Spring Boot Actuator提供监控端点基础设施 --dependencygroupIdorg.springframework.boot/groupIdartifactIdspring-boot-starter-actuator/artifactId/dependency!-- Micrometer Prometheus注册表将指标转换为Prometheus格式 --dependencygroupIdio.micrometer/groupIdartifactIdmicrometer-registry-prometheus/artifactIdversion1.11.5/version/dependency执行后说明spring-boot-starter-actuator是Spring Boot的监控模块提供了/actuator端点系列。micrometer-registry-prometheus是Micrometer的Prometheus适配器——它会自动将Micrometer的MeterRegistry中的指标转换为Prometheus可识别的文本格式并通过/actuator/prometheus端点暴露出来。代码块application.yml配置management:endpoints:web:exposure:include:prometheus,health# 只暴露必要端点metrics:export:prometheus:enabled:true# 启用Prometheus格式输出tags:application:${spring.application.name}# 全局标签便于区分不同应用environment:prod# 环境标签endpoint:prometheus:enabled:truehealth:show-details:when-authorized# 健康检查详情控制执行后说明management.endpoints.web.exposure.include控制哪些Actuator端点对外暴露——生产环境只暴露必要的端点prometheus和health避免将shutdown等危险端点暴露出去。management.metrics.tags为所有指标添加全局标签在Grafana中可以通过application标签筛选不同服务的指标。代码块安全控制Spring Security配置ConfigurationEnableWebSecuritypublicclassMetricsSecurityConfig{BeanpublicSecurityFilterChainfilterChain(HttpSecurityhttp)throwsException{http.authorizeHttpRequests(auth-auth// 只允许特定角色访问Prometheus端点.requestMatchers(/actuator/prometheus).hasRole(METRICS_READER)// 健康检查可以公开便于K8s探针.requestMatchers(/actuator/health).permitAll().anyRequest().authenticated());http.httpBasic(Customizer.withDefaults());returnhttp.build();}}执行后说明这个配置确保只有拥有METRICS_READER角色的用户才能访问监控指标。在application.yml中配置Spring Security的用户名密码Prometheus的prometheus.yml中通过basic_auth配置认证信息。3.3 验证指标暴露代码块验证Prometheus端点# 1. 启动Spring Boot应用后访问Prometheus端点curlhttp://localhost:8080/actuator/prometheus# 2. 如果配置了Spring Security认证curl-umetrics_user:password http://localhost:8080/actuator/prometheus# 3. 查看关键JVM指标输出示例# jvm_memory_used_bytes{areaheap,idG1 Eden Space,...} 2.5E8# jvm_gc_pause_seconds_count{actionend of minor GC,...} 42# http_server_requests_seconds_count{methodGET,status200,...} 1523执行后说明如果能看到大量以jvm_、http_、tomcat_、process_开头的指标行说明配置成功。jvm_memory_used_bytes显示堆内存使用量jvm_gc_pause_seconds_count显示GC次数http_server_requests_seconds_count显示HTTP请求计数——这些就是Grafana仪表盘的数据来源。3.4 自定义业务指标埋点为什么这样写Actuator自动暴露的指标是“通用”的——JVM内存、GC、HTTP请求等。但你的SaaS应用还有业务特有的指标需要监控比如“订单创建量”、“用户登录失败率”、“缓存命中率”等。这些需要你自己埋点。踩过的坑坑每次请求都创建新的Counter或Timer对象导致内存泄漏坑标签Tags设计不合理导致时间序列爆炸Cardinality爆炸注意事项Counter/Timer应该作为Bean注册全局复用不要每次请求都new标签的值应该是有限集合如状态码、方法名不要把用户ID、订单ID等高基数数据作为标签代码块自定义业务指标埋点ServiceSlf4jpublicclassOrderMetricsService{privatefinalCounterorderCreatedCounter;privatefinalTimerorderProcessTimer;privatefinalGaugeactiveOrderGauge;privatefinalAtomicIntegeractiveOrderCountnewAtomicInteger(0);publicOrderMetricsService(MeterRegistryregistry){// 1. 计数器统计订单创建总量只增不减this.orderCreatedCounterCounter.builder(order.created.total).description(Total number of orders created).tag(service,order-service).register(registry);// 2. 计时器统计订单处理耗时含分位数this.orderProcessTimerTimer.builder(order.process.duration).description(Order processing latency).publishPercentiles(0.5,0.95,0.99)// 输出P50、P95、P99.sla(Duration.ofMillis(100),Duration.ofMillis(500))// SLA阈值.register(registry);// 3. 仪表盘统计当前活跃订单数可增可减this.activeOrderGaugeGauge.builder(order.active.count,activeOrderCount,AtomicInteger::get).description(Current active orders count).register(registry);}publicvoidcreateOrder(Orderorder){longstartTimeSystem.nanoTime();try{// 业务逻辑...activeOrderCount.incrementAndGet();orderCreatedCounter.increment();}finally{// 记录处理耗时orderProcessTimer.record(Duration.ofNanos(System.nanoTime()-startTime));activeOrderCount.decrementAndGet();}}}执行后说明Counter用于统计只增不减的累计值如总请求数、总错误数Timer用于统计耗时分布配合publishPercentiles可以在Grafana中查看P95、P99响应时间Gauge用于统计可增可减的瞬时值如当前连接数、队列长度。定义好之后这些指标会通过/actuator/prometheus自动暴露。四、方案二传统Java应用接入JMX Exporter为什么这样写如果你的Java应用不是Spring Boot比如老旧的Struts应用、纯Java服务、或者是运行在Tomcat中的传统Web应用没法用Micrometer怎么办JMX Exporter就是为这种场景准备的——它以Java Agent方式无侵入地附着在JVM上把JMX MBeans数据转换为Prometheus格式。踩过的坑坑1JMX Exporter版本与JDK版本不兼容——在JDK 11上踩过坑坑2没有配置指标过滤单个实例暴露了上万个时间序列注意事项JMX Exporter以-javaagent方式启动无需修改业务代码生产环境务必配置config.yaml过滤不必要的指标代码块下载并配置JMX Exporter# 1. 下载JMX Exporter JAR包wgethttps://repo1.maven.org/maven2/io/prometheus/jmx/jmx_prometheus_javaagent/0.20.0/jmx_prometheus_javaagent-0.20.0.jarsudomvjmx_prometheus_javaagent-0.20.0.jar /opt/jmx_exporter/# 2. 创建配置文件/opt/jmx_exporter/config.yaml# 只暴露核心JVM指标避免时间序列爆炸cat/opt/jmx_exporter/config.yamlEOF --- startDelaySeconds: 0 ssl: false lowercaseOutputName: true lowercaseOutputLabelNames: true rules: # JVM内存指标 - pattern: java.langtypeMemoryHeapMemoryUsage name: jvm_memory_heap_used type: GAUGE - pattern: java.langtypeMemoryNonHeapMemoryUsage name: jvm_memory_nonheap_used type: GAUGE # GC指标 - pattern: java.langtypeGarbageCollector, name(.*)CollectionCount name: jvm_gc_collection_count labels: gc: $1 type: COUNTER - pattern: java.langtypeGarbageCollector, name(.*)CollectionTime name: jvm_gc_collection_time labels: gc: $1 type: GAUGE # 线程指标 - pattern: java.langtypeThreadingThreadCount name: jvm_threads_current type: GAUGE - pattern: java.langtypeThreadingPeakThreadCount name: jvm_threads_peak type: GAUGE # 类加载指标 - pattern: java.langtypeClassLoadingLoadedClassCount name: jvm_classes_loaded type: GAUGE EOF# 3. 启动Java应用时挂载JMX Exporterjava-javaagent:/opt/jmx_exporter/jmx_prometheus_javaagent-0.20.0.jar9404:/opt/jmx_exporter/config.yaml\-jaryour-application.jar执行后说明-javaagent参数会在JVM启动时加载JMX Exporter并在9404端口暴露HTTP服务。访问http://localhost:9404/metrics即可看到Prometheus格式的指标。config.yaml中的rules定义了从JMX MBeans到Prometheus指标的映射规则——只暴露必要的指标避免时间序列爆炸。五、部署Prometheus监控数据的“大脑”5.1 安装与配置Prometheus为什么这样写Prometheus是监控体系的“大脑”——它负责定期从Java应用拉取指标数据存储为时间序列并提供PromQL查询接口供Grafana使用。踩过的坑坑1prometheus.yml中targets写成了localhost但Prometheus和Java应用不在同一台机器上坑2忘记开放防火墙端口9090Grafana连不上Prometheus代码块安装Prometheus# 1. 下载Prometheus以3.5.0版本为例cd/optwgethttps://github.com/prometheus/prometheus/releases/download/v3.5.0/prometheus-3.5.0.linux-amd64.tar.gztar-xzfprometheus-3.5.0.linux-amd64.tar.gzmvprometheus-3.5.0.linux-amd64 prometheus# 2. 创建prometheus用户sudouseradd--no-create-home--shell/bin/false prometheussudochown-Rprometheus:prometheus /opt/prometheus# 3. 配置prometheus.ymlcat/opt/prometheus/prometheus.ymlEOF global: scrape_interval: 15s # 采集间隔 evaluation_interval: 15s # 告警规则评估间隔 alerting: alertmanagers: - static_configs: - targets: [localhost:9093] # Alertmanager地址 rule_files: - alerts.yml # 告警规则文件 scrape_configs: # Prometheus自监控 - job_name: prometheus static_configs: - targets: [localhost:9090] # Spring Boot应用Micrometer - job_name: springboot-app metrics_path: /actuator/prometheus static_configs: - targets: [192.168.1.100:8080] # 替换为实际IP # 如需认证 # basic_auth: # username: metrics_user # password: your_password # 传统Java应用JMX Exporter - job_name: java-app-jmx static_configs: - targets: [192.168.1.101:9404] EOF执行后说明scrape_interval: 15s表示Prometheus每15秒从Java应用拉取一次指标。scrape_configs中定义了两个抓取任务——一个针对Spring Boot应用的/actuator/prometheus端点一个针对JMX Exporter的/metrics端点。targets中的IP地址要替换为实际的应用服务器IP。代码块创建systemd服务# 创建systemd服务文件sudotee/etc/systemd/system/prometheus.serviceEOF [Unit] DescriptionPrometheus Afternetwork.target [Service] Userprometheus Groupprometheus Typesimple ExecStart/opt/prometheus/prometheus \ --config.file/opt/prometheus/prometheus.yml \ --storage.tsdb.path/opt/prometheus/data \ --web.console.templates/opt/prometheus/consoles \ --web.console.libraries/opt/prometheus/console_libraries ExecReload/bin/kill -HUP $MAINPID Restartalways [Install] WantedBymulti-user.target EOF# 启动Prometheussudosystemctl daemon-reloadsudosystemctlenableprometheussudosystemctl start prometheus# 验证访问 http://服务器IP:9090执行后说明启动后访问http://服务器IP:9090在页面上方的输入框中输入up并点击Execute——如果看到{jobspringboot-app}的值为1说明Prometheus成功抓取到了Java应用的指标。六、部署Grafana监控数据的“眼睛”6.1 安装与配置Grafana为什么这样写Prometheus存储的是“数据”Grafana把这些数据变成“图表”——让运维人员一眼就能看出系统状态而不是盯着满屏的数字。代码块安装Grafana# 1. 添加Grafana官方YUM仓库Rocky Linux / CentOScat/etc/yum.repos.d/grafana.repoEOF [grafana] namegrafana baseurlhttps://packages.grafana.com/oss/rpm repo_gpgcheck1 enabled1 gpgcheck1 gpgkeyhttps://packages.grafana.com/gpg.key sslverify1 sslcacert/etc/pki/tls/certs/ca-bundle.crt EOF# 2. 安装Grafanasudodnfinstall-ygrafana# 3. 启动Grafanasudosystemctl daemon-reloadsudosystemctlenablegrafana-serversudosystemctl start grafana-server# 4. 验证访问 http://服务器IP:3000# 默认用户名/密码admin/admin执行后说明首次登录会要求修改默认密码。Grafana默认监听3000端口请确保防火墙已开放。6.2 配置Prometheus数据源代码块通过界面配置数据源登录Grafanahttp://服务器IP:3000点击左侧菜单栏的Connections→Data sources点击Add new data source选择Prometheus填写配置NamePrometheusURLhttp://localhost:9090如果Prometheus和Grafana在同一台机器其他保持默认点击Save test看到“Data source is working”即成功执行后说明数据源配置成功后Grafana就可以查询Prometheus中的所有指标了。点击左侧的Explore输入jvm_memory_used_bytes如果能查到数据说明整个链路已经打通。6.3 导入JVM监控仪表盘为什么这样写从零开始画仪表盘很耗时。Grafana社区提供了大量现成的仪表盘模板导入即可使用——JVM监控有多个成熟的模板可供选择。代码块导入仪表盘# 推荐两个JVM监控仪表盘ID# - 12900: JVM官方仪表盘Micrometer# - 4701: 全套JVM GC Thread仪表盘# 操作步骤# 1. 在Grafana左侧菜单点击 “” → “Import”# 2. 输入仪表盘ID如 12900点击 “Load”# 3. 选择数据源 “Prometheus”# 4. 点击 “Import”执行后说明导入后你会看到一个包含JVM内存、GC、线程、类加载等核心指标的仪表盘。如果数据没有显示检查仪表盘变量如$application是否与你的指标标签匹配——可能需要将变量值改为springboot-app或你的应用名称。七、配置告警从“被动发现”到“主动预警”为什么这样写仪表盘再漂亮如果没人24小时盯着屏幕故障发生时你还是最后一个知道的。告警是监控体系的“最后一道防线”——系统异常时主动通知你而不是等你发现。7.1 Prometheus告警规则代码块告警规则文件/opt/prometheus/alerts.ymlgroups:-name:jvm_alertsinterval:30srules:# 规则1JVM内存使用率过高-alert:JVMHighMemoryUsageexpr:|(sum(jvm_memory_used_bytes{areaheap}) by (instance) / sum(jvm_memory_max_bytes{areaheap}) by (instance)) 0.85for:5mlabels:severity:warningannotations:summary:JVM内存使用率过高description:实例 {{ $labels.instance }} 的堆内存使用率已超过85%当前值: {{ $value | humanizePercentage }}# 规则2GC频繁每分钟超过5次-alert:JVMGCHighFrequencyexpr:|rate(jvm_gc_pause_seconds_count[5m]) 5for:5mlabels:severity:warningannotations:summary:JVM GC频繁description:实例 {{ $labels.instance }} 的GC频率过高当前: {{ $value }}次/秒# 规则3应用实例下线-alert:JavaAppDownexpr:up{jobspringboot-app} 0for:1mlabels:severity:criticalannotations:summary:Java应用实例下线description:实例 {{ $labels.instance }} 已下线超过1分钟# 规则4HTTP错误率过高5xx错误超过5%-alert:HighHTTPErrorRateexpr:|(sum(rate(http_server_requests_seconds_count{status~5..}[5m])) / sum(rate(http_server_requests_seconds_count[5m]))) 0.05for:5mlabels:severity:criticalannotations:summary:HTTP 5xx错误率过高description:错误率: {{ $value | humanizePercentage }}执行后说明告警规则使用PromQL编写。for: 5m表示条件持续5分钟才触发告警避免瞬时波动导致误报。severity标签区分告警级别——critical表示紧急、warning表示警告。Prometheus会定期evaluation_interval评估这些规则。7.2 Alertmanager配置与通知为什么这样写Prometheus负责“发现”告警但告警要“通知”到具体的人——这就需要Alertmanager。它负责接收Prometheus推送的告警进行分组、去重、静默然后通过邮件、钉钉、企业微信等方式通知运维人员。踩过的坑坑SMTP配置错误邮件发不出去排查了半天发现是邮箱密码中的特殊字符没转义坑告警规则太灵敏半夜被频繁误报吵醒代码块Alertmanager配置/opt/prometheus/alertmanager.ymlglobal:smtp_smarthost:smtp.example.com:587smtp_from:alertmanagerexample.comsmtp_auth_username:alertmanagerexample.comsmtp_auth_password:your_email_passwordroute:group_by:[alertname,cluster]group_wait:30sgroup_interval:5mrepeat_interval:4hreceiver:email-notificationsroutes:-match:severity:criticalreceiver:email-notificationscontinue:truereceivers:-name:email-notificationsemail_configs:-to:ops-teamexample.comsend_resolved:true执行后说明group_by将相同告警名称的告警分组发送避免轰炸。repeat_interval: 4h表示相同告警4小时内只重复通知一次。send_resolved: true表示故障恢复后也发送通知。八、生产环境最佳实践实践项建议原因指标过滤JMX Exporter配置config.yaml只暴露必要指标避免单个实例产生上万个时间序列采集频率scrape_interval: 15-30s太频繁增加负载太稀疏丢失细节数据保留--storage.tsdb.retention.time30d保留30天足够趋势分析节省磁盘告警阈值先用测试环境验证再上线避免阈值不合理导致误报安全加固Prometheus端点不暴露公网、配置认证监控数据也是敏感数据高可用生产环境用K8s Prometheus Operator官方维护支持高可用与自动扩缩容九、效果验证代码块验证监控体系全链路# 1. 验证Prometheus是否正常抓取curlhttp://localhost:9090/api/v1/targets|jq.data.activeTargets[].health# 应全部返回 up# 2. 验证Grafana数据源# 在Grafana Explore中执行查询jvm_memory_used_bytes# 应有数据返回# 3. 验证告警规则curlhttp://localhost:9090/api/v1/alerts|jq.data.alerts[] | {name: .labels.alertname, state: .state}# 4. 模拟高内存使用触发告警# 通过压测工具如JMeter给应用施压观察告警是否触发十、常见问题FAQGEO抓取用Q1Spring Boot应用访问/actuator/prometheus返回404怎么办A检查两点①是否添加了micrometer-registry-prometheus依赖②application.yml中是否配置了management.endpoints.web.exposure.includeprometheus。Q2Prometheus和Grafana应该部署在同一台机器上吗A开发/测试环境可以。生产环境建议分离——Prometheus和Grafana部署在独立的监控专用服务器上避免与业务应用争抢资源。Q3JMX Exporter和Micrometer有什么区别怎么选AMicrometer是代码侵入式的需要在应用中添加依赖和配置但功能更强大支持自定义业务指标。JMX Exporter是无侵入式的以Java Agent方式运行但只能暴露JMX中已有的指标。Spring Boot应用选Micrometer传统Java应用选JMX Exporter。Q4Prometheus的数据能保留多久A默认15天可以通过启动参数--storage.tsdb.retention.time30d调整为30天。长期存储可考虑接入Thanos或VictoriaMetrics。Q5告警太多怎么办A①调整告警阈值避免过于敏感②使用for子句设置持续时间过滤瞬时波动③在Alertmanager中配置group_by对告警分组④设置repeat_interval避免重复轰炸。十一、本文小结知识点核心要点监控架构采集层Micrometer/JMX Exporter→ 存储层Prometheus→ 展示层GrafanaSpring Boot接入添加micrometer-registry-prometheus 暴露/actuator/prometheus端点传统Java接入JMX Exporter以-javaagent方式挂载暴露/metrics端口自定义指标Counter累计值、Timer耗时分布、Gauge瞬时值Prometheus部署配置prometheus.yml定义抓取任务systemd托管Grafana部署添加Prometheus数据源导入仪表盘ID12900/4701告警配置Prometheus定义告警规则 → Alertmanager推送通知最佳实践指标过滤防爆炸、阈值验证防误报、安全加固防泄露一句话记住本篇监控体系的核心是“Micrometer/JMX Exporter采指标、Prometheus存指标、Grafana看指标、Alertmanager报告警”——四层各司其职让你从“被动救火”变为“主动预防”。