作者黄鹏程马格阿里云实时计算Flink版产品负责人简介作为全球领先的实时计算技术团队阿里云 Flink 团队致力于为企业提供高性能、高可靠、易用的实时数据处理解决方案助力企业实现数据驱动的业务创新与价值创造。本篇内容将全面解读阿里云实时计算 Flink 版的产品架构、核心能力和技术优势后续将为大家继续介绍 Flink 的场景与案例。01Apache Flink介绍1、Apache Flink发展历程开源前身Apache Flink 的起源可追溯至2010年由德国研究中心联合柏林工业大学、柏林洪堡大学和波兹坦大学共同发起的研究项目Stratosphere平流层。平流层在大气科学中位于对流层上方和中间层下方其下界在中纬度地区距地表约10公里极地地区约8公里上界约在离地50公里高度。平流层温度呈上热下冷分布随高度增加温度起初保持稳定随后迅速上升。该层大气以水平方向流动为主垂直运动较弱气流平稳几乎没有上下对流。这一命名寓意Flink系统如平流层般稳定、高效且有序的数据处理能力为后续发展奠定了坚实基础也体现了其追求高效、稳定数据处理的核心设计理念。Apache Flink 发展历程顶级 Apache 项目Apache Flink 是一个分布式处理框架和计算引擎专为在无边界和有边界数据流上进行有状态计算而设计。2014年Flink 项目贡献给 Apache 软件基金会随后迅速成长为顶级 Apache 项目。作为流批统一的计算引擎Flink 允许用户仅编写一套代码即可在流处理模式或批处理模式下运行。其核心架构基于纯流式处理理念每接收一条数据即执行一次计算支持对不间断数据流的持续处理。批计算在 Flink 架构中被视为流计算的特例因为有界数据可视为无界数据的特殊形式。这种架构设计优雅而高效尽管工程实现难度较大。Flink 的核心优势在于流处理场景具备高吞吐、低延迟、批流一体、精密状态管理、精确一次状态一致性保障等特性可部署在 YARN、Kubernetes 等资源管理框架上广泛应用于要求严苛的实时处理场景。2、阿里云推动 Flink 技术进步与繁荣阿里云在 Flink 技术发展史上扮演着至关重要的角色。2016年阿里集团在最核心业务场景双11实时推荐中首次大规模应用 Flink显著提升 GMV2017年Flink在阿里集团内部全面普及成为集团实时数据业务的核心基础设施2018年阿里云将Flink大会Flink Forward引入中国和亚洲推动技术本土化2019年阿里云收购 Flink 创始公司 Ververica成为 Flink 社区最大推动者全球顶尖 Flink 团队会师并开始将内部研发的 Blink 代码贡献回开源社区2020年阿里云正式推出实时计算 Flink 产品同时全球主流IT公司和云厂商全面采用 Flink确立其实时计算领域事实标准地位2021年至今阿里云持续推动 Flink 技术进步打造完全国产自主可控产品成为中国唯一进入 Forrester 象限的实时流计算产品唯一全面通过中国信通院基础能力、性能、稳定性三款评测的分布式流处理平台。阿里云 Flink 团队拥有100核心能力、10Flink 生态项目、30Flink Committers 及 20Flink PMC Members实现了从加入社区、融合社区到主导社区的战略历程。阿里云 Flink 在集团内部的规模化应用在阿里巴巴集团内部Flink 已成为支撑业务全链路实时化的关键基础设施。目前阿里集团生产环境运行超过3万个 Flink 作业峰值处理能力达69亿记录/秒计算资源规模超过200万Core。Flink 广泛应用于多种业务场景在数据中台领域支撑流批一体数仓建设在 AI 中台支持在线机器学习和实时特征计算在安全领域提供实时风控能力在运维领域实现系统实时监控在搜索推荐领域构建实时索引系统。阿里云 Ververica 产品已登陆 AWS开启多云产品新时代推出 Apache Paimon 湖格式增强数据湖能力正式发布 Apache Fluss 流存储完善实时计算生态。这些大规模内部实践不断打磨产品为云上用户提供经过验证的企业级能力。阿里云通过开源社区回馈将内部实践成果贡献给全球开发者推动 Flink 生态繁荣发展同时保持产品与开源社区100%兼容支持用户平滑迁移。02阿里云实时计算Flink版介绍1、阿里云实时计算 Flink 版产品概览阿里云实时计算 Flink 版Alibaba Cloud Realtime Compute For Apache FlinkPowered By Ververica是阿里云提供的基于 Apache Flink 构建的企业级、高性能实时大数据处理系统由 Apache Flink 创始团队官方出品。作为全球最大、拥有 Committer 数量最多、专业性最强的 Flink 团队阿里云实时计算团队为用户提供企业级管理和咨询服务。产品采用一站式实时任务开发运维平台提供从任务开发、调试、部署、管理到诊断调优的全流程服务。在商业模式上支持包年包月、按量付费及混合计费等多种灵活方式。技术架构采用 Serverless 设计无需预置资源按需弹性扩缩容降低资源使用成本达 30% 以上支持秒级弹性增减作业资源保障业务连续性提供作业级别的资源隔离确保业务稳定性。产品内核 100% 兼容 Apache Flink支持用户平滑迁移在 Nexmark 流计算标准测试中性能达到开源 Flink 的 3-4 倍提供企业级增强功能如入湖入仓、实时数仓、数据湖、CEP 动态规则配置等提供全面可观测性和高稳定性保障包括丰富作业监控指标、日志洞察、智能调优与诊断、全局高可用、故障自动恢复以及产品级同城灾备能力服务可用性保障达 99.9%。阿里云实时计算 Flink 版产品功能整体架构阿里云实时计算 Flink 版整体架构分为流计算和流存储两大核心组件。流计算层面包含企业级引擎 Flash支持数据大屏、数据清洗、数据探查、数据科学等应用场景提供 Flink CDC 数据摄入和 Flink 数据实时读写能力。数据存储层融合 ODS、DWD、DWS 等数据分层采用 Apache Paimon 湖格式支持 Hologres、AnalyticDB 等实时数仓。流存储层面基于 Fluss 构建提供湖流一体能力支持流读、批读、流写、批写通过 LSM 提供数据更新能力优化查询性能。控制台层面提供作业开发、监控告警、集群管理、数据治理、调试部署、诊断调优等全生命周期管理功能。平台集成 OpenAPI支持与 SLS、AnalyticDB、Hologres、Apache Paimon、Tair/Redis 等阿里云产品无缝对接。在部署形态上支持公共云全托管、专有云企业版在付费模式上支持包年包月、按量付费、混合计费海外支持软件化输出及订阅模式。产品架构设计充分考虑企业级需求在性能、稳定性、易用性、安全性等方面提供全方位保障助力用户快速构建实时数据应用。Flink 实时流计算阿里云实时计算 Flink 版作为企业级实时流计算平台提供核心引擎能力与平台功能。企业级引擎方面产品提供细粒度资源分配、企业级 SQL 算子优化、动态复杂事件处理 (CEP)、企业级数据摄入、自研向量化引擎与存储、状态参数与资源动态调整等能力完全兼容开源 Apache Flink 内核支持用户无感迁移避免厂商锁定。平台功能方面产品提供实时作业开发与运行平台、作业资源自动调优、作业全生命周期管理、智能运维诊断、OpenAPI 集成能力、Serverless 资源管理、全链路监控报警等服务。交付形态覆盖公共云全托管、海外软件化输出、海外多云软件与服务订阅、专有云企业版等多种形式付费模式支持包年包月、按量付费、混合计费等灵活选择满足不同客户需求。产品与阿里云生态深度融合支持 OSS、SLS、MaxCompute、Apache Paimon 等数据源以及 Tair/Redis、RDS MySQL、OceanBase、Kafka 等数据目标构建完整的实时数据处理链路。基于 Ververica 技术产品确保关键 Bug 修复提前进入 Flink 未来版本为用户提供稳定可靠的实时计算服务。Fluss 实时流存储Fluss 是阿里云推出的开箱即用、面向实时流分析的湖流一体存储提供流读、流写、实时更新、维表 Join、数据湖分析等能力。Fluss 架构包含服务器集群、远程存储 (S3/OSS/HDFS)、湖存储 (Paimon/Iceberg/Lance) 和 Tiering Service 等组件。控制台提供集群管理、指标告警、数据管理、审计日志、身份认证、数据容灾等功能。Fluss 采用全新的 Native 架构支持列式存储具备列裁剪、查询下推等优化特性实现高吞吐、低延时的数据处理。产品支持数据更新和 Binlog 订阅实现秒级端到端数据可见性满足严格实时性要求。Fluss 提供独特的 Delta Join 能力避免大状态导致的 Flink 作业高成本和稳定性问题100TB 大状态作业场景下计算资源降低 86%Checkpoint 耗时从 90s 降至 1s。Fluss 内置湖流通道服务通过文件到文件转换高效入湖元数据变化自动同步简化数据链路降低开发运维成本实现真正的湖流一体架构。双引擎加持企业级 Flink 引擎 VVR 向量化引擎 Flash阿里云实时计算 Flink 版提供双引擎架构企业级 Flink 引擎 VVR 和向量化引擎 Flash。VVR 引擎 100% 兼容 Apache Flink支持用户无感知迁移避免厂商锁定Flash 引擎采用全新 C Native 执行架构实现指令、数据全面向量化处理全新内存管理避免 JVM 瓶颈配备向量化的状态 DB ForSt-Mini 和批量异步 IO 优化的状态 DB ForSt-Pro。两引擎均经过全链路优化包括上下游生态适配和作业 Workload 动态自适应。Flash 引擎在性能上显著超越传统实现具备卓越的计算效率和资源利用率。双引擎架构为用户提供灵活选择满足不同业务场景对性能、兼容性和特性的需求同时保障平滑迁移路径保护用户既有投资。这种架构设计体现了阿里云对实时计算技术的深度理解和创新实践为用户提供业界领先的计算能力。2、成本与性能优势分析Flash Engine 流式处理性能评估在 Nexmark 标准流计算性能评测中Flash 引擎展现出卓越性能优势。测试结果显示Flash 1CU 的处理能力相当于 Apache Flink 4CU相当于 VVR 2CU。在详细指标对比中Flash 在多个查询场景下均显著优于 VVR 和开源 Flink。例如在 Q4 查询中Flash 处理速率达 436.57 Records/S而 VVR 和 Flink 仅为 157.3 Records/S在 Q9 查询中Flash 达 1127.13 Records/SVVR 和 Flink 为 291.6 Records/S在 Q15 查询中Flash 为 167.9 Records/SVVR 和 Flink 为 48.3 Records/S。整体而言Flash 在 22 个查询场景中均表现出 3-4 倍于开源 Flink 的性能优势。这些性能提升源于 Flash 引擎的向量化执行、内存优化、状态管理改进和全链路协同优化为用户提供更高性价比的实时计算服务显著降低 TCO(总体拥有成本)。Flash Engine 批处理性能评估TPC-DS 测试在 TPC-DS 10TB 标准批处理性能评测中Flash 1.0 展现出卓越性能优势。测试基于 Apache Paimon 数据源结果显示 Flash 1.0 处理时间仅为 1780 秒而 Flink 1.19 为 5812 秒性能提升 3.2 倍。详细指标对比显示在 99 个查询场景中Flash 在绝大多数查询上性能显著优于 Flink 1.19。例如在 Q30 查询中Flash 执行时间为 1.31 秒Flink 为 5.24 秒在 Q36 查询中Flash 为 1.92 秒Flink 为 5.01 秒在 Q40 查询中Flash 为 1.49 秒Flink 为 3.91 秒。性能优势在数据密集型查询中尤为显著如 Q9 查询 Flash 为 3.92 秒Flink 为 13.69 秒Q15 查询 Flash 为 4.87 秒Flink 为 11.65 秒。这些性能提升源于 Flash 引擎的向量化执行引擎、列式处理优化、内存管理改进和状态存储优化为批处理工作负载提供高效、经济的解决方案显著加速数据分析流程。Flash Engine批处理性能评估(Spark对比)在 TPC-DS 10TB 标准批处理性能评测中Flash 1.0 不仅超越 Flink也显著优于行业标杆 Spark。测试基于 Apache Paimon 数据源结果显示 Flash 1.0 处理时间仅为 1780 秒而 Spark 3.4 为 5582 秒性能提升 3.1 倍。详细指标对比显示在 99 个查询场景中Flash 在大多数查询上性能显著优于 Spark 3.4。例如在 Q64 查询中Flash 执行时间为 1.00 秒Spark 为 4.09 秒在 Q52 查询中Flash 为 0.65 秒Spark 为 4.26 秒在 Q98 查询中Flash 为 1.90 秒Spark 为 6.26 秒。性能优势在复杂查询中尤为明显如 Q15 查询 Flash 为 4.87 秒Spark 为 13.69 秒Q89 查询 Flash 为 1.70 秒Spark 为 4.15 秒。这些性能提升源于 Flash 引擎专为分析场景优化的执行计划、向量化处理能力、内存管理和 I/O 优化为用户提供超越传统批处理引擎的性能体验同时保持与实时处理统一的技术栈简化数据架构。SQL 引擎优化阿里云实时计算 Flink 版在 SQL 引擎层面进行深度优化显著提升查询性能和资源效率。优化重点包括算子优化、双流 Join 优化、维表 Join 优化和级联 Join 优化。算子优化针对特定计算场景重构执行逻辑减少中间数据交换和内存占用双流 Join 优化改进状态管理和数据匹配算法降低大状态场景下的资源消耗维表 Join 优化引入缓存策略和异步查询机制提升与外部数据源交互效率级联 Join 优化重构执行计划避免中间结果膨胀。这些优化共同构建了强劲的 SQL 处理能力配合 GeminiStateBackend 状态存储引擎实现高效稳定的状态管理。优化后的 SQL 引擎在复杂查询场景下表现尤为突出能够处理高并发、大数据量的工作负载为实时分析、即席查询等场景提供强大支持显著降低查询延迟提高资源利用率为用户提供卓越的分析体验。企业级状态后端存储引擎性能提升阿里云实时计算 Flink 版提供 GeminiStateBackend一款专为流计算场景设计的 KV 存储引擎作为产品的默认状态存储后端 (StateBackend)已在阿里巴巴集团和阿里云客户生产环境中大规模应用。GeminiStateBackend 的核心设计亮点包括1全新架构和数据结构设计基于 LSM 数据结构支持随数据规模和访问特点变化而自适应、数据冷热分层可在 Anti-Caching 和 Caching 架构间灵活切换2支持随机查询友好的哈希存储结构Nexmark 性能测试显示相比 RocksDBStateBackend 有显著提升3本地和远端统一的文件管理将本地盘作为主存DFS 作为下一级存储在 DFS 数据量不大的情况下性能可接受4支持存储计算分离彻底摆脱状态数据的本地盘存储限制状态存储不依赖本地盘避免因本地状态数据过大引发作业故障5支持 KV 分离大幅提升双流或多流 Join 作业效能经阿里巴巴双十一核心业务验证开启 KV 分离后计算资源利用率平均提升 50%典型场景下可提升 200%6自适应参数调优告别手动调参烦恼系统根据当前数据访问模式和流量自动调参达到各种场景下最佳性能避免 95% 以上人工调参同时提升 40% 单核吞吐能力7在扩缩容方面实现文件粒度合并剪裁和状态文件懒加载文件粒度合并剪裁采用异步方式加速作业恢复状态文件懒加载实现远端文件异步下载、按需加载Flink 作业在元数据恢复后即可半速运行热更新 状态懒加载使作业停止处理时间从 200s 降至 20s。这些创新设计使 GeminiStateBackend 成为企业级流计算的理想状态存储解决方案。▼ 「实时计算 Flink 版」 ▼复制下方链接或者扫描左边二维码即可免费试用阿里云Serverless Flink体验新一代实时计算平台的强大能力了解试用详情https://free.aliyun.com/?productCodesc▼ 关注「Apache Flink」 ▼回复 FFA 2025 获取大会资料点击「阅读原文」跳转阿里云实时计算 Flink