系列文章目录1、Lambda 架构2、Kappa 架构3、混合架构4、架构选择5、实时数仓现状6、湖仓一体架构7、流批一体架构文章目录系列文章目录前言1、Lambda 架构2、Kappa 架构3、混合架构4、架构选择5、实时数仓现状6、湖仓一体架构7、流批一体架构前言本文解析了Lambda 架构Kappa 架构湖仓一体架构流批一体架构以及在大数据场景中如何选择架构。1、Lambda 架构在Lambda架构中为了计算一些实时指标就在原来的离线数仓基础之上增加了一个实时处理的链路并对数据源做流式改造把消息发送到消息队列中大数据中常用Kafka实时计算去消费消息队列中的数据完成实时指标计算推送到下游的数据服务中去由数据服务层完成离线与实时结果的合并。Lambda架构总结 优点: Lambda架构使开发人员能够构建大规模分布式数据处理系统它具备很好的灵活性和可扩展性。也对硬件故障和人为失误有很好的容错性 缺点: 1- Lambda架构最大的问题是需要维护两套计算链路开发和维护成本 2- 计算资源占用增多服务器存储大2、Kappa 架构Kappa 架构可以认为是 Lambda 架构的简化版只要移除 lambda 架构中的批处理部分即可。Kappa架构的核心思想是通过改进流计算系统来解决数据全量处理的问题使得实时计算和批处理过程使用同一套代码。Kappa 架构的重新处理过程1选择一个具有重放功能的、能够保存历史数据并支持多消费者的消息队列根据需求设置历史数据保存的时长比如 Kafka可以保存全部历史数据。2当某个或某些指标有重新处理的需求时按照新逻辑写一个新作业然后从上游消息队列的最开始重新消费把结果写到一个新的下游表中。3当新作业赶上进度后应用切换结果表读取 2 中产生的新结果表。4停止老的作业删除老的结果表。Kappa架构总结 优点: 使用一条计算链路完成离线计算和实时计算节约成本 缺点: 1- Kappa架构最大的问题是需要重新处理历史数据程序处理数据的吞吐量会降低 2- 数据可能丢失 3- 不适用于离线计算和实时计算代码逻辑不一致的情况。举例: 全局去重 4- 消息中间件临时存储的数据量和回溯的数据量有性能瓶颈 5- 无法复用目前已经非常成熟的基于离线计算的数据质量管理体系数据治理3、混合架构Lambda 架构与 Kappa 架构的对比4、架构选择5、实时数仓现状总结 1- Lambda架构的最大缺点是需要维护两条链路维护和计算成本高 2- Kappa架构最大的缺点是数据处理的吞吐量低 3- Kappa架构可以称之为真正的实时数仓目前企业中实时数仓最常使用的计算框架Flink6、湖仓一体架构湖仓一体架构总结 优点: 1- 可以存储海量数据 2- 可以对中间结果进行查询 3- 可以复用离线计算中形成的数据质量管理体系数据治理 4- 数据可以进行update更新操作 缺点 1- 相对Flink实时数仓来说数据湖对数据的处理延迟相对比较高。数据的分析查询耗时基本在10秒及以上 2- 如果基于数据湖搭建Lambda架构这也是相当于需要维护两条线路7、流批一体架构理念使用同一套API、同一套开发范式来实现大数据的流式计算和批量计算进而保证处理过程和结果数据的一致性。数据集成流批一体离线与实时是否使用统一数据采集方式如统一通过 CDC 或者 OGG 将数据实时捕获推送到 kafka批与流在从 kafka 中消费数据载入明细层。数据存储流批一体离线与实时数据是否统一分层、统一存储兼容数据的一致性和实时性。处理逻辑流批一体流与批处理是否使用统一 SQL 语法或者 ETL 组件再通过底层分别适配流与批计算引擎保证数据口径的一致性。计算引擎流批一体流与批使用同一套计算引擎从根本上避免同一个处理逻辑流批两套代码 问题。元数据流批一体流与批使用同一套元数据管理系统一方面方便管理另一方面可以相互访问。