// TBDS · 多模智算平台系列 //随着多模态大模型快速演进企业在AI基础设施层面面临异构算力管理复杂、数据处理链路冗长、训练推理资源割裂浪费等核心挑战。腾讯云TBDS基于Ray构建多模态数据智算平台支持GPU/CPU等异构资源统一调度把多模数据转换和AI计算放到一个pipeline提高40%GPU资源使用率通过推理框架性能优化支持大模型推理服务分布式构建流量负载均衡等功能自研XparkHyperFrame和SQL AI Function等处理库让客户用一句SQL就能调用大模型像查表一样分析数据湖里的图片、视频和文本把多模态数据从难用的资产变成开箱即用的生产力AI落地周期从月级压缩到天级。AI浪潮下的算力困局异构算力资源调度与管理复杂度激增当前企业AI基础设施普遍存在 GPU/NPU/CPU/DPU 混合部署 的异构算力格局。以典型的智算中心为例往往同时承载NVIDIA A100/H100 集群用于大模型训练。国产加速卡昇腾、寒武纪等满足信创与合规要求。高主频CPU节点 用于数据预处理、特征工程和轻量推理。DPU/SmartNIC 用于网络卸载与存储加速。这种多池共存的架构带来三大管理难题企业更期望在一个统一平台内管理训练Training、微调Fine-tuning、推理Inference、数据处理ETL四类负载并统一运维体系而传统架构中这四类负载往往跑在完全独立的计算集群上导致GPU等昂贵的计算资源利用率极低。多模态数据处理链路工程化门槛高传统多模态AI应用视频理解、图文检索、自动驾驶感知财报分析的数据处理链路极为复杂典型流程如下这一链路的工程化痛点在于工具链割裂视频处理用FFmpegOCR用PaddleOCR向量化用SentenceTransformers每个环节依赖不同的Python环境和计算后端计算形态混杂视频抽帧是CPU密集型OCR和向量化适合GPU加速数据格式转换又回归CPU —— 同一条Pipeline需要在CPU和GPU之间多次数据搬运扩展性不足当数据规模从百万级增长到亿级时单机Python脚本无法横向扩展而迁移到Spark/Flink又面临PyUDF性能瓶颈和API不兼容问题数据需要反复落盘验证影响cpu使用率数据-训练-推理割裂导致资源使用率低在传统AI工程架构中数据预处理、模型训练和在线推理三套系统各自独立数据系统基于Hadoop/Spark集群使用Java/Scala生态训练系统基于Kubernetes GPU集群使用Python/PyTorch生态推理系统基于Triton/TensorRT/vLLM使用独立的模型仓库和Serving框架三套系统意味着三套存储、三套计算、三次数据搬运原始数据从数据湖HDFS/OSS抽取到训练集群的本地SSD训练输出的Checkpoint再推送到模型仓库S3/NFS推理服务从模型仓库加载模型到显存数据在HDFS → 本地SSD → S3 → 显存之间多次拷贝不仅浪费存储带宽更导致端到端迭代周期以天为单位。腾讯云TBDS基于腾讯TCS云原生套件构建多模态数据智算平台CPU和GPU在一个集群里面混合调度数据在共享内存Object Memory Store里面高效传输打通数据预处理模型训练和推理服务上线全部流程从而实现一个计算引擎一个存储和一套运维管控系统把多模态数据处理效率提升100%gpu使用率提升40%。腾讯云TBDS智算平台TBDS智算平台基于构建的多模态数据智算引擎通过分层架构设计将异构资源管理、分布式计算、模型服务有机整合实现了从数据接入、特征工程、模型训练到推理部署的全链路闭环为企业提供一站式AI开发与交付能力。智算平台总体架构TBDS 为企业级 AI 推理场景提供从镜像、模型到运维的全栈标准化能力。通过弹性扩缩容和多租户隔离实现资源降本GPU 利用率提升一倍以上通过一键部署和预置镜像实现研发提效上线从周级缩短到分钟级通过滚动升级、高可用和灰度发布保障生产稳定业务无感知升级、故障秒级恢复并以统一鉴权、全链路审计和监控追踪构建企业级安全治理。让算法团队无需关心底层基础设施专注模型价值本身。用户接入用户作业多入口统一接入和鉴权能力WeData 数据开发平台面向数据工程师的可视化开发环境支持拖拽式Pipeline编排、血缘追踪、数据质量检测。用户可通过WeData直接提交Ray作业平台自动完成资源申请、镜像拉取、作业监控的全生命周期管理。Kyuubi 统一SQL网关基于Apache Kyuubi构建的SQL代理层兼容Spark SQL / Hive SQL / Trino SQL 语法。用户可通过标准JDBC/ODBC接口将SQL查询无缝路由到Ray计算引擎执行实现大数据与AI计算的SQL化统一访问。镜像管理与模型支持TBDS智算平台内置支持x86的GPU和CPU基础镜像预装部分常用机器学习库并提供业务依赖的python库的在线、离线部署能力满足不同网络环境下的快速环境构建。用户既可直接使用开箱即用的标准镜像也可按需扩展自定义依赖无需重新打包镜像即可灵活调整运行环境大幅降低环境配置成本与上线门槛。统一运维底座全栈可观测体系资源大盘监控全局资源总览总卡数 / 已用卡数 / 碎片卡数 / 利用率趋势。作业资源使用支持作业使用资源监控大盘协助定位资源使用。节点级监控每张GPU的显存占用、温度、功耗、NVLink带宽。租户隔离按Namespace/Project维度展示资源配额与使用量。History Server作业全生命周期追踪提交时间、排队时间、执行时间、资源使用量。任务级Profiling每个Actor/Task的CPU/内存/显存时间线。企业级高可用架构高可用与滚动升级Head节点元数据高可用基于redis实现元数据高可用。Worker节点自动故障转移节点宕机后受影响Actor自动迁移至健康节点。滚动升级不停机更新Ray版本和平台组件升级期间任务零中断。自动扩缩容自动扩容Ray集群和推理服务均内置支持自动扩容容服务可以预设相关资源使用阈值达到阈值后集群会启动自动扩缩容降低资源使用成本。集群挂起/启动在确定集群短期不再使用后可以一键挂起集群释放底层的所有机器资源后续可以一键拉起原规格重建智算集群。审计和鉴权日志审计全量记录多源 Ray 任务操作轨迹满足安全审计合规要求。鉴权与 WeData 身份体系深度集成确保 Ray 任务提交权限可控。自研Xpark多模态数据计算引擎Xpark 是腾讯自研基于 Python 生态的分布式多模态数据计算引擎基于 Ray Data 实现并内置丰富的多模数据处理算子支持分析处理文本、图片、音频、视频等多模态数据使企业可以高效的实现多模态数据预处理和分析。Xpark 提供的部分算子需要使用 AI 模型并需要部署推理服务如有远程可用的模型推理服务您也可以在 Xpark 集群与远程模型服务网络互通情况下使用远程模型。使用相关算子之前建议提前将模型下载至本地文件系统中并通过智算平台统一推理服务管理和部署该模型提供更低的网络延迟和更高效的推理性能。自研 SQL AI Function企业数据湖仓中积累了海量结构化数据交易记录、用户行为、IoT传感器账单等数据但业务人员缺乏SQLAI的融合分析能力。TBDS通过自研Spark SQL AI Function配合TBDS统一推理服务让业务人员用标准SQL即可调用LLM进行智能分析体验开箱即用的AI能力。SELECT text ai_query( model_test//hunyuan/0, text, 请用英文单词翻译:{input} )AS translated FROM table_iceberg WHERE qid100000078 and scp_id499872;其中model_test//hunyuan/0表示部署在TBDS 并在Gravitino 注册的模型路径也可以置为“”默认选择内置混元大模型。目前已经支持如下常用的SQL AI Function :统一推理服务平台TBDS基于腾讯 TCS 云原生架构构建 TBDS 统一推理平台为企业提供从模型接入到业务落地的全链路推理能力解决了传统推理架构中芯片锁定、模型上线慢、资源利用率低、流量管控缺失四大痛点助力企业AI转型。核心能力私有化部署TBDS智算平台支持在客户自有IDC或私有云部署支持流量负载均衡自动扩缩容流控等特性国密算法支持TLS通信采用SM2/SM3/SM4国密算法满足金融行业合规要求模型热更新模型版本统一管理不停机更新模型版本通过蓝绿部署实现推理服务零中断升级审计与溯源完整记录每次推理请求输入摘要、输出摘要、模型版本、耗时满足监管审计要求支持信创芯片支持华为昇腾、海光 DCU、寒武纪 MLU 等国产 GPU。场景落地多模态数据处理随着大模型与生成式 AI 的全面普及企业核心数据正在从结构化表格快速转向多模态原始资产——文本、图像、音视频、点云、文档、向量混合存在体量从 TB 级跃升到 PB 级并以远超传统业务数据的速度持续增长。这些数据的共同特点是单条体量大、格式异构、处理链路长解析 → OCR/抽帧 → 清洗 → 推理 → 入库、CPU 与 GPU 算力混合——传统的 Spark/Hive 批处理栈为结构化分析而生难以胜任而单机脚本又无法承载 PB 级吞吐。TBDS智算平台通过调度 CPU/GPU 异构算力把多步骤算子编排为单一 Pipeline有有效的处理视频音频PPTPDFmd文本等多模态数据并把处理的结构化数据实时入TBDS数据湖供企业后续使用、屏蔽分布式细节可以让算法工程师专注业务逻辑。实际收益效率文档全量处理周期从周级缩短到天级成本得益于pipeline带来的性能提升整体计算资源使用率节约约 60%研发算法同学只需写单机逻辑分布式调度与数据分片由平台屏蔽研发和运维人力投入大幅下降。模型推理服务私有化部署随着开源大模型能力日益增强企业真正的痛点已不再是训不训得出模型而是如何把现成模型稳定、低成本、安全地嵌入业务系统——这正是 TBDS 统一推理平台的核心价值所在屏蔽底层异构算力CPU 推理、NVIDIA GPU、国产信创芯片统一纳管业务无需感知硬件差异。治理能力开箱即用内置鉴权、流控、负载均衡、审计、监控无需额外搭建。统一推理网关OpenAI 兼容 API一条 URL 接入所有业务系统。弹性自动扩缩容流量高低自适应让算力随业务波动持续守护企业成本。综合收益业务接入周期从月级缩短到天级单 Token 推理成本降低 40% 以上GPU 利用率提升 30%通过国产信创芯片纳管实现关键业务零依赖国外 GPU全面满足合规要求。大模型训练和微调得益于 TBDS 智算平台简洁的编程模型开发者无需关心分布式、并行、容错等底层细节——只需写一段 Python 训练函数平台便会在同一个异构集群中自动完成对象存储读取、数据预处理、模型迭代训练与 Checkpoint 落盘并将训练完成的模型一键发布到 TBDS 统一推理平台对外提供服务。整套流程端到端打通开发与调试成本大幅降低让企业的微调试验从月级缩短到天级。统一调度 —— CPU GPU 信创芯片统一纳管单 DAG 内算子级绑核绑卡异构资源不再分散管理。数据加速 —— tbdsfs:// 直读 Object Store 零拷贝跨算子张量传引用不传数据GPU 等待数据的时间趋近于零。并行框架 —— 原生兼容 PyTorch DDP / FSDP / DeepSpeed / Megatron-LM开发者无需改代码即可在多机多卡上拉起训练。容错弹性 —— 自动 Checkpoint 故障节点自动恢复 弹性扩缩容长时训练遇到硬件故障不再重头再来。闭环上线 —— 训练产出自动登记到 Gravitino 元数据中心模型权重落 TBDSFSTBDS 统一推理平台一键拉起对外提供服务。综合收益总结与展望腾讯云TBDS多模态数据智算平台通过Ray统一计算底座 自研Xpark/HyperFrame引擎 TBDSFS统一存储的三层架构系统性解决了企业在AI基础设施层面面临的异构算力管理、多模态数据处理、训练推理割裂等核心难题。资源效率GPU利用率从30%提升至75%CPU资源充分复用整体TCO降低60%。工程效率从周级的Pipeline开发周期压缩到天级SQL AI Function让业务人员自助分析。落地速度预置多行业解决方案模板银行/券商/自动驾驶/音视频等场景开箱即用。