前言AI 对大数据开发的变革是全流程、智能化的从数据采集到业务洞察的每个环节都在通过自动化、优化、智能决策提升效率和价值。对于大数据开发工程师而言掌握 AI 与大数据的结合点不仅能提升自身工作效率更能推动企业数据能力的升级。不同的企业拥抱AI的程度是不一样的有些企业AI应用的渗透就非常严重几乎工作中处处都充满了AI的身影而有些公司还停留在和大模型简单对话的阶段中。对于AI在大数据开发中的应用这个话题还是比较大的内容也比较多这里就选择一些具有代表性的且多个公司都有落地的内容进行讲解。上图中大概梳理了一下数据研发工程师在工作中需要核心关注的一些环节。其中AI落地比较多的场景主要是蓝色部分包括模型开发、业务赋能、数据治理、任务优化、数据运营。而对于其他环节虽然也会有AI的提效但场景较少因此后面文章将从模型开发、任务优化、数据治理、数据运营、业务赋能等多个角度分别讲解AI在数据开发工作中的落地场景。模型开发模型开发是大家最容易想到也是目前各个企业落地比较多的利用AI提效的场景之一。我这边将整个AI在模型开发中的应用落地划分了两个阶段首先是初级阶段主要以AI Chat为主研发同学可以和经过特定训练/微调的Chat机器人聊天实现SQL的编写、格式化、优化、逻辑解析、逻辑简化等操作。最后是高级阶段主要以AI Agent为主研发同学可以通过Agent的能力一键式实现需求的开发工作。初级阶段企业可以自研Chat AI机器人也可以直接使用第三方模型开源模型进行微调亦或是购买相关服务都可以达到该阶段。例如之前我们分享过的一个SQL AI工具就可以看作是初级阶段的集大成者网址链接https://www.sqlai.ai/SQL AI包括“文本到 SQL” 和 “SQL-to-SQL” 两类核心场景。SQL AI能够在生成、优化、验证、格式化、简化、解释等全方位多角度来对你的SQL进行开发提效和优化带你一键成为SQL大佬如上图所示对于文本到 SQL而言可以支持的功能包括生成SQL查询、生成SQL数据等等对于SQL-to-SQL而言可以支持的功能包括优化SQL查询、格式化SQL查询、简化SQL查询、转换SQL查询、修复和验证SQL查询等等在初级阶段即使可以实现的功能已经有很多了例如SQL的编写、格式化、优化、逻辑解析、逻辑简化等操作但还是需要研发人员自己亲力亲为无法做到“一键式开发”。高级阶段该阶段的核心是AI Agent能够覆盖模型开发中的绝大多数场景例如新增字段、迭代字段口径、一键式建表、简单需求从0到1的开发(bug较多)、复杂需求从0到1的开发(较为困难目前大多数企业都不支持)以新增字段为例高级阶段和初级阶段最大的不同在于初级阶段需要手动输入待修改的SQL然后AI修改完之后需要将其复制到开发窗口并进行编译调试最后才能上线。另外如果调试出错需要再次人工借助AI的能力去纠正复制代码后再进行调试直到编译通过后才可上线。对于高级阶段我们只需要告诉AI我要在哪个任务里新增哪个数据源的哪个字段AI会一键式完成代码逻辑编写、代码语法检测、代码逻辑纠正、目标表结构调整、任务Review(人工进行)代码上线。需求类型具体步骤需要研发人员做哪些事情提效点一键式建表DDL编写DDL逻辑检测DDL逻辑修改目标表结构调整编写提示词其他无需任何操作一般而言表结构修改和上线是不需要其他人Review的DDL在编写时会探查每个字段的逻辑与上游自适应给出字段数据类型DDL的编写字段类型探查与编写描述信息填写表信息填写新增字段代码逻辑编写代码语法检测代码逻辑纠正目标表结构调整任务上线Review一下AI改完之后的代码是否符合预期符合预期的话点击一下上线即可代码逻辑编写编译调试修改目标表结构简单需求从0到1开发获取技术文档权限解析技术文档代码逻辑编写代码语法检测代码逻辑纠正建表任务上线模型设计人工编写符合特定要求的技术文档作为整个AI编写代码的核心提示内容文档一般要求给出各个数据源每个字段的口径内容越详细越好这块目前bug较多还处于探索阶段有时候辛辛苦苦写完技术文档所需要的时间甚至比人工开发所需要的时间还多全流程提效迭代字段口径代码逻辑编写代码语法检测代码逻辑纠正任务上线Review一下AI改完之后的代码是否符合预期符合预期的话点击一下上线即可代码逻辑编写编译调试在高级阶段自动化程度提高且Agent是跨平台操作的所以一般只有一些自研的AI工具能实现上述效果。什么是跨平台操作呢例如新增字段涉及到的平台有数据地图、离线数据开发平台、权限管理平台等AI Agent需要根据需求类型选择需要调用什么AI能力去做什么事情最后一步一步地将事情完成。拓展补充对于新增字段现在不仅是支持对某个单表单任务的新增字段还支持全链路新增字段背景现在很多数仓侧的需求常常需要进行全链路A-B→C的改动一步步对所需字段进行透传费时耗力且都是重复性劳动AI提效AI可以自动读取需求文档自动识别需要修改的表以及新增字段口径并且自动化完成全链路的代码修改、表结构变更、上线风险识别并经过人工Review后正常上线。而在代码修改、表结构变更、上线风险识别过程中我们可以做任何其他的事情而不需要人工介入。对于一键式建表核心提效场景如下背景对于新建表的需求数仓开发在写完代码后往往需要根据每个字段上游的数据类型、上游的描述信息、字段在本任务中的加工口径等来对表的元数据信息(字段名、字段类型、字段描述信息)进行手动填写非常耗费人力尤其是大型需求一次性需要新增几十、上百个字段。AI提效自动去检测每个字段的上游表的命名、描述信息、数据类型以及每个字段的加工口径自动生成DDL语句并自动提交建表人工只需要Review一下结果点击提交即可自动建表完成。对于一些复杂需求现阶段AI的Bug还是比较多的甚至跟AI交互的时间或者编写【输入给AI的技术文档】的时间都要大于手动开发这个需求本身。因此个人也要具备一定的判断能力判断什么样的需求可以借助AI的能力提效什么样的需求需要“亲自上阵”这就需要个人对AI能力边界和AI的原理有一定的认知和了解。任务优化代码逻辑优化代码逻辑优化目前还是集中在SQL-2-SQL的阶段也就是我们将自己写的SQL发送给AI让AI给出具体优化的方案。这个能力和上文提到的SQL AI非常类似不过个人感觉是一个比较鸡肋的功能主要原因如下任务优化对代码逻辑进行优化仅仅是很小的一方面除此之外还有任务链路、依赖关系、参数设置、队列资源、任务优先级、执行引擎执行计划、上游数据量等等。单纯给AI输入一大段SQL逻辑很难凭借仅有的SQL逻辑信息去判断如何优化。即使有能带来的提升也是有限的对中大厂来说优化这块功能收益太低。不过目前遇到的一个在代码逻辑优化上比较有意思的功能是数据溯源之前在 [专题十 : SQL高性能优化] 中提到过一个优化思路选取合适的数据源很多研发人员为了偷懒会直接拿最熟悉的APP层去和主表进行关联获取一些指标字段而不愿去深究这个APP层的逻辑不愿去溯源更合适的数据源。一来会导致APP层依赖过深这会加大后续模型治理的难度二来会造成资源的浪费并且无法充分利用公共层数据那么公共层的作用又是什么呢而AI可以解决这个问题当我们编写完一段代码时AI会自动去检测当前数据源的上游表试图帮你找到更合适的数据源并给出具体的信息我们只需要确定是否采纳即可。执行日志诊断任务跑完了但执行的过程一定是健康的吗问题对于能正常跑的任务即使稍微慢一点也几乎没有人会去看它的执行日志也不会去关注产出时效的优化。而对于执行异常甚至报错的任务去读日志看执行计划定位问题也是相对比较繁琐的。即使我们定位到了问题如何优化也是需要反复讨论怎么配置参数该往哪个方向优化AI提效AI可以自动读取并分析执行日志精准定位问题并根据庞大的知识库和历史问题Case给出处理当前问题的最优解例如给出推荐的参数配置方案以及为什么这么推荐给出任务执行失败缓慢的具体原因并给出优化思路或者参考技术文档整体上看可以降低研发人员人工排查的成本以及设计解决方案参数试错的成本提高问题解决效率数据治理异常模型识别在AI普及之前我们去识别异常模型大多数都需要基于特定规则然后结合平台的能力去定向匹配然后对命中的模型进行治理。不过有一些异常模型不太好使用既定的规则去Mapping例如重复模型识别、数据源使用不合理的模型等等但AI大模型可以精准地对这些模型进行识别并给出修改建议重复模型识别背景在企业数据建模场景中不同业务团队常因信息壁垒开发功能重复的模型**(甚至同一团队的不同开发人员也可能出现重复开发的场景)**这类模型结构可能存在差异但字段口径、生产逻辑、上游数据源、应用场景等高度重合传统规则因难以量化“功能相似度”无法有效识别。因此对于重复模型的治理往往需要人工判断治理成本相对较高且需要一些有业务经验的开发人员开展。AI提效AI大模型通过语义理解与结构解析双维度落地一方面对数据模型的字段生产逻辑进行 embedding计算不同模型的语义相似度另一方面可以直接对代码内容进行解析计算代码整体相似度。典型案例某电商企业通过AI大模型对内部2000APP层模型进行扫描成功识别出320个重复模型并输出重复度评分与合并建议。最终由人工判断是否需要删除或者下沉至DM层或者多个重复模型进行合并。AI大模型可以替代人工逐一Review代码判断重复模型识别效率提升95%以上同时减少重复模型的计算资源消耗每年节省算力成本与存储成本。数据源使用不合理模型识别背景这类模型未选用最优或合规的数据源如使用过时数据源、低质量数据源、违规数据源传统规则仅能判断“数据源是否存在”无法评估“使用是否合理”。AI提效AI大模型结合业务语义与数据血缘实现落地 首先通过数据血缘图谱梳理模型输入数据源的来源、更新频率、质量评级 其次将数据源信息与模型业务目标进行语义匹配判断数据源与目标的适配性 最后结合合规规则校验数据源的合规性。关于落地相比于重复模型识别这块的落地相对较少更多还是在开发某个具体任务时AI会帮你检测当前数据源的上游表试图帮你找到更合适的数据源并给出具体的信息我们只需要确定是否采纳即可。自动化治理自动化元数据治理背景元数据如数据定义、数据来源、数据关联关系是数据治理的核心载体传统元数据管理依赖人工录入与更新效率低下且易出错。AI提效自动化治理Agent可通过大模型的语义理解能力自动识别数据资产的元数据信息构建并动态更新数据血缘图谱当元数据发生变更时自动同步至相关数据系统与业务模块确保元数据的一致性与时效性。自动化字段治理Agent以字段热度(例如字段血缘、下游调用次数、查询次数、创建日期等等)为核心判断依据开展全链路自动化治理实现“资源精准分配数据价值最大化”。具体逻辑为通过大模型语义解析与字段数据血缘追踪自动梳理字段的业务使用场景、调用频次及下游关联资产基于热度评分体系高频使用、高下游依赖为高热度低频闲置、无下游关联为低热度差异化制定治理策略对低热度闲置字段自动标记并建议归档或删除减少无效计算资源占用形成“热度感知-差异化治理-资源优化”的全链路闭环。数据运维数据Agent**数据Agent结合大模型能力开发的一站式 数据问答Agent**类似功能的Agent在很多积极拥抱AI的企业中均有落地核心功能举例智能问数大模型整合了全公司所有的数据资源(权限有管控)包括数据集数据、Hive表数据、各类元数据信息等。用户可以通过自然语言和Agent进行交流咨询字段口径、可用数据源、业务知识等内容(权限范围内)问答效率极高且准确度也非常高。 有一个比较有意思的场景突然想看一个数但是身边没有电脑且这个数没有直接的看板或者图表可以看不过在某数据集上可以通过配置看到可以直接跟数据Agent说我要在XXX数据集上看XXX请直接告诉我结论。 **全链路打通**Agent打通了多条链路例如我想将上述的数据结论推给组内其他同学可以直接告诉Agent生成一个简单的数据总结报告并将其推送给XXX就不需要业务同学自己去配置推送进行手动推送了。**深度数据分析**基于已有数据可以通过交互式对话生成数据分析报告提供深入的数据解读和策略建议。可支持核心指标的归因以及日常的灵活探查分析。智能Oncall数据研发每天都会收到业务方的各种消息轰炸例如我这个数据集为啥还没产出xxxx字段的口径是啥上游Hive表是啥xxxx字段的业务含义是啥问题研发需要基于自己的经验和判断去解答业务的各种问题对于一些口径咨询业务逻辑咨询等还需要自己去扒代码非常费力而且也会挤占原有的开发需求的时间AI提效借助大模型的能力同时打通公司的元数据平台和知识库几乎能够完美解决几类Oncall问题能够帮助数据研发侧前置阻拦很多问题节约人力。业务赋能看板解读一键式解读分析结论更专业业务提效显著痛点与背景在618、双11等电商大促节点业务的核心诉求是实时掌握经营动态、精准把控业务节奏其中收入变化监控与GMV战报制作是核心工作之一。当前业务同学需持续紧盯收入数据波动同时承担高频次每小时GMV战报的制作任务数据获取、整合、分析及报告输出的全流程均依赖人工操作已逐渐难以适配大促期间高效决策的业务需求而融入AI能力的看板解读方案可通过智能数据处理、自动分析与预警等功能实现业务赋能与提效成为解决这一痛点的关键路径。核心痛点战报制作重复繁琐效率低下每小时制作GMV战报需重复完成“数据整理、格式排版、指标计算、趋势分析”等流程大量重复性工作占用业务同学大量精力。同时人工制作过程中易出现数据录入错误、格式不统一等问题不仅增加了复核成本还可能导致战报数据失真影响决策判断。数据解读门槛高信息传递不精准原始数据缺乏可视化呈现业务同学需花费大量时间挖掘数据背后的业务逻辑如收入波动的原因、不同品类GMV的贡献差异等。同时人工制作的战报多以表格形式呈现信息密度低管理层难以快速抓取核心信息导致业务信息传递不精准、决策效率低。一键式看板解读应用基于看板数据借助AI自然语言生成技术自动抓取看板最新数据填充模板同时完成趋势分析、亮点提炼、风险提示等内容的智能撰写。设置自动生成频率每小时生成标准化战报支持PDF、Excel等格式导出彻底替代人工数据整理与文案撰写大幅提升战报产出效率与质量。总结一下借助AI的能力可以实现自动化精准战报制作(结合权限管理)然后自动化对战报进行推送且战报的制作更加专业格式排版统一还可以进行深度溯源以及结合历史经验尝试给出一些决策动作和建议。收个尾对数仓工程师而言如何看待AI的发展我的结论是理性地拥抱AI。对于已经落地的AI应用场景要主动借助AI的能力去提效。对于尚未落地的AI应用场景要尝试探索AI提效的可能性。了解AI提效的基本原理成为真正会用AI的数据工程师。另外加强业务理解能力加强与业务的链接做一个”懂业务“的数据工程师。如何系统的学习大模型 AI 由于新岗位的生产效率要优于被取代岗位的生产效率所以实际上整个社会的生产效率是提升的。但是具体到个人只能说是“最先掌握AI的人将会比较晚掌握AI的人有竞争优势”。这句话放在计算机、互联网、移动互联网的开局时期都是一样的道理。我在一线互联网企业工作十余年里指导过不少同行后辈。帮助很多人得到了学习和成长。我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限很多互联网行业朋友无法获得正确的资料得到学习提升故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。一直在更新更多的大模型学习和面试资料已经上传带到CSDN的官方了有需要的朋友可以扫描下方二维码免费领取【保证100%免费】01.大模型风口已至月薪30K的AI岗正在批量诞生2025年大模型应用呈现爆发式增长根据工信部最新数据国内大模型相关岗位缺口达47万初级工程师平均薪资28K数据来源BOSS直聘报告70%企业存在能用模型不会调优的痛点真实案例某二本机械专业学员通过4个月系统学习成功拿到某AI医疗公司大模型优化岗offer薪资直接翻3倍02.大模型 AI 学习和面试资料1️⃣ 提示词工程把ChatGPT从玩具变成生产工具2️⃣ RAG系统让大模型精准输出行业知识3️⃣ 智能体开发用AutoGPT打造24小时数字员工熬了三个大夜整理的《AI进化工具包》送你✔️ 大厂内部LLM落地手册含58个真实案例✔️ 提示词设计模板库覆盖12大应用场景✔️ 私藏学习路径图0基础到项目实战仅需90天第一阶段10天初阶应用该阶段让大家对大模型 AI有一个最前沿的认识对大模型 AI 的理解超过 95% 的人可以在相关讨论时发表高级、不跟风、又接地气的见解别人只会和 AI 聊天而你能调教 AI并能用代码将大模型和业务衔接。大模型 AI 能干什么大模型是怎样获得「智能」的用好 AI 的核心心法大模型应用业务架构大模型应用技术架构代码示例向 GPT-3.5 灌入新知识提示工程的意义和核心思想Prompt 典型构成指令调优方法论思维链和思维树Prompt 攻击和防范…第二阶段30天高阶应用该阶段我们正式进入大模型 AI 进阶实战学习学会构造私有知识库扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架抓住最新的技术进展适合 Python 和 JavaScript 程序员。为什么要做 RAG搭建一个简单的 ChatPDF检索的基础概念什么是向量表示Embeddings向量数据库与向量检索基于向量检索的 RAG搭建 RAG 系统的扩展知识混合检索与 RAG-Fusion 简介向量模型本地部署…第三阶段30天模型训练恭喜你如果学到这里你基本可以找到一份大模型 AI相关的工作自己也能训练 GPT 了通过微调训练自己的垂直大模型能独立训练开源多模态大模型掌握更多技术方案。到此为止大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗为什么要做 RAG什么是模型什么是模型训练求解器 损失函数简介小实验2手写一个简单的神经网络并训练它什么是训练/预训练/微调/轻量化微调Transformer结构简介轻量化微调实验数据集的构建…第四阶段20天商业闭环对全球大模型从性能、吞吐量、成本等方面有一定的认知可以在云端和本地等多种环境下部署大模型找到适合自己的项目/创业方向做一名被 AI 武装的产品经理。硬件选型带你了解全球大模型使用国产大模型服务搭建 OpenAI 代理热身基于阿里云 PAI 部署 Stable Diffusion在本地计算机运行大模型大模型的私有化部署基于 vLLM 部署大模型案例如何优雅地在阿里云私有部署开源大模型部署一套开源 LLM 项目内容安全互联网信息服务算法备案…学习是一个过程只要学习就会有挑战。天道酬勤你越努力就会成为越优秀的自己。如果你能在15天内完成所有的任务那你堪称天才。然而如果你能完成 60-70% 的内容你就已经开始具备成为一名大模型 AI 的正确特征了。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】