Understanding what AI is thinking—— 探索 AI 决策的理解与验证实践本次作业围绕 **“理解 AI 在思考什么”展开聚焦大语言模型等 AI 系统的可解释性落地实践将此前所学的 LLM 可解释性理论、Transformer 架构逻辑、LLM 自解释方法转化为可操作的分析任务核心目标是让学习者通过实际操作掌握分析 AI 决策逻辑、验证 AI 输出合理性、定位 AI 生成问题 ** 的基本方法从 “理论理解” 走向 “实践应用”。作业的设计既贴合大模型入门学习者的能力水平又兼顾实践的针对性和实用性所有任务均围绕 AI 可解释性的核心维度展开完成作业的过程也是对前期大模型核心知识的综合复盘和深度应用同时能培养学习者理性看待 AI 输出、科学分析 AI 行为的核心思维。一、作业核心目标与设计思路1. 三大核心目标综合应用将 LLM 可解释性、Transformer 架构、LLM 自解释等前期知识综合应用于 AI 决策的实际分析场景实现理论与实践的结合能力培养掌握AI 输出分析、决策逻辑验证、生成问题定位的基础实操方法形成分析 AI 行为的基本思路思维建立建立 “AI 的输出并非绝对正确需通过可解释性方法验证其合理性” 的理性思维理解 AI 决策的本质是特征建模与概率预测而非真正的人类式思考。2. 整体设计思路本次作业采用 **“理论复现 实操分析 问题探究”** 的三层设计逻辑层层递进难度由浅入深适配入门学习者的学习节奏基础层理论复现通过简单任务复现 LLM 可解释性的核心方法巩固理论知识进阶层实操分析针对具体的 LLM 生成案例完成决策逻辑的拆解和分析锻炼实操能力探究层问题探究针对 LLM 的幻觉、错误生成等问题定位根源并提出优化方案培养问题解决能力。同时作业不要求复杂的代码开发和数学推导重点关注分析思路和逻辑表达让学习者聚焦于 “如何理解 AI 的思考”而非繁琐的技术实现降低实践门槛。二、作业核心任务拆解本次作业的所有任务均围绕LLM基于 Transformer Decoder-only 架构展开分为基础任务、实操任务、探究任务三个部分各任务之间相互关联前一任务是后一任务的基础完成所有任务即可形成一套完整的 AI 决策分析流程。任务一基础任务 —— 复现 LLM 可解释性的核心方法理论落地本任务为基础复现类任务核心是让学习者通过自然语言描述 简单案例设计复现此前所学的 LLM 可解释性基础方法和 LLM 自解释方法检验对理论方法的理解程度为后续实操分析打下基础。1. 核心要求分别复现注意力可视化、思维链提示、输入消融分析三种 LLM 可解释性基础方法明确每种方法的核心逻辑、操作步骤、适用场景为每种方法设计一个简单的 LLM 应用案例如代码讲解、知识点解释、文本生成说明如何将该方法应用于案例的 AI 决策分析复现指令明确化、场景类比引导两种 LLM 自解释基础方法为 “让 LLM 解释自注意力机制” 设计对应的高质量指令要求指令符合 “受众适配、维度明确、表达通俗” 的原则。2. 考核重点对可解释性方法核心逻辑的理解是否准确无概念混淆案例设计是否贴合方法的适用场景方法的应用步骤是否清晰自解释指令的设计是否符合核心原则能引导 LLM 输出高质量的解释内容。3. 实操提示无需实际编写代码实现注意力可视化只需用自然语言描述操作流程和预期结果如 “通过 HuggingFace 库提取 LLM 处理案例时的注意力权重用热力图可视化观察 LLM 对核心关键词的注意力分配情况”指令设计需明确解释对象、目标受众、解释深度例如面向高一编程零基础学生的自注意力机制解释指令需弱化技术术语强化场景类比。任务二实操任务 ——LLM 生成案例的决策逻辑分析核心实操本任务为本次作业的核心实操任务要求学习者针对具体的 LLM 生成案例运用可解释性方法完成 AI 决策逻辑的拆解和分析是理论方法的直接落地重点锻炼学习者的实际分析能力。1. 核心要求给定 LLM 生成案例“为高一零基础学生讲解 Pythonfor 循环LLM 生成了‘for 循环像课间操按顺序报数依次喊出 1、2、3、4……循环就是按顺序执行相同的代码动作’的解释内容”运用思维链提示法引导 LLM 输出该生成结果的推理过程并记录 LLM 的输出内容运用输入消融分析设计3 组消融实验如删除 “高一零基础”“Python”“校园场景类比” 等核心输入特征分析不同输入特征的删除对 LLM 生成结果的影响综合上述分析总结该 LLM 生成该结果的核心决策逻辑LLM 关注了哪些核心输入特征、如何建立特征关联、为何选择 “课间操报数” 这一类比。2. 考核重点能否正确运用思维链提示、输入消融分析方法设计合理的分析步骤消融实验的设计是否具有针对性能有效分析核心输入特征的作用能否基于分析结果准确总结 LLM 的决策逻辑做到逻辑清晰、论据充分。3. 实操提示思维链提示的指令需明确要求 LLM**“分步拆解推理过程”**例如 “请分步说明你为高一零基础学生讲解 Python for 循环时选择‘课间操报数’作为类比的推理过程每一步说明你的核心思考点”消融实验的设计需遵循 **“单一变量原则”**每次仅删除一个核心输入特征保证实验结果的可分析性总结决策逻辑时需紧扣 **“特征关注 - 特征关联 - 结果生成”** 的核心维度贴合 LLM 的概率性序列预测本质。任务三探究任务 ——LLM 错误生成的问题定位与优化能力提升本任务为探究类任务要求学习者针对LLM 的错误生成 / 幻觉生成案例运用可解释性方法定位问题根源并提出针对性的优化方案重点锻炼学习者的问题定位能力和解决方案设计能力也是对 AI 可解释性价值的深度理解。1. 核心要求给定 LLM 错误生成案例“向 LLM 提问‘Python 中 for 循环和 while 循环的核心区别是什么针对高一零基础学生讲解’LLM 生成了‘for 循环需要提前定义循环次数while 循环可以无限循环无需设置终止条件’的错误内容错误点while 循环也需要终止条件否则会造成死循环”运用LLM 自解释方法指令明确化 思维链提示让 LLM 解释该生成结果的推理过程定位 LLM 生成错误的直接原因结合 Transformer 架构和 LLM 可解释性理论分析 LLM 生成该错误的底层原因如特征关联错误、知识储备缺失、注意力分配偏差等针对问题根源从指令设计、模型微调、数据补充三个角度提出具体、可操作的优化方案确保优化方案能有效解决该错误生成问题。2. 考核重点能否通过 LLM 自解释准确定位错误生成的直接原因能否结合理论知识深入分析错误生成的底层原因做到理论与实际结合优化方案的设计是否具有针对性贴合问题根源且具备可操作性而非泛泛而谈。3. 实操提示定位直接原因时需让 LLM 明确说明 **“推理过程中哪个环节出现了偏差”**例如是否混淆了 “while 循环的终止条件” 和 “无限循环的设置”分析底层原因时可从输入特征关注、知识特征建模、注意力分配三个角度展开例如 “LLM 对‘while 循环’的知识特征建模存在偏差未将‘终止条件’作为核心特征关联”优化方案的设计需贴合入门场景例如指令设计角度可提出 “在指令中明确要求 LLM‘重点讲解两种循环的终止条件设置’”模型微调角度可提出 “补充针对零基础学生的 Python 循环知识点标注数据”。任务四总结任务 ——AI 决策理解的核心思路与心得体会综合复盘本任务为综合总结任务要求学习者结合本次作业的所有任务完成过程梳理理解 AI 决策的核心思路并撰写心得体会实现对本次作业及前期大模型知识的综合复盘和深度思考。1. 核心要求基于本次作业的实践过程梳理出分析 LLM 决策逻辑的通用核心思路要求思路具有可复制性能适配不同的 LLM 生成案例结合实践谈谈对 **“AI 在思考什么”** 的理解明确 AI 的 “思考” 与人类思考的本质区别总结本次作业的收获与不足说明后续需要进一步学习和提升的方向。2. 考核重点通用分析思路的梳理是否逻辑清晰、步骤明确具有可复制性对 AI “思考” 的理解是否贴合理论本质能准确区分 AI 决策与人类思考心得体会是否真实、具体能体现出实践后的深度思考。三、作业实操工具与环境建议本次作业以 **“分析思路和逻辑表达”为核心不要求复杂的代码开发和专业的算力环境入门学习者可通过通用大语言模型平台 简单的文本分析工具 ** 完成所有任务降低实操门槛具体工具与环境建议如下1. LLM 交互工具可选择任意通用大语言模型平台只需支持自定义指令输入、多轮交互即可例如轻量模型Phi-2、Llama 27B可通过本地部署或在线平台调用适合快速完成指令交互和生成通用平台主流大语言模型在线平台操作便捷无需本地部署适合零基础学习者。2. 辅助分析工具文本编辑工具记事本、Word、马克飞象等用于记录 LLM 生成结果、消融实验数据、分析结论表格工具Excel、WPS 表格、在线表格用于整理消融实验的输入特征、生成结果、影响分析让数据更清晰思维导图工具XMind、MindMaster、在线思维导图用于梳理 AI 决策分析的核心思路让逻辑更直观。3. 实操环境要求无需高端算力和专业编程环境普通电脑 / 平板 / 手机均可完成无需掌握复杂的 Python 代码和机器学习框架仅需具备基础的电脑操作能力即可。四、作业评价标准本次作业采用 **“维度化评分”方式从知识应用、实操能力、逻辑表达、问题探究 ** 四个核心维度进行评价各维度占比均等注重过程而非结果鼓励学习者大胆实践、理性分析具体评价标准如下1. 知识应用25%优秀能准确、灵活地运用 LLM 可解释性、Transformer 架构、LLM 自解释等理论知识无概念混淆知识与实践结合紧密良好能运用核心理论知识少量概念存在模糊但不影响整体分析合格能运用基础理论知识部分概念混淆分析过程存在少量理论偏差不合格无法运用理论知识分析过程与前期所学理论脱节。2. 实操能力25%优秀能正确设计可解释性方法的实操步骤消融实验、思维链提示等设计具有针对性实验结果可分析性强良好能设计基本的实操步骤实验设计具有一定针对性无明显逻辑错误合格能完成基本的实操步骤实验设计存在少量不合理但能得到基本的分析结果不合格无法设计合理的实操步骤实验设计逻辑混乱无有效分析结果。3. 逻辑表达25%优秀分析结论、决策逻辑、问题根源的表达逻辑清晰、层次分明论据充分语言简洁准确良好表达逻辑清晰层次基本分明论据较为充分语言无明显错误合格表达基本通顺逻辑存在少量混乱论据不够充分但能表达核心观点不合格表达混乱逻辑不清无法准确表达核心观点。4. 问题探究25%优秀能准确定位 LLM 错误生成的直接原因和底层原因优化方案具体、可操作贴合问题根源良好能定位错误生成的直接原因底层原因分析较为合理优化方案具有一定的针对性合格能基本定位错误生成的直接原因底层原因分析存在少量偏差优化方案较为笼统但具有一定的参考价值不合格无法定位错误生成的原因优化方案无针对性与问题脱节。五、作业拓展与延伸思考完成本次基础作业后学习者可结合自身的能力水平进行拓展实践和延伸思考进一步深化对 “理解 AI 在思考什么” 的认知同时提升大模型可解释性的实践能力拓展方向如下1. 实操拓展代码实现入门学习使用 HuggingFacetransformers库和Captum库完成简单的注意力可视化代码实现将自然语言描述的流程转化为实际代码提升编程实践能力多案例分析选择不同的 LLM 生成案例如代码生成、文本摘要、机器翻译运用本次作业的分析思路完成决策逻辑分析验证思路的可复制性多模型对比选择不同参数量的 LLM如轻量模型 Phi-2 和大参数量模型 GPT-3.5对同一问题进行生成分析不同模型的决策逻辑差异理解参数量对 AI 决策的影响。2. 延伸思考结合本次作业的实践思考 **“在实际应用中如何平衡 LLM 的可解释性和生成效率”**思考 **“对于高中编程教学场景的 LLM 智能助教哪些可解释性方法最具实用价值”**并设计针对性的应用方案结合 LLM 的幻觉生成问题思考 **“如何通过可解释性方法构建更可靠的 AI 教学工具”**。六、作业核心意义本次作业并非简单的知识考核而是一次大模型可解释性的落地实践训练其核心意义体现在三个方面巩固前期知识通过实践让学习者对 LLM 可解释性、Transformer 架构、LLM 自解释等核心知识的理解更深入、更扎实培养实操能力让学习者掌握分析 AI 决策的基本方法形成一套可复制的分析思路为后续大模型的深度应用打下实践基础建立理性思维让学习者在实践中深刻理解 AI 决策的本质建立 “理性看待 AI 输出、科学验证 AI 结果” 的核心思维这也是大模型时代每个人都应具备的基本素养。理解 “AI 在思考什么”不仅是大模型研究者的核心课题也是每一个 AI 使用者、应用者的必备能力。本次作业的实践过程就是学习者迈出 “理解 AI、驾驭 AI” 的关键一步。