一入圈必懂的基础黑话1 AI (人工智能) 致力于让机器模拟人类智能行为的广阔学科目前主要靠大力出奇迹的算力来驱动。2 AGI (通用人工智能) 目前还存在于理想中的终极目标指能在任何智力任务上达到或超越人类水平的AI。3 LLM (大语言模型) 动辄拥有千亿甚至万亿参数的自然语言处理模型是当今数据中心里最凶猛的算力吞噬者。4 Machine Learning (机器学习) 不给机器写死规则而是让机器自己从海量数据中寻找规律并做出预测的技术。5 Deep Learning (深度学习) 机器学习的一种利用多层人工神经网络来处理极其复杂的数据是目前AI大爆发的绝对功臣。6 Neural Network (神经网络) 在软件层面模仿人类大脑神经元连接方式的数学模型层次越深能理解的东西就越复杂。7 Training (训练) 喂给初始AI模型海量的数据让它在千百次试错中不断调整参数的过程。极度消耗算力圈内俗称“炼丹”。8 Inference (推理) AI模型“毕业”后利用学到的知识回答用户问题或生成内容的过程相比训练更看重响应速度和低延迟。9 Fine-tuning (微调) 在已经拥有常识的预训练大模型基础上用特定领域的专业数据进行二次培训让其成为垂直领域的专家。10 Prompt (提示词) 人类用来指挥AI干活的指令文本写好提示词已经成为一门被称为“提示词工程”的新兴玄学。11 Token (词元) AI理解和生成文本的最小计量单位它可以是一个字一个词甚至是一个英文字母的组合。12 Context Window (上下文窗口) AI一次性最多能记住和处理的信息长度窗口越大AI能阅读的长文和代码就越多。13 Parameter (参数) AI模型内部通过训练沉淀下来的权重变量参数量级往往直接决定了模型能有多“聪明”。14 Checkpoint (检查点) AI漫长训练过程中的自动存档机制万一某台服务器意外宕机可以直接从最新的检查点读档重来。15 Epoch (训练轮次) 把整个训练数据集在神经网络中正向和反向传递一次的完整过程通常需要跑很多个轮次模型才能收敛。16 Batch Size (批大小) AI在训练时一次性打包处理的数据样本数量。设置太小算得慢设置太大显卡内存会当场崩溃。17 Floating Point (浮点数) 计算机表示实数的方式AI计算中最常用的数值类型决定了计算的精度和范围。18 FP16 / BF16 (半精度浮点数) AI计算中为了追求速度而妥协的数据格式在牺牲微小精度的前提下能让显卡的计算速度翻倍提升。19 FLOPS (每秒浮点运算次数) 衡量硬件算力大小的绝对标尺数值越大说明芯片的“脑子”转得越快。20 TOPS (每秒万亿次操作) 常用于衡量端侧设备或NPU算力的指标是对整数运算能力的评估。21 Algorithm (算法) 指导计算机解决问题的详细步骤和公式好的算法能让有限的算力发挥出超常的效果。22 Open Source (开源) 把AI模型的代码和权重免费公开给所有人使用和修改主打一个众人拾柴火焰高。23 Closed Source (闭源) 将核心AI模型作为商业机密锁在自家服务器里用户只能通过API接口花钱调用。24 Hallucination (幻觉) AI在一本正经地胡说八道也就是输出了看似合理但完全不符合事实或逻辑的内容。25 Multimodal (多模态) 让AI不仅能看懂文字还能听懂声音、看懂图片和视频甚至生成这些内容的综合能力。二挖掘算力的硅基密码26 GPU (图形处理单元) 专为大规模并行计算设计的芯片原本用来打游戏渲染图像现在是提供AI算力的绝对核心。27 CPU (中央处理器) 计算机的通用大脑擅长处理复杂的逻辑控制但在AI大集群中主要负责给GPU分配任务当后勤。28 TPU (张量处理单元) 谷歌针对机器学习量身定制的专用加速芯片在特定AI算法下的效率高得可怕。29 NPU (神经网络处理器) 试图在电路层面模拟人类神经元网络的芯片通常用于手机端或边缘设备的轻量级AI推理。30 ASIC (专用集成电路) 为极其特定的计算任务量身定制的芯片性能和功耗无敌但毫无通用性可言。31 FPGA (现场可编程逻辑门阵列) 出厂后还能被开发者重新编写内部硬件电路的“万能芯片”常用于算法还在频繁迭代的早期验证阶段。32 CUDA (计算统一设备架构) 英伟达推出的并行计算软硬件平台它让开发者能用C语言直接调用GPU算力是英伟达最深的护城河。33 Tensor Core (张量核心) 英伟达GPU内部的特殊计算大队专门用来疯狂加速AI运算中最核心的矩阵乘法。34 SM (流式多处理器) GPU内部的计算大车间SM的数量和效率直接决定了这块显卡能同时处理多少任务。35 Die (裸片) 从硅晶圆上切割下来的单块未封装芯片是半导体工业的心血结晶。36 Chiplet (芯粒) 把一整块大芯片拆成多个小模块分别制造最后再像搭积木一样拼装以此提高良率并降低成本。37 Wafer (晶圆) 制造半导体芯片的硅质圆形切片面积越大能切出来的芯片就越多。38 HBM (高带宽内存) 通过3D堆叠技术将内存芯片像盖楼一样叠起来并与GPU封装在一起堪称显存界的高铁。39 VRAM (显存) GPU自带的运行内存AI模型庞大的参数全都要塞进这里才能跑起来显存不够一切白搭。40 GDDR (图形双倍数据速率内存) 传统的高性能显存虽然没有HBM那么极端但在普通显卡和部分推理卡上依然是性价比之选。41 NVLink 英伟达开发的私有高速互联通道让机箱内多张显卡之间的数据交互快如闪电。42 NVSwitch 配合NVLink使用的GPU专属交换机芯片能让服务器内所有显卡实现全互联的无阻塞沟通。43 Infinity Fabric AMD自家的高速互联技术用来连接自家CPU和GPU对抗英伟达的NVLink。44 PCIe (高速串行计算机扩展总线) 服务器主板上的超高速公路显卡和网卡都要通过这条路与CPU进行数据握手。45 TDP (热设计功耗) 芯片满载运行时发出的最大热量指标它决定了服务器需要配多暴力的散热器。46 SXM 英伟达高端计算卡的专属接口形态专为极致性能和供电设计普通电脑主板根本无福消受。47 OAM (开放加速器模块) 由OCP开源组织推行的AI芯片标准封装形态旨在打破SXM的垄断让不同厂家的AI卡能通用同一个主板。48 Form Factor (外观尺寸) 硬件设备的物理尺寸和形状标准决定了显卡或服务器能不能塞进机柜里。49 Yield (良率) 一片晶圆上完好可用的芯片比例良率的高低直接决定了GPU的制造成本和最终售价。50 Moore’s Law (摩尔定律) 集成电路上可容纳的晶体管数目每隔约两年便会增加一倍的行业经验法则目前正面临物理极限的挑战。三重构机房的架构暗语51 Data Center (数据中心) 集中存放大量服务器、存储设备和网络设备的巨型建筑是数字世界的实体工厂。52 IDC (互联网数据中心) 为互联网应用提供场地、设备托管以及带宽服务的专门机构。53 Node (节点) 数据中心里的基本工作单元在AI语境下通常指代一台装满几张顶级GPU的独立服务器。54 Rack (机柜) 存放服务器的标准化黑色铁架子通常以U单位高度约4.445厘米为单位衡量内部设备的容量。55 Cluster (集群) 成百上千台服务器通过高速网络紧密连接在一起共同组成一个力大砖飞的超级计算大脑。56 Supercomputer (超级计算机) 由极具规模的计算集群组成专门用来解决国家级或者人类最前沿科学问题的顶级性能巨兽。57 Server (服务器) 常年不关机专门在后台为客户端提供计算、存储或网络资源服务的重型计算机。58 Blade Server (刀片服务器) 像书本一样密集插在机箱里的超薄服务器主打极限空间利用率和高密度部署。59 Bare Metal (裸金属服务器) 没有安装任何虚拟化软件的纯物理服务器AI大模型训练追求极致性能时不含杂质的最爱。60 Virtualization (虚拟化) 用软件魔法把一台物理服务器劈成多台虚拟机来卖以此大幅提高硬件资源的利用率。61 VM (虚拟机) 通过软件模拟出来的具有完整硬件系统功能的隔离计算机环境。62 Container (容器) 比虚拟机更轻量级的资源隔离技术把应用程序和它需要的环境打包成集装箱随处都可以运行。63 Docker (容器引擎) 目前最普及的开源容器化技术平台让软件的发布和部署变得像搬运集装箱一样简单。64 Kubernetes / K8s (容器编排) 容器集群管理领域的绝对指挥官负责在成千上万台服务器之间自动化调度和管理海量的计算任务。65 PUE (电源使用效率) 衡量数据中心能效的硬指标数值越接近1说明越省电。超出1的部分基本都被空调和散热吃掉了。66 Air Cooling (风冷) 用极其暴力的工业级风扇硬生生吹走热量传统且声音震耳欲聋目前正面临AI高功耗的严峻挑战。67 Liquid Cooling (液冷) 用水或特殊冷却液带走芯片热量安静且高效是如今新建高密度AI机房的新宠。68 Cold Plate (冷板式液冷) 将内部有液体循环的金属冷板直接贴在CPU或GPU上吸热的技术是目前最主流的液冷方案。69 Immersion Cooling (浸没式液冷) 直接把运行中的服务器像泡菜一样泡在绝缘的电子氟化液里这是目前数据中心散热界的终极杀器。70 UPS (不间断电源) 数据中心的超大号充电宝在遇到突发市电中断时能支撑几分钟给发电机组争取启动时间。71 Generator (发电机组) 通常由柴油驱动的巨型发电设备是数据中心应对长时间停电灾难的最后一道防线。72 HVAC (暖通空调系统) 机房环境的控制中枢负责调节温度、湿度以及空气流通防止服务器集体中暑死机。73 Colocation (主机托管) 企业自己买好服务器付费放到专业数据中心的机柜里蹭他们的高级网络、电力和散热系统。74 Edge Computing (边缘计算) 把计算能力推向离数据产生更近的网络边缘地带比如手机、智能汽车以此换取极低的响应延迟。75 Cloud Computing (云计算) 像提供自来水和电一样通过互联网按需提供计算资源的服务模式客户完全不需要自己建机房。四编织高速网络的传输密语76 Topology (拓扑) 数据中心里服务器、交换机和路由器之间的物理连线和逻辑几何结构图。77 Fat-Tree (胖树架构) 一种经典且依然在发光发热的网络拓扑特点是越靠近核心层的网络链路带宽越大保证全网数据不堵车。78 Spine-Leaf (叶脊架构) 现代数据中心最主流的扁平化网络设计所有底层交换机都直接与上层交换机相连极大降低了网络延迟。79 InfiniBand / IB (无限带宽网络) 专为超级计算机和高阶AI设计的贵族网络协议极低延迟、极高带宽缺点是极其昂贵且生态封闭。80 Ethernet (以太网) 你家里和公司里都在用的最普及的网络标准目前正通过疯狂提速和改进协议向IB网络发起生死挑战。81 RoCE (基于融合以太网的RDMA) 一项神奇的技术让便宜且大众的以太网也能拥有类似IB网络的高性能和超低延迟。82 RDMA (远程直接内存访问) 一种黑科技传输方式网卡可以直接读写另一台服务器的内存全程绕过CPU大幅降低网络延迟。83 TCP/IP (传输控制协议/网际协议) 互联网的基石协议但在追求极限速度的AI算力网络中因为其复杂的校验机制有时会被嫌弃太慢。84 Switch (交换机) 数据中心的交通枢纽负责查看数据包的局域网地址并以极快的速度将其从一个端口甩到另一个端口。85 Router (路由器) 广域网络的导航员负责在不同网段之间寻找最捷径的路线来传递海量数据。86 Gateway (网关) 连接两个不同网络协议的节点相当于跨国交流时的翻译官兼海关关卡。87 NIC (网络接口卡/网卡) 服务器连接外部网络的物理咽喉网卡的性能直接决定了这台机器的数据吞吐极限。88 SmartNIC (智能网卡) 内部自带微型处理器的网卡能帮CPU分担数据加密、压缩等繁杂的网络处理基础任务。89 DPU (数据处理器) 比智能网卡更激进的产物专门负责处理网络、存储和安全事务彻底释放CPU去专心搞业务逻辑。90 MAC Address (物理地址) 烧录在网卡里的全球唯一身份号码是设备在局域网内互相串门的门牌号。91 IP Address (互联网协议地址) 设备在互联网上的虚拟逻辑坐标可以动态分配是跨网络邮寄数据包的必填地址。92 Bandwidth (带宽) 网络通道的物理宽度决定了单位时间内比如一秒钟最多能搬运多少GB的数据。93 Latency (延迟) 数据包从服务器A跑到服务器B所花费的时间。在AI并行训练中几微秒的网络卡顿都可能拖慢所有显卡。94 Throughput (吞吐量) 网络在没有发生拥堵的情况下实际能够成功传输的有效数据总量。95 Packet Loss (丢包率) 数据包在传输过程中不慎遗失的比例在AI训练网络中哪怕极低的丢包率也会引发灾难性的重传风暴。96 Optical Transceiver (光模块) 网络设备上负责把电信号转换成光信号的精密器件高带宽网络传输不可或缺的关键咽喉。97 Fiber Optic Cable (光纤线缆) 内部是一根根极细的玻璃丝利用光反射原理传输数据速度快抗干扰强是数据中心的毛细血管。98 AOC (有源光缆) 两端直接把光模块焊死在光纤上的线缆插拔方便通常用于机柜内短距离的高速互联。99 DAC (直连铜缆) 两头带模块的粗壮铜线虽然传输距离很短但因为不需要光电转换延迟极低且价格便宜。100 NVMe over Fabrics (基于网络的非易失性内存主机控制器接口规范) 让一台服务器能通过高速网络像读取本地硬盘一样以极低延迟读取另一台服务器上的SSD硬盘阵列。