在人工智能训练场景里, GPU服务器成了核心基础设施, 于科学计算、高性能渲染等场景中也是如此。普通CPU服务器与之不一样, GPU服务器借着并行计算架构把矩阵运算效率极大提高, 其硬件选型和部署方案切实影响项目进度, 还直接关乎预算消耗。此文章会从核心组件、配置逻辑、成本构成以及主流应用这四个维度, 梳理选购GPU服务器时必须掌握的关键信息。GPU服务器的核心硬件组成GPU服务器性能, 是由多个部件协同来决定的其中, GPU加速卡、CPU处理器、内存容量、存储介质以及网络接口这五类组件最为关键。当前, 占据主流地位的数据中心GPU、用于加速的卡, 主要归为两种类别,即训练卡与, 推理卡。拿 A100来说 , 它具备6912个CUDA核心, 配置40GB或者80GB的HBM2e显存, 显存带宽能够达到/s, 单卡FP16算力为的数值。而针对推理场景设计 的L4显卡, 则更加着重于能效比, 它的FP16算力是30.的值, 功耗仅仅72W,适合高并发、低延迟 的在线服务。值得关注的还有AMD , 它具备220个计算单元, 其FP16峰值算力是, 然而在软件生态兼容性方面, 它比CUDA平台稍微差一些。说到CPU这方面, 主流的配置, 采用的是双路Intel Xeon 8380处理器或者AMD EPYC 7763处理器前者具备40个核心以及80条线程, 基础频率是2.3GHz这个数值, 三级缓存达到了60MB, 后者有着64个核心, 同时还有128条线程, 基础频率为2.45GHz, 三级缓存有256MB这么大。在GPU服务器里头, CPU主要所承担的职责是数据预处理工作以及任务调度任务, 它自身的性能嘛需要和GPU的数量相匹配, 以此来避免出现计算瓶颈这种情况。DDR4 ECC REG内存常被用于内存配置, 单条容量常见的是16GB、32GB或者64GB。对于8卡GPU服务器而言, 建议内存容量不低于512GB, 这样才能满足多卡并行时的数据传输需求。在存储方面, 系统盘建议使用NVMe SSD, 其容量在480GB至1.92TB之间不等 数据盘则依据训练集大小来配置, 常见的方案是采用4TB至16TB的SATA SSD或HDD组合。GPU服务器集群化部署的关键在于网络接口, 单机训练采用25GbE网卡, 分布式训练需要或更高带宽的网络。以 -6系列为例, 它单端口速率能达到200Gb/s, 延迟低至0.6微秒, 可有效减少多机通信导致的性能损耗。配置选择的核心逻辑GPU服务器的配置不是简单地堆砌材料, 而是要依据实际负载的特征来进行权衡, 在深度学习训练的场景当中, 显存容量决定了可以训练的模型规模, 以GPT-3这类拥有千亿参数的模型作为例子, 仅仅是模型权重就需要大约1.4TB的显存, 所以需要采用多卡并行的策略。要是使用A100 80GB的显卡, 至少得需要18张卡才能够满足显存的需求, 在实际部署的时候通常采用32卡或者64卡的机群。推理场景对延迟以及吞吐量更为关注, 针对单次推理延迟要求低于10毫秒的应用, 像实时语音识别这一案例, 一般会采用单卡或者双卡配置去进行搭配, 同时还依据等一系列优化工具来完成操作。以 - 50图像分类模型作为示例, 在A100上借助进行优化之后, 单卡能够实现大约每秒钟15000次的推理吞吐量, 然而L4显卡所能够提供的吞吐量大约是每秒钟8000次, 不过其功耗仅仅是前者的六分之一。科学计算类负载方面, 象分子动力学模拟或者计算流体力学这种, FP64双精度算力是极其关键的。A100它的FP64算力是9., 然而 V100的FP64算力是7.。要是预算不充足, 也能够去考虑AMD MI100, 它的FP64算力是11., 在特定工作负载情形下性价比是更高的。成本构成与预算规划GPU服务器的总成本涵盖四份内容, 一为硬件采购, 二是软件授权, 三乃机房托管, 四是电力消耗。拿一台8卡A100服务器来讲, 硬件成本大概处于60万至80万元人民币的范围, 然而这具体是依据CPU、内存以及存储配置来定的。要是采用租赁模式, 云服务商一般是按照小时来计费的, A100单卡每小时价格大约是25元至40元, 如按月计费, 价格就在1.5万元至2.5万元之间。长期运营里, 电力成本属于占比大的部分。有一台8卡A100服务器, 其满载时功耗大概是6500W, 要是按照工业电价每千瓦时0.8元来计算, 持续24小时不间断运行的话, 每天的电费大约是124.8元, 一年的电费则大概是4.5万元。要是部署在数据中心, 还得考虑机柜租赁费用, 这费用一般是每个机柜每个月3000元到8000元, 这里面包含电力配额跟带宽等费用。关于软件授权这一方面, 的CUDA工具包以及cuDNN库能够免费去使用, 然而像ANSYS或者这种部分商业软件当中的GPU模块是需要额外进行购买授权的。就拿 来说, 单机授权所需要的费用大概是1.2万元人民币, 并且集群授权费用还要更高一些。典型应用场景与配置参考在自动驾驶范畴里头, 数据标注与之模型训练一般会采用4卡到8卡的GPU服务器。拿公开展示的配置来讲, 它的训练服务器弄来8卡 A100 , 还搭配着双路的EPYC 7763处理器以及1TB内存, 这整个机器算下来价格大概是75万元。而推理服务器呢采用的是4卡L4显卡, 配合着单路的Xeon 4314处理器还有128GB内存, 整部机器价格大约为12万元。对于生命科学领域而言, 基因测序数据分析时常常会采用GPU加速来开展, 仅以二代测序数据比对这一类情况来说, 要是使用单张A100的话, 那就能够把BWA-MEM算法运行的时间, 从处于CPU模式下的3小时, 缩短至18分钟, 其加速比达到了10倍, 而涉及此类的应用, 通常会去选择2卡至4卡这样子的配置, 还要搭配大容量的内存以及高速存储这样的设备。金融风控领域里, 高频交易策略回测, 需要低延迟, 还需要强算力, 信用评分模型训练, 同样离不了低延迟与强算力。其典型配置是, 要么用2卡A100, 要么用4卡L40S, 并且要搭配网卡, 以此来支持分布式训练。L40S显卡呢, 它拥有18176个CUDA核心, 其FP16算力是362., 显存为48GB, 在推理场景当中, 它的性价比比A100更具优势。采购与部署建议在挑选GPU服务器之际, 提议先清晰确定工作负载的类型以及峰值性能的需求, 接着往相反方向去推断硬件配置。针对初创团队或者短期项目而言, 云租赁模式具备更强的灵活性对于长期能够稳定运行的业务来讲, 自建机房能够将单次计算成本予以摊薄。于部署环境这一方面而言, 针对GPU服务器情形, 其对于散热以及供电实际上有着比较高的要求。在八卡A100服务器这种情况下, 建议采用液冷散热方案咧, 此方案所产生的噪音能够掌控在50分贝以下咧, 然而风冷方案所产生的噪音一般来讲是会超过70分贝的。在供电这个层面, 务必要保证机柜能够提供起码两个独立的32A工业插座, 并且得配置相关的冗余电源模块。往后要予以留意的是软件栈兼容性, 驱动版本、CUDA版本跟深度学习框架之间存有对应关系, 比如说 2.0需要CUDA 11.7以及更高版本, 然而 2.12则支持CUDA 11.2至12.0, 建议在部署以前运用官方容器镜像开展环境验证, 防止因版本不相符致使的计算异常。总之, GPU服务器的选型是个综合决策进程, 该进程涉及计算性能、成本预算以及运维能力。借助明确需求边界、对比关键参数以及评估长期持有成本, 可在达成业务目标之际实现资源利用效率的最大化。