面向训练与推理的机架架构
公告介绍 Blackwell Ultra 平台,其中机架方案连接72颗 GPU 与36颗 Grace CPU,面向训练和推理计算。配套高速网络用于多设备协同处理模型任务。
协同组织推理计算
同期公布的开源 Dynamo 框架,将大模型输入处理与文本生成分配到不同 GPU,便于分别优化。官方将硬件、网络和推理服务一并介绍,为计算平台的整体部署提供参考。
官方公告介绍面向训练与推理的机架系统,并说明网络互联和分离式推理软件的配套设计。
以上日期为官方原文发布日期 · 本文为行业资讯简述
公告介绍 Blackwell Ultra 平台,其中机架方案连接72颗 GPU 与36颗 Grace CPU,面向训练和推理计算。配套高速网络用于多设备协同处理模型任务。
同期公布的开源 Dynamo 框架,将大模型输入处理与文本生成分配到不同 GPU,便于分别优化。官方将硬件、网络和推理服务一并介绍,为计算平台的整体部署提供参考。