英伟达宣布，其Blackwell架构在AI推理领域取得了里程碑式进展。通过推行“极致软硬件协同设计”策略，该架构优化了硬件在处理复杂AI推理负载时的效率，有效应对了模型参数膨胀带来的算力成本激增问题。相比上一代架构，Blackwell平台显著降低了单位Token的生成成本。
在行业应用方面，包括Baseten、DeepInfra、Fireworks AI及Together AI在内的多家推理服务提供商，已开始利用Blackwell平台托管开源模型。通过结合前沿开源模型、Blackwell的硬件优势以及自研的优化推理栈，这些企业成功实现了跨行业的成本缩减。例如，专注于多智能体工作流的公司反馈其成本效率得到提升；游戏领域的公司也借此实现了更低的延迟和更可靠的响应。
Blackwell架构的高效能核心在于其旗舰级系统。该系统采用多芯片互联配置，并配备了高速共享内存。这种设计完美契合了当前主流的“混合专家”架构需求，能够将Token批次高效拆分并分散到多个GPU上并行处理，从而提升整体处理效率。
在Blackwell获得成功的同时，英伟达已将目光投向下一代平台。据悉，下一代架构计划通过引入针对预填充阶段的专用机制，旨在进一步推高基础设施的效率上限。
