据报道,英伟达CEO黄仁勋在财报会议上披露了收购Groq后的核心整合计划。黄仁勋将此次收购与当年收购Mellanox相提并论,暗示Groq将在英伟达的AI版图中发挥重要的基础性作用。具体的架构整合细节预计将在下月召开的GTC大会上公布。
在战略层面,黄仁勋强调,整合Groq旨在补齐英伟达在AI推理阶段的短板,特别是实现超低延迟的解码能力。当前AI行业正加速迈向多智能体协同时代,应用层对极低延迟和快速响应提出了更高要求。英伟达在AI模型训练市场占据主导地位,并通过特定架构覆盖了推理的“预填充”阶段,但在对延迟极度敏感的“解码”环节,仍需引入Groq的技术来确立行业标杆。
技术实现方面,英伟达计划全面释放Groq硬件潜力。Groq的语言处理单元采用片上SRAM技术,能够提供极高的内部带宽。这种技术路线已被其他行业巨头采用。通过引入LPU,AI智能体有望在短时间内完成复杂的逻辑推理步骤,从而有效缓解多智能体协作时的算力瓶颈。
针对硬件落地形态,有分析预测英伟达可能推出混合计算方案。该方案预计会在单个机架内集成大量LPU单元。在数据传输方面,LPU之间可能采用特定的芯片间协议连接,而LPU与GPU之间则有望通过高速互联技术实现高效协同,以处理来自GPU的海量数据卸载。


