英伟达Groq 3 LPX机架量产：200亿美元收购落地，AI推理速度飙至3400 tokens/秒

史上最大收购的成果正式商业化

英伟达当地时间周一宣布，Groq 3 LPX机架已进入全面量产阶段，标志着公司史上最大规模收购（200亿美元收购Groq）所获得的技术正式实现商业化。

英伟达高级总监迪翁·哈里斯透露，Groq机架将与Vera中央处理器和Rubin图形处理器一起部署在新型云服务商Nebius的平台，并将于今年晚些时候上线。

为什么Groq如此重要？低延迟推理是关键

低延迟推理对于AI智能体快速响应至关重要——没有人愿意对着AI助手等半天才得到回复。英伟达表示，云计算公司可以针对这类低延迟Token收取更高的费用。

哈里斯表示：”对于那些提供Token服务的人来说，这让他们能够为真正要求对延迟高度敏感的服务协议的用户和客户，提供高级服务等级。”

技术架构：500MB SRAM直接集成在芯片上

Groq的架构在芯片裸片本身集成了500MB高速SRAM，以减少与内存相关的瓶颈。英伟达将256颗独立的Groq 3芯片封装到LPX机架中，据Artificial Analysis基准测试，单机架可达每秒3400个Token的处理速度。

相比之下，OpenAI新近宣布的”Ultrafast”模式目前承诺每秒750个Token，由Cerebras提供支持。

GPU不会被取代，而是分工协作

哈里斯强调：”这并不是要取代GPU，而是要针对工作负载的不同部分，使用价格合适、处理能力合适的处理器。”低延迟芯片主要专注于模型服务中的”解码”阶段，而GPU仍然是AI芯片领域的主力，可同时执行训练和推理。

黄仁勋预计，到2027年，当前一代Blackwell芯片与全新Vera Rubin系统的累计销售额将达到1万亿美元。他计划将数据中心中用于编程应用的空间的四分之一分配给Groq芯片。