英伟达开始量产AI推理机架“Groq 3 LPX”
英伟达于8月24日宣布，已开始量产其机架级AI推理加速器NVIDIA Groq 3 LPX。目前已披露的客户包括AI云公司。该产品量产将影响AI芯片供应链，涉及相关元器件需求。
原文深度解读
本文报道英伟达于8月24日宣布开始量产其机架级AI推理加速器NVIDIA Groq 3 LPX。已披露的客户包括AI云公司Nebius，后者将将其部署于生产推理平台。英伟达内部测试显示，该系统在处理万亿参数模型时吞吐量提升35倍，基于Gemma 4 31B模型实现每秒3400 token的输出速度。产品效率比现有产品高10倍，与Vera Rubin搭配预计可产生3000亿美元收入（基于每GW吞吐量和每百万token成本），而Blackwell约为300亿美元。Groq 3 LPX专为AI代理系统设计，扩展Vera Rubin NVL72的推理能力，响应速度比替代平台快4倍。Groq 3芯片由三星电子代工，采用4纳米工艺，机架提供128GB SRAM和40PB/s内存带宽。该产品量产将影响AI芯片供应链，涉及相关元器件需求。
- 英伟达于8月24日宣布开始量产NVIDIA Groq 3 LPX，这是一款机架级AI推理加速器。
- 已披露的客户包括AI云公司Nebius，Nebius将把Groq 3 LPX部署在其生产推理平台Nebius Token Factory中。
- 英伟达内部测试显示，运行万亿参数AI模型时，系统吞吐量比现有产品高35倍。
- 使用开源代理AI模型Gemma 4 31B进行基准测试，输出速度达到每秒3400 token，是该模型的最快性能记录。
- Groq 3 LPX的效率比现有产品高10倍；英伟达称，将Vera Rubin和Groq 3结合使用，基于每GW吞吐量和每百万token成本，预计可产生3000亿美元收入，而Blackwell的对应数字约为300亿美元。
- Groq 3芯片由三星电子代工，采用4纳米工艺；机架提供128GB SRAM和40PB/s内存带宽。
供应链影响
- Groq 3 LPX的量产可能增加对三星4纳米代工产能的需求，取决于三星的产能分配和良率。
- 该产品对SRAM和内存带宽的高要求（128GB SRAM、40PB/s）可能影响相关存储元器件（如SRAM、HBM）的供应链需求。
- 英伟达与Nebius等AI云客户的合作可能推动对机架级AI系统的需求，进而影响GPU、LPU、电源、散热等元器件的采购。
- 英伟达宣称的高收入潜力（3000亿美元）可能吸引更多云服务商采用该产品，从而影响AI芯片市场的竞争格局和供应链订单分配。
- 该产品的量产可能加速AI推理基础设施的部署，对相关连接器、PCB、服务器组件等供应链环节产生潜在影响，具体取决于实际出货量。
系统解读，仅作为判断线索，不构成备货、出货、涨价或投资建议。
（来源：英伟达）
英伟达于8月24日表示，已开始量产其机架级人工智能（AI）推理加速器NVIDIA Groq 3 LPX。
目前已披露的客户包括AI云公司Nebius。Nebius将把Groq 3 LPX部署在其生产推理平台Nebius Token Factory中。
根据英伟达的内部测试，该系统在运行具有数万亿参数的AI模型时，吞吐量提高了35倍。英伟达使用开源代理AI模型Gemma 4 31B对系统进行了基准测试，实现了每秒3400 token的输出速度。这是该模型的最快性能记录。
Groq 3 LPX还提供比现有产品高达10倍的效率。英伟达表示，将Vera Rubin和Groq 3结合使用，基于每吉瓦（GW）的吞吐量和每百万token的估计成本，预计可产生3000亿美元的收入。英伟达Blackwell的相应数字约为300亿美元。
Groq 3 LPX专为AI代理系统设计。它扩展了Vera Rubin NVL72的推理能力，并处理大上下文。英伟达表示，对于编码等代理工作负载，其响应速度比替代平台快达4倍。
“Groq 3 LPX可以进一步推动Vera Rubin NVL72的性能极限，”英伟达首席执行官黄仁勋表示。
Groq 3 LPX中使用的Groq 3芯片是一种专门用于AI推理的语言处理单元（LPU）。它与英伟达最近推出的Vera Rubin NVL72机架共同设计，并针对与图形处理单元（GPU）协同工作进行了优化。
Groq 3由三星电子的代工业务采用4纳米工艺制造。该机架总共提供128GB的SRAM和每秒40拍字节（PB/s）的内存带宽。
(Source: Nvidia)
Nvidia said on Aug. 24 that it has begun mass production of its rack-scale artificial intelligence (AI) inference accelerator, the NVIDIA Groq 3 LPX.
Among the customers disclosed so far is AI cloud company Nebius. Nebius will deploy the Groq 3 LPX in its production inference platform, Nebius Token Factory.
According to Nvidia's internal testing, the system delivered 35 times higher throughput when running AI models with trillions of parameters. Nvidia benchmarked the system using the open-source agentic AI model Gemma 4 31B, achieving an output speed of 3,400 tokens per second. It recorded the fastest performance for the model.
The Groq 3 LPX also offers up to 10 times greater efficiency than existing products. Nvidia said operating Vera Rubin and Groq 3 together could generate an estimated $300 billion in revenue, based on throughput per gigawatt (GW) and estimated cost per million tokens. The comparable figure for Nvidia Blackwell is about $30 billion.
The Groq 3 LPX is designed for AI agent systems. It expands the inference capabilities of the Vera Rubin NVL72 and handles large contexts. Nvidia said it delivers up to four times faster response speeds than alternative platforms for agentic workloads such as coding.
"Groq 3 LPX can push the performance limits of Vera Rubin NVL72 even further," Nvidia CEO Jensen Huang said.
The Groq 3 chip used in the Groq 3 LPX is a language processing unit (LPU) specialized for AI inference. It was co-designed with Nvidia's recently launched Vera Rubin NVL72 rack and optimized to work with graphics processing units (GPUs).
Groq 3 is manufactured by Samsung Electronics' foundry business using a 4-nanometer process. The rack provides a total of 128GB of SRAM and memory bandwidth of 40 petabytes per second (PB/s).