← 返回全部时间线
TheElec(韩国电子产业媒体)原文发布 10-15 23:36Radar 收录 10-16 00:46查看原文 ↗

三星电子在JEDEC论坛上强调AI内存标准化的局限

Samsung Electronics Highlights Limits of AI Memory Standardization at JEDEC Forum
中文摘要

三星电子在JEDEC论坛上承认,下一代人工智能(AI)内存的标准化面临挑战,原因是客户定制化设计已超出高带宽内存(HBM)基础裸片(base die)的范围。该公司指出,不同客户对AI内存的规格需求差异较大,难以形成统一标准。此事与元器件供应链的关联在于,AI内存定制化趋势可能影响HBM等产品的通用性与供应格局。

原文深度解读

本文报道三星电子在2026年JEDEC论坛(与SEDEX 2026同期于首尔COEX举办,10月15日)上,由DS部门存储业务产品规划团队研究员Hwang Ga-ram指出,下一代AI内存标准化面临挑战:客户定制化设计已从HBM基础裸片延伸至DRAM核心裸片,使存储制造商在实际生产中难以管理。文章涉及LPDDR-PIM、zHBM和LPDDR5X-PIM等技术,并给出LPDDR5X-PIM的带宽、推理性能与功耗数据。与电子元器件供应链的关联在于,AI内存定制化趋势可能影响HBM等产品的通用性与供应格局。

  • 三星电子研究员Hwang Ga-ram在2026年JEDEC论坛上表示,LPDDR-PIM和zHBM具有许多客户特定功能,存储制造商在实际生产中极难管理,并认为其他存储制造商可能面临同样挑战。
  • 传统DRAM按标准制造,但将计算功能集成到DRAM使标准化过程复杂化;LPDDR-PIM将处理能力直接集成到低功耗DRAM中,Hwang希望LPDDR6-PIM标准能在今年年底前建立。
  • zHBM标准化挑战更大:三星提出的zHBM架构不同于传统GPU封装(计算处理器与HBM通过2.5D封装并排放在中介层上),而是采用3D堆叠结构将HBM直接连接到计算处理器,TSV分布于DRAM核心裸片中以缩短数据传输距离;由于内存直接连接处理器,定制化设计从基础裸片扩展到整体结构。
  • Hwang表示并非所有功能都能完全标准化,同时希望JEDEC成员公司合作建立共同标准。
  • 三星披露LPDDR5X-PIM开发结果:内存带宽是传统LPDDR5X的8倍,AI推理性能达102 TPS,约为LPDDR5X的27 TPS的3.8倍,较8月Hot Chips展示的83 TPS提升约23%。
  • LPDDR5X-PIM平均功耗为11.5瓦,比LPDDR5X的8.4瓦高约36%;但每瓦推理性能提升至9 TPS/W,约为传统LPDDR5X的3.2 TPS/W的2.8倍。

供应链影响

  • AI内存客户定制化从HBM基础裸片延伸至DRAM核心裸片,可能使存储制造商在生产管理上面临更大复杂度,并可能影响HBM等产品的通用性与供应格局。
  • 若LPDDR6-PIM标准能在今年年底前建立,可能有助于降低相关产品的标准化不确定性;但能否实现取决于JEDEC成员公司的合作进展。
  • zHBM采用3D堆叠并直接连接计算处理器,定制化设计扩展至整体结构,可能使该类产品的供应链更依赖特定客户设计与制造协同,通用供应比例可能受到影响。
  • LPDDR5X-PIM在带宽、推理性能和每瓦性能上的提升,可能推动AI推理场景对低功耗DRAM集成计算功能的需求;但实际供应链影响取决于客户采用节奏与标准落地情况。
  • LPDDR5X-PIM平均功耗较LPDDR5X高约36%,可能对终端设备的电源与散热设计提出更高要求,进而可能影响相关元器件选型与系统集成。

系统解读,仅作为判断线索,不构成备货、出货、涨价或投资建议。

正文内容 · AI翻译

三星电子在2026年JEDEC论坛上展示其LPDDR-PIM技术,该论坛于10月15日在首尔COEX与SEDEX 2026同期举办。(照片:THE ELEC)

三星电子已承认下一代人工智能(AI)内存标准化面临挑战,因为客户特定设计已从高带宽内存(HBM)的基础裸片(base die)延伸至DRAM核心裸片(DRAM core die),使存储制造商越来越难以管理。

“基于LPDDR的存内计算(LPDDR-PIM)和z-高带宽内存(zHBM)具有许多客户特定功能,”三星电子设备解决方案(DS)部门存储业务产品规划团队研究员Hwang Ga-ram在2026年联合电子器件工程委员会(JEDEC)论坛上表示。该论坛于10月15日在首尔COEX与2026年半导体展览会(SEDEX)同期举办。“这些功能在实际生产中对存储制造商来说极难管理。”Hwang补充说,其他存储制造商可能面临同样的挑战。

标准确立了通用规格,使不同产品能够在相同要求下运行。传统DRAM一直按照此类标准制造,但将计算功能集成到DRAM中使这一过程变得复杂。一个例子是LPDDR-PIM,它将处理能力直接集成到低功耗DRAM中。Hwang表示希望LPDDR6-PIM标准能在今年年底前建立。

zHBM的标准化面临更大挑战。三星提出的zHBM架构不同于传统GPU封装,后者使用2.5维(2.5D)封装将计算处理器和HBM并排放置在中介层(interposer)上。相反,zHBM采用三维(3D)堆叠结构,将HBM直接连接到计算处理器。硅通孔(TSV)分布在DRAM核心裸片中,以缩短数据传输距离。由于内存直接连接到处理器,定制化设计从基础裸片扩展到整体结构。

“并非所有功能都能完全标准化,”Hwang说,同时表示希望JEDEC成员公司能够合作建立共同标准。

三星还披露了其LPDDR5X-PIM技术的开发结果。其内存带宽是传统LPDDR5X的八倍,而AI推理性能达到每秒102个token(TPS),约为LPDDR5X达到的27 TPS的3.8倍。该结果较8月Hot Chips上展示的83 TPS提升了约23%。

平均功耗为11.5瓦,比LPDDR5X消耗的8.4瓦高约36%。然而,每瓦推理性能提升至9 TPS/W,约为传统LPDDR5X达到的3.2 TPS/W的2.8倍。

Samsung Electronics presents its LPDDR-PIM technology at the 2026 JEDEC Forum, held alongside SEDEX 2026 at COEX in Seoul on Oct. 15. (Photo: THE ELEC)

Samsung Electronics has acknowledged the challenges of standardizing next-generation artificial intelligence (AI) memory, as customer-specific designs extend beyond the base dies of high-bandwidth memory (HBM) into DRAM core dies, making them increasingly difficult for memory manufacturers to manage.

"LPDDR-based processing-in-memory (LPDDR-PIM) and z-high-bandwidth memory (zHBM) have many customer-specific features," said Hwang Ga-ram, a researcher on the product planning team of Samsung Electronics' Memory Business under its Device Solutions (DS) division, at the 2026 Joint Electron Device Engineering Council (JEDEC) Forum held alongside Semiconductor Exhibition (SEDEX) 2026 at COEX in Seoul on Oct. 15. "These features are extremely difficult for memory manufacturers to manage during actual production." Hwang added that other memory manufacturers likely face the same challenges.

Standards establish common specifications that allow different products to operate under the same requirements. Conventional DRAM has been manufactured according to such standards, but the integration of computing functions into DRAM has complicated the process. One example is LPDDR-PIM, which incorporates processing capabilities directly into low-power DRAM. Hwang expressed hope that the LPDDR6-PIM standard would be established by the end of this year.

Standardizing zHBM presents even greater challenges. Samsung's proposed zHBM architecture differs from conventional GPU packaging, which places a computing processor and HBM side by side on an interposer using 2.5-dimensional (2.5D) packaging. Instead, zHBM uses a three-dimensional (3D) stacked structure that directly connects HBM to the computing processor. Through-silicon vias (TSVs) are distributed throughout DRAM core dies to shorten data transfer distances. Because the memory connects directly to the processor, customized designs extend beyond the base die to the overall structure.

"Not every function can be fully standardized," Hwang said, while expressing hope that JEDEC member companies could cooperate to establish common standards.

Samsung also disclosed development results for its LPDDR5X-PIM technology. Its memory bandwidth is eight times that of conventional LPDDR5X, while AI inference performance reached 102 tokens per second (TPS), approximately 3.8 times the 27 TPS achieved by LPDDR5X. The result represents an improvement of about 23% over the 83 TPS demonstrated at Hot Chips in August.

Average power consumption was 11.5 watts, approximately 36% higher than the 8.4 watts consumed by LPDDR5X. However, inference performance per watt improved to 9 TPS/W, roughly 2.8 times the 3.2 TPS/W achieved by conventional LPDDR5X.

↑