随着生成式 AI 蓬勃发展，推动资料中心与云端运算能力不断向上突破，高频宽记忆体（HBM）扮演的角色变得前所未有地关键。美光科技12层堆叠、容量36GB的HBM4记忆体已送样给多家客户，标志着AI运算架构进入全新里程。

HBM4（High Bandwidth Memory 4）是第四代高频宽记忆体技术，专为满足人工智慧（AI）、高效能运算（HPC）、资料中心与先进绘图等高资料吞吐需求的应用所设计。与传统 DRAM 相比，HBM 采用垂直堆叠封装（stacked die）与 TSV（Through-Silicon Via）技术，大幅提升资料存取频宽并缩短资料传输距离，降低功耗。

HBM4 延续前几代（如 HBM2E、HBM3、HBM3E）的技术基础，并在频宽与容量方面进一步升级。例如，单一 HBM4 堆叠可提供高达 36GB 的容量与每秒超过 2TB 的传输速度。其 2048-bit 宽介面设计能有效提升处理器与记忆体之间的资料传输效率，为大型语言模型（LLM）、生成式 AI 推论与训练等工作负载提供关键支援。

当前人工智慧（AI）技术突飞猛进，尤其是生成式 AI、深度学习与大型语言模型（LLM）的应用快速扩展，带动了对AI运算效能与资料处理能力的极高需求。然而，这些运算需求同时也带来了几个关键挑战，包括资料吞吐量增加、延迟问题、以及高功耗与能源效率等问题，促使业界需要像 HBM4 这样的高频宽记忆体来因应。