隨著生成式 AI 蓬勃發展，推動資料中心與雲端運算能力不斷向上突破，高頻寬記憶體（HBM）扮演的角色變得前所未有地關鍵。美光科技12層堆疊、容量36GB的HBM4記憶體已送樣給多家客戶，標誌著AI運算架構進入全新里程。

HBM4（High Bandwidth Memory 4）是第四代高頻寬記憶體技術，專為滿足人工智慧（AI）、高效能運算（HPC）、資料中心與先進繪圖等高資料吞吐需求的應用所設計。與傳統 DRAM 相比，HBM 採用垂直堆疊封裝（stacked die）與 TSV（Through-Silicon Via）技術，大幅提升資料存取頻寬並縮短資料傳輸距離，降低功耗。

HBM4 延續前幾代（如 HBM2E、HBM3、HBM3E）的技術基礎，並在頻寬與容量方面進一步升級。例如，單一 HBM4 堆疊可提供高達 36GB 的容量與每秒超過 2TB 的傳輸速度。其 2048-bit 寬介面設計能有效提升處理器與記憶體之間的資料傳輸效率，為大型語言模型（LLM）、生成式 AI 推論與訓練等工作負載提供關鍵支援。

當前人工智慧（AI）技術突飛猛進，尤其是生成式 AI、深度學習與大型語言模型（LLM）的應用快速擴展，帶動了對AI運算效能與資料處理能力的極高需求。然而，這些運算需求同時也帶來了幾個關鍵挑戰，包括資料吞吐量增加、延遲問題、以及高功耗與能源效率等問題，促使業界需要像 HBM4 這樣的高頻寬記憶體來因應。