韓國科學技術院(KAIST)發表一項高能效神經處理單元(NPU)技術,可解決生成式AI龐大的能耗問題。其開發的專用AI晶片,經實測比當前主流GPU運算速度快60%,耗電量則大幅降低44%。
此項由朴鍾世(Jongse Park)教授團隊領導的研究,核心在於創新的「KV快取量化」技術。該技術透過壓縮AI推理過程中最佔用記憶體的數據,有效解決了長期存在的「記憶體瓶頸」問題,能在不犧牲準確度的情況下,大幅提升運算效率。
此技術的成功,意味著未來能用更少的硬體實現同等的AI性能。研究團隊指出,這項高效能、低功耗的技術,不僅將改變雲端基礎設施,也為未來更複雜的動態AI(Agentic AI)應用奠定了發展基礎。