韩国科学技术院(KAIST)发表一项高能效神经处理单元(NPU)技术,可解决生成式AI庞大的能耗问题。其开发的专用AI晶片,经实测比当前主流GPU运算速度快60%,耗电量则大幅降低44%。
此项由朴锺世(Jongse Park)教授团队领导的研究,核心在於创新的「KV快取量化」技术。该技术透过压缩AI推理过程中最占用记忆体的数据,有效解决了长期存在的「记忆体瓶颈」问题,能在不牺牲准确度的情况下,大幅提升运算效率。
此技术的成功,意味着未来能用更少的硬体实现同等的AI性能。研究团队指出,这项高效能、低功耗的技术,不仅将改变云端基础设施,也为未来更复杂的动态AI(Agentic AI)应用奠定了发展基础。