MediaTek APU

移动NPU实现能效型端侧RAG

研究人员开发了一个能效型的检索增强生成（RAG）流水线，该流水线完全在移动神经网络处理单元（NPU）上运行，特别是高通公司在Snapdragon X Elite中发现的Hexagon NPU。该系统在索引和查询处理的速度、能耗和延迟方面，显著优于CPU和GPU基线。评估表明，NPU加速的RAG在答案质量方面与CPU和GPU方法相当，为私密、低延迟和可持续的端侧AI应用提供了可行的途径。