研究人员开发了一种用于边缘检索增强生成（RAG）系统自适应压缩的新方法。该方法根据工作负载变化和边缘设备（如NVIDIA Jetson AGX Thor）的实时状态动态调整压缩级别。在自然问题（Natural Questions）和HotpotQA数据集上使用Llama和Qwen模型进行的实验表明，中间压缩可以将SoC能耗显著降低高达48.2%，同时对推理质量的影响最小。 AI
影响 这项研究为在边缘硬件上实现更高效、更节能的AI部署提供了一条途径，这对于实际应用至关重要。
排序理由 该集群包含一篇学术论文，详细介绍了优化边缘设备上RAG系统的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
