研究人员开发了一个学习延迟（Learning-to-Defer）框架，以提高使用大型语言模型（LLM）进行抽取式问答（EQA）的效率。该方法智能地将查询分配给专用模型，确保高置信度的预测，同时最大限度地降低计算成本。该框架在SQuADv1和TriviaQA等数据集上进行了测试，证明了其提高了答案的可靠性并显著降低了计算开销，使其适用于可扩展的EQA部署。 AI
影响 优化了LLM在问答中的资源分配，可能降低成本并提高专业应用中的性能。
排序理由 该集群包含一篇学术论文，详细介绍了用于提高LLM在问答中效率的新框架。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →