English(EN) UT-ACA: Uncertainty-Triggered Adaptive Context Allocation for Long-Context Inference

新框架UT-ACA通过管理不确定性优化LLM长上下文推理

作者 PulseAugur 编辑部 · [1 个来源] · 2026-08-12 04:00

研究人员推出了一种新颖的推理时框架UT-ACA，旨在优化大型语言模型中的长上下文推理。该方法通过监控逐令牌的不确定性来动态调整上下文窗口，在证据不足时学会扩展上下文。UT-ACA旨在减少平均上下文使用量，同时在要求苛刻的长上下文场景中保持生成质量。 AI

影响该框架可能导致LLM中更高效、更有效的长上下文处理，从而可能降低计算成本并提高复杂任务的性能。

排序理由该集群包含一篇详细介绍LLM推理新技术的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

arXiv cs.CL TIER_1 English(EN) · Lang Zhou, Shuxuan Li, Zhuohao Li, Shi Liu, Zhilin Zhao, Wei-Shi Zheng · 2026-08-12 04:00

UT-ACA：不确定性触发的自适应上下文分配用于长上下文推理

arXiv:2603.18446v2 Announce Type: replace Abstract: Long-context inference remains challenging for large language models due to attention dilution and out-of-distribution degradation. Context selection mitigates this limitation by attending to a subset of key-value cache entries,…