一篇新的研究论文探讨了预测文本中人类注意力的挑战,为“地板”(朴素截断)和“天花板”(对半分神谕)分数设定了基准。研究发现,当前前沿语言模型在这些界限之间的差距中实现了35-53%的性能,而最先进的提示压缩器表现不如随机。然而,五种前沿模型的无权重融合显著提高了性能,并且通过将融合蒸馏到一个8B的开放权重学生模型中,这种增益得以保留。 AI
影响 强调了当前LLM在理解细微人类注意力方面的局限性,并提出融合技术作为改进的途径。
排序理由 一篇发表在arXiv上的研究论文,详细介绍了一个新的基准以及关于预测文本中人类注意力的发现。
- Apify
- arXiv
- Floor, Ceiling, and the Fusion Gap: How Much of Crowd Reading Attention Can Machines Predict?
- Holm
- LLMLingua-2
AI 生成摘要 · Google Gemini · 来自 3 个来源。 我们如何撰写摘要 →