研究人员推出了DiaLong,这是一个新的数据集和基准,旨在评估大型语言模型(LLM)在长上下文对话中的记忆能力。该数据集包含100个人工增强的对话,其长度超过了现有基准的长度,并包含一个事实回忆任务,以量化评估LLM保留和检索信息的能力。对当前LLM和提出的内存增强功能的初步测试表明,需要进一步开发以提高LLM的内存性能,这对于在扩展对话中保持连贯性和类似人类的交互至关重要。 AI
影响 该基准通过突出记忆限制,有望推动LLM连贯性和对话能力的改进。
排序理由 该集群描述了一篇介绍用于评估LLM能力的基准数据集的新学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- DiaLong
- Hugging Face
- large-language models
- Samer Aslan
- Transformer-based large language models
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →