实体
Goal Accessibility Ratio
Goal Accessibility Ratio
PulseAugur coverage of Goal Accessibility Ratio — every cluster mentioning Goal Accessibility Ratio across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新框架解释大型语言模型在多轮对话中的上下文丢失问题
研究人员提出了一个新框架，用以解释大型语言模型（LLMs）为何在冗长、多轮的对话中难以保持上下文。他们的“通道-转换模型”表明，虽然对关键指令的注意力可能会减弱，但信息可以在模型内部的残余表示中持续存在。为了量化这一点，他们引入了目标可达性比率（GAR），并用它来分析各种架构，发现注意力消散的点在不同模型之间存在显著差异。
-
新研究发现，大型语言模型因注意力关闭而失去对话线索
一篇新的研究论文引入了一个“通道转换”框架，以解释为什么大型语言模型在扩展的多轮对话中难以维持上下文和指令。该研究提出了目标可达性比率（GAR）作为量化关键指令注意力退化的指标。研究人员发现，虽然指令的注意力可能会关闭，但相关信息可以保留在残差表示中，从而导致不同模型架构出现各种失败模式。