ChronoState

新基准测试LLM追踪已用时间的能力

研究人员开发了ChronoState，这是一个旨在测试语言模型如何处理基于已用时间和符号任务状态的时间决策的新基准。使用Qwen2.5-3B-Instruct模型，ChronoState证明了通过非token通道注入的隐藏已用时间条件化，可以显著提高时态状态动作选择的性能。然而，该系统泛化到未见过的时间相关概念的能力及其自主时间追踪能力仍然有限，在某些场景下，prompt注入的时间戳被证明更有效。