LongBench-Pro

新研究探索自适应大语言模型评估和自我改进技术 · 追踪10个来源

研究人员正在开发新的方法来评估和改进大语言模型（LLMs）。一种名为ATLAS的方法使用项目反应理论，显著减少了准确评估LLM所需的项目数量，需求减少高达90%。另一项研究将信号检测理论应用于衡量LLM的元认知效率，揭示置信信号和准确性并不总是对齐，并且在不同模型之间存在显著差异。此外，一个名为“Double Ratchet”的框架与LLM代理技能共同演进评估指标，即使在最初没有可靠指标的情况下也能实现自我改进。