两篇新研究论文引入了评估大型语言模型元认知能力的框架。第一篇，TRIAGE，评估大型语言模型在资源受限的情况下策略性地选择和排序任务的能力，揭示了当前模型在前瞻性控制方面存在显著差距。第二篇，《元认知探针》，提供了一种诊断工具，将大型语言模型的置信度行为分解为五个不同的维度，强调标准基准未能捕捉模型对其自身错误的自我认知。 AI
影响 这些新的评估框架可以通过衡量AI代理的自我评估和策略性资源管理能力，从而使其更加强大和可靠。
排序理由 两篇学术论文引入了用于大型语言模型元认知能力的新评估框架。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
Deploying language models as autonomous agents requires more than per-task accuracy: when an agent faces a queue of problems under a finite token budget, it must decide which to attempt, in what order, and how much compute to commit to each, all before any execution feedback is a…
The Metacognitive Probe is an exploratory five-task, 15-slot diagnostic that decomposes an LLM's confidence behaviour into five behaviourally-distinct dimensions: confidence calibration (T1-CC), epistemic vigilance (T2-EV), knowledge boundary (T3-KB), calibration range (T4-CR), a…