一篇新论文揭示了一种从包括 Claude 和生成式预训练 Transformer 模型在内的专有 LLM API 中提取推理 token 的方法。该技术可以 100% 查看推理过程，这对基准测试有影响，因为它表明一些模型可能只是记住了基准测试答案，而不是真正解决了它们。研究结果还表明，在开源模型中观察到的“奇怪”推理模式在最前沿的模型中也很常见，并且这种提取方法可能已被用于模型蒸馏，可能会减缓未来的努力。 AI
影响 这项研究可能会影响 LLM 基准测试，并揭示专有模型推理能力的见解。
排序理由 该集群讨论了一篇研究论文，其中详细介绍了一种从专有 LLM 中提取推理 token 的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
