研究人员在 Llama-3.1-70B-Instruct 中发现了一个“倒计时子电路”，使模型能够跟踪和管理特定任务的 token 数量。该子电路将当前位置与目标长度进行比较，估算完成剩余时间。研究发现，这种机制并非 Llama-3.1-70B-Instruct 所独有，因为在另一个前沿 LLM 中也曾观察到类似的模式，这表明不同模型之间存在共享组件。研究表明，通过逆向工程这些子电路，我们可以更好地理解特定行为如何在不同任务甚至不同模型之间泛化。 AI
影响 识别出 LLM 之间用于任务完成的共享机制，可能提高模型的解释性和泛化能力。
排序理由 论文详细介绍了在 LLM 中发现的特定子电路。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
