研究人员开发了一种新的密码分析方法，用于从语言模型中提取无偏见的门控线性单元（GLU）前馈块。该技术使用有限差分曲率和配对观测，可以恢复以前无法通过提取方法获得的特定块类型。虽然在高精度测试中，从Qwen、Llama和Gemma等模型中恢复孤立块的成功率中位误差低于百分之一，但该方法尚未解决从最终模型输出中推导出必要的内部块响应的挑战。 AI
影响 这项研究可能为理解和潜在复制大型语言模型内部工作原理的新方法带来启发。
排序理由 该集群包含一篇学术论文，详细介绍了一种分析语言模型架构的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
