研究人员开发了轮次平均稀疏自编码器（SAE）来提高语言模型的解释性，尤其是在长上下文方面。与处理单个token激活的标准SAE不同，新方法在整个轮次（人类或助手）上平均激活，用固定数量的特征来表示它。这种方法简化了对长模型对话记录的研究，并使解释性技术在扩展上下文中更加实用。 AI
影响 这种新方法可以使分析和理解大型语言模型在扩展对话上下文中的行为更加可行。
排序理由 该集群包含一篇详细介绍语言模型新特征发现方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
