研究人员调查了多模态人工智能模型如何处理不同输入类型和操作中的数值信息。通过对 Gemma 4-12B 进行因果干预,他们识别出文本和图像输入的独特坐标系,这些坐标系可以通过旋转和重新缩放进行对齐。研究还发现,一个共享的数值概念会先在更上游形成,然后随时间展开,即使输出层无法直接看到,隐藏的内部方向也承载着完整的数值结果。 AI
影响 为理解多模态模型如何表示和处理数值概念提供了见解,可能为未来的模型架构提供信息。
排序理由 学术论文,详细介绍了关于人工智能模型内部表征的新研究发现。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →