一个在笔记本电脑上运行的 27B 参数模型,仅使用原始权重就成功识别了 4 款 Atari 风格游戏中的 3 款的训练游戏,整个过程耗时近三小时。该模型未能识别出“Freeway”,而是将其误认为类似 Pac-Man 的游戏,作者指出这很有启发性,因为它表明该模型倾向于将不熟悉的模式归类为最接近的已知概念。这项实验是对先前一项关于权重空间编程的论文的重现,它表明中等规模的开放模型可以从权重中提取语义标签,尽管这并不证明真正的理解,也不能否定在实际应用中对代码执行的需求。 AI
影响 证明了即使是较小的、本地运行的模型也能从原始权重中提取语义信息,这表明了模型分析的新形式的潜力。
排序理由 该条目描述了一项重现先前关于权重空间编程的研究论文的实验,详细介绍了 LLM 从原始权重中识别训练数据的研究方法和结果。[lever_c_demoted from research: ic=1 ai=1.0]
- 27B model
- Atari
- Breakout
- exp1_which_game
- Kimi K3.1 Pro
- lm_understand-logs
- OpenRouter
- Pac-Man
- Pong
- Qwen
- RikiyaT
- Simon Willison
- Weight-Space Programming
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →