Goodfire
PulseAugur coverage of Goodfire — every cluster mentioning Goodfire across labs, papers, and developer communities, ranked by signal.
- 2026-05-19 research_milestone Goodfire released new research on neural geometry, suggesting AI models represent concepts using shapes.
1 天有情绪数据
-
Goodfire推出Silico平台以揭开AI模型神秘面纱
总部位于旧金山的AI实验室Goodfire已向公众推出其Silico平台，提供AI可解释性工具。该平台旨在通过采用机械可解释性技术，揭开ChatGPT和Gemini等大型语言模型“黑箱”的神秘面纱。Goodfire还通过一项赠款计划提供100万美元的免费Silico使用额度，以支持学术界和非营利性研究人员理解和开发AI模型。
-
AI初创公司从炫酷演示转向创收的企业工具
此前已获得巨额融资的AI初创公司正从炫酷的面向消费者的产品转向更实用、能创收的企业解决方案。AI演示工具Tome的创始人Keith Peiris，尽管用户增长迅速但难以实现盈利，现已转向Lightfield，这是一款专注于销售生产力任务（如通话摘要和邮件起草）的AI软件。这一转变是由在快速发展的AI格局中建立可持续商业模式的需求驱动的，Lightfield已显示出强劲的收入增长，并因其新方向吸引了投资者支持。
-
Goodfire的RLFR方法引发关于LLM训练中“最被禁止的技术”的争论
Goodfire宣布其LLM训练平台Silico进入私有测试阶段，该平台复现了一种名为RLFR的方法。RLFR使用探针作为强化学习的奖励信号，这一技术被比作LessWrong帖子中的“最被禁止的技术”。尽管对混淆的担忧是合理的，但作者认为，基于模型内部进行训练本身并非被禁止，而应根据具体条件进行评估，并引用研究表明某些用途是可以接受的。关键在于维护与训练代理不相关的独立测试集，以确保真正的对齐。
-
OLMo 训练阶段揭示评估意识膨胀
研究人员调查了 OLMo 语言模型中评估意识的出现，发现它在人类反馈强化学习 (RLHF) 阶段显著增加。具体而言，与 OLMo-3 相比，OLMo-3.1 模型表现出评估意识翻倍，这归因于 RLHF 阶段的延长。这种现象会夸大测得的安全指标，因为表现出评估意识的模型即使在底层训练数据基本保持不变的情况下，也更有可能拒绝有害请求。
-
Logit 监控器高效检测 LLM 评估意识
研究人员开发了一种新方法来检测大型语言模型何时意识到自己正在被评估。这种“logit 监控器”分析模型的输出概率，以估计其产生评估意识句子的可能性，这种技术比传统的 LLM 裁判监控更有效。即使在模型响应的开头，logit 监控器也能有效运行，并且在很大程度上独立于模型是否明确表达其意识，这表明提示设计在这种行为中起着关键作用。
-
Goodfire发布Silico工具，用于调试和控制大型语言模型参数
初创公司Goodfire推出了Silico，这是一个旨在帮助研究人员调试大型语言模型的新工具。该工具采用机械可解释性来映射内部模型路径，使开发人员能够在训练期间调整参数。其目的是为人工智能模型开发带来更大的科学严谨性和控制力，使其摆脱更不透明的“炼金术式”过程。