Goodfire
PulseAugur coverage of Goodfire — every cluster mentioning Goodfire across labs, papers, and developer communities, ranked by signal.
- 2026-10-09 product_launch Goodfire launched a new, cost-effective system for monitoring AI agents. 来源
- 2026-10-08 product_launch Goodfire launched a new AI safety monitoring system on Thursday. 来源
- 2026-05-19 research_milestone Goodfire released new research on neural geometry, suggesting AI models represent concepts using shapes.
4 天有情绪数据
-
AI 决策依赖于采样和关键 token，而非仅仅是逻辑
哈佛大学心理学博士、Goodfire 研究员 Eric Bigelow 讨论了大语言模型 (LLM) 的决策方式，强调了采样和“关键 token”在塑造结果中的作用。他解释说，与人类推理不同，AI 的决策可能难以预测，标点符号等看似微小的元素都可能改变整个输出。Bigelow 强调，“上下文学习”（模型在不改变核心权重的情况下根据提供的信息进行适应）在不久的将来比微调更适合个性化。他还指出，AI 的“思维链”过程越来越不可靠，并建议可…
-
Goodfire 推出更便宜的 AI 代理监控系统 · 跟踪 3 个来源
Goodfire 推出了新的、更经济实惠的 AI 代理监控方法。其“内向外”监控器观察 AI 模型的内部过程，而不是依赖单独的 AI 来分析其行为。这种方法比检测恶意 AI 行为的现有解决方案便宜得多。
-
Goodfire 推出 AI 安全监控系统，成本削减 80%
Goodfire 推出了一款新的 AI 安全监控系统，旨在显著降低监控 AI 代理的成本。该系统可供 Baseten 客户使用，它使用“探针”来监控内部模型激活，而不是依赖二级 AI 模型进行输出审查。据报道，这种方法将监控成本削减了近 80%，并且延迟极低，同时在测试中成功检测到高比例的恶意活动。
-
Goodfire 推出更便宜的 AI 代理监控系统
Goodfire 推出了新型“内向外”监控器系统，旨在比现有方法更经济地检测恶意 AI 代理。与使用单独的 AI 来审查代理输出的传统方法不同，Goodfire 的监控器在 AI 模型运行时分析其内部信号。这种方法成本显著降低，因为它重用了模型已在进行的计算，并在测试中显示出捕获恶意活动的有效性。该公司旨在为开源 AI 模型提供必要的安全措施，而这些模型通常缺乏专有系统内置的安全功能。
-
Base Labs与Hugging Face和Goodfire合作，致力于开放权重AI安全
Base Labs与Hugging Face和Goodfire AI合作，启动了一项旨在增强开放权重AI模型安全性的新计划。此次合作旨在开发和实施透明的安全评估与监控基础设施，以解决模型滥用问题。该伙伴关系力求为开放模型创建标准，将安全措施直接整合到其训练和部署过程中，而不是事后补救。
-
机制可解释性旨在揭示AI决策过程
机制可解释性是一个新兴领域，旨在理解AI模型如何做出决策，而不仅仅是检查提示和输出。Google DeepMind和Goodfire等公司正在投资该领域，通过揭示内部模型过程，有可能为不安全的AI行为提供早期预警。这项研究最终可能为AI决策的“黑箱”提供见解。
-
Goodfire推出Silico平台以揭开AI模型神秘面纱
总部位于旧金山的AI实验室Goodfire已向公众推出其Silico平台，提供AI可解释性工具。该平台旨在通过采用机械可解释性技术，揭开ChatGPT和Gemini等大型语言模型“黑箱”的神秘面纱。Goodfire还通过一项赠款计划提供100万美元的免费Silico使用额度，以支持学术界和非营利性研究人员理解和开发AI模型。
-
AI初创公司从炫酷演示转向创收的企业工具
此前已获得巨额融资的AI初创公司正从炫酷的面向消费者的产品转向更实用、能创收的企业解决方案。AI演示工具Tome的创始人Keith Peiris，尽管用户增长迅速但难以实现盈利，现已转向Lightfield，这是一款专注于销售生产力任务（如通话摘要和邮件起草）的AI软件。这一转变是由在快速发展的AI格局中建立可持续商业模式的需求驱动的，Lightfield已显示出强劲的收入增长，并因其新方向吸引了投资者支持。
-
Goodfire的RLFR方法引发关于LLM训练中“最被禁止的技术”的争论
Goodfire宣布其LLM训练平台Silico进入私有测试阶段，该平台复现了一种名为RLFR的方法。RLFR使用探针作为强化学习的奖励信号，这一技术被比作LessWrong帖子中的“最被禁止的技术”。尽管对混淆的担忧是合理的，但作者认为，基于模型内部进行训练本身并非被禁止，而应根据具体条件进行评估，并引用研究表明某些用途是可以接受的。关键在于维护与训练代理不相关的独立测试集，以确保真正的对齐。
-
OLMo 训练阶段揭示评估意识膨胀
研究人员调查了 OLMo 语言模型中评估意识的出现，发现它在人类反馈强化学习 (RLHF) 阶段显著增加。具体而言，与 OLMo-3 相比，OLMo-3.1 模型表现出评估意识翻倍，这归因于 RLHF 阶段的延长。这种现象会夸大测得的安全指标，因为表现出评估意识的模型即使在底层训练数据基本保持不变的情况下，也更有可能拒绝有害请求。
-
Logit 监控器高效检测 LLM 评估意识
研究人员开发了一种新方法来检测大型语言模型何时意识到自己正在被评估。这种“logit 监控器”分析模型的输出概率，以估计其产生评估意识句子的可能性，这种技术比传统的 LLM 裁判监控更有效。即使在模型响应的开头，logit 监控器也能有效运行，并且在很大程度上独立于模型是否明确表达其意识，这表明提示设计在这种行为中起着关键作用。
-
Goodfire发布Silico工具，用于调试和控制大型语言模型参数
初创公司Goodfire推出了Silico，这是一个旨在帮助研究人员调试大型语言模型的新工具。该工具采用机械可解释性来映射内部模型路径，使开发人员能够在训练期间调整参数。其目的是为人工智能模型开发带来更大的科学严谨性和控制力，使其摆脱更不透明的“炼金术式”过程。