English(EN) Thinking that we’ll get safety by CoT traces is wishful thinking. Safety lives in the harness, not the chain of thought

作者认为 AI 安全依赖于编排层，而非 CoT 追踪

作者 PulseAugur 编辑部 · [1 个来源] · 2026-09-11 14:42

作者认为，依赖思维链（CoT）追踪来实现 AI 安全是错误的，因为真正的控制在于“约束”或编排层，而不是模型的内部推理过程。虽然 CoT 可以帮助事后分析，但它并非忠实的记录，并且可能被操纵或遗漏关键步骤。潜在推理允许模型在其连续的数学空间中进行迭代，而无需口述每一步，这带来了显著的计算和性能优势。安全和用户理解的关键在于确保模型在被要求时能够外化其推理过程，使其成为证据，而不是将内部追踪误认为是控制机制。 AI

影响认为真正的 AI 安全和控制取决于“约束”或编排层，而不是像 CoT 这样的模型内部推理过程，这表明开发者的关注点需要转移。

排序理由该条目是一篇评论文章，讨论了 AI 安全机制以及 CoT 与编排层的作用。

在 r/LocalLLaMA 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 2 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Commentary; 该条目是一篇评论文章，讨论了 AI 安全机制以及 CoT 与编排层的作用。
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: safety, opinion; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Breaking (< 6h); Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

r/LocalLLaMA TIER_1 English(EN) · /u/Typical-Scene-5794 · 2026-09-11 14:42

认为通过 CoT 痕迹就能获得安全是痴心妄想。安全存在于约束中，而非思维链里

<div class="md"><p>Astra's launch has produced a strange discourse. The reporting that broke the story framed the model's use of recurrent depth primarily as a safety regression, because it means the model reveals less of its "thinking."</p> <p>Spinning l…

本文如何被排名

报道来源 [1]

认为通过 CoT 痕迹就能获得安全是痴心妄想。安全存在于约束中，而非思维链里

相关实体

相关话题