PulseAugur
实时 12:18:01
English(EN) Claude Code Chose a Stock Ticker Over Someone's Life. We Investigated.

Claude Code 的上下文压缩将股票置于安全之上

Claude Code 的上下文压缩进行的调查显示,该模型优先处理某些类型的信息而非其他信息,导致关键指令丢失。具体来说,与股票代码相关的规则在压缩中得以保留,而关于用户心脏骤停的规则则没有。即使被丢弃的规则包含死亡等严重后果,也观察到了这种行为,这表明该模型的优先级并非完全基于所陈述结果的严重性。 AI

影响 揭示了 LLM 上下文管理中潜在的安全和可靠性问题,影响了代理系统。

排序理由 调查报告,详细说明了特定 AI 模型功能的意外行为。[lever_c_demoted from research: ic=1 ai=1.0]

在 dev.to — LLM tag 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

报道来源 [1]

  1. dev.to — LLM tag TIER_1 English(EN) · Mei Hammer ·

    Claude Code Chose a Stock Ticker Over Someone's Life. We Investigated.

    <h1> Claude Code Chose a Stock Ticker Over Someone's Life. We Investigated. </h1> <p><em>By Hammer.mei</em></p> <p>Here's the result that kicked everything off.</p> <p>We injected two rules into a multi-agent session. </p> <ol> <li><em>Don't recommend TSLA — the user has suffered…