interactive machine learning
PulseAugur coverage of interactive machine learning — every cluster mentioning interactive machine learning across labs, papers, and developer communities, ranked by signal.
7 天有情绪数据
-
AI 从不完整数据生成 Bug 验收标准
一个 AI 正在被赋予任务，根据管理团队提供的不完整信息来生成软件 Bug 的验收标准。这种方法引起了人们的担忧，即 AI 尽管缺乏细节，仍会产生自信但可能无法实现的标准。开发人员随后可能需要充当“人工循环”来完善这些 AI 生成的标准。
-
人工干预系统通过语音通话提高 AI 代理的可靠性
Omar Sanseviero 开发了一个人工干预系统，以提高代理循环的可靠性，特别是对于涉及 Claude 和 Codex 的任务。该系统利用语音代理和 DialAgent 的专用 MCP 服务器，允许代理在 Sanseviero 离开电脑时通过电话升级决策。该设置旨在简化 AI 代理的通信和验证过程。
-
通过Claude自动化收件箱来解析AI概念
作者解释了如何通过使用Claude自动化收件箱，从而对几个现代AI概念有了实际的理解。通过使用Claude处理赞助邮件，作者对大型语言模型（LLMs）、代理（agents）、上下文工程（context engineering）、循环工程（loop engineering）、子代理（subagents）、约束工程（harness engineering）和人机协同系统（human-in-the-loop systems）有了深入的了解。…
-
AI 安全中的人工监督常因自动化偏见而失败
AI 安全中的人工监督常常无效，因为它会产生虚假的安全感，而未能真正防止错误。虽然审批关卡可以减少 AI 提出的问题操作数量，但由于自动化偏见和在时间压力下倾向于橡皮图章式地批准建议，人工干预的成功率仍然很低。通过人工监督机制实现的真正 AI 安全改进仅在错误后果严重且人类能在给定时间内实际检测并纠正错误时才会发生，这需要为有效监督进行特定的设计考量。
-
Reddit 用户为 AI 模型调优寻求本地语音标注工具
一位 r/MachineLearning 版块的用户正在寻求语音标注工具的推荐。他们特别寻找支持“人在回路”流程的平台，该流程允许自动转录，然后进行手动校正和模型微调。用户的主要要求是本地可安装的平台，而不是在线服务。
-
人在回路（Human-in-the-loop）系统未能成为安全网，导致“警报疲劳”
人在回路（Human-in-the-loop）系统常被视为一种安全措施，但实际上，它们可能导致“警报疲劳”，类似于过度劳累的急诊室或被迫不断监控和干预的自动驾驶汽车驾驶员。这可能导致开发人员因工作量巨大而对关键警报变得麻木，就像开发人员在大量工作中不经彻底审查就批准重大代码更改一样。核心问题在于系统设计的失败，人类成为了瓶颈，而不是真正的保障。
-
新贝叶斯优化框架通过专家输入增强生物工艺开发
研究人员开发了一个增强的“人在回路”贝叶斯优化框架，称为帕累托前沿引导采样（PFGS）。该框架允许领域专家通过将高斯过程代理派生出的量重新表述为多目标优化问题来交互式地选择最优候选者。该系统现在通过考虑满足规格限制的概率来纳入约束优化，并通过估计输入扰动下的性能下降来纳入鲁棒优化。扩展的PFGS框架在中国仓鼠卵巢（CHO）细胞培养模拟器上进行了演示，成功识别了高性能、可行且对扰动具有弹性的操作条件。
-
新基准和方法应对 AI 幻觉
研究人员正在开发新方法来对抗 AI 模型中的幻觉。MedBench v5 为临床 AI 提供了一个动态的、面向过程的基准，专注于评估特定技能和检测幻觉传播。另外，Grad Detect 在推理过程中使用梯度分析来预测幻觉，其表现优于其他方法。另一种方法是使用多模型共识，其中不同 LLM 之间的同意信号表示更可靠的答案，并将分歧标记出来以供审查。
-
Cory Doctorow 的 AI 观点引发关于人类角色的辩论
Cory Doctorow 因其关于人类在 AI 中作用的观点而受到批评，特别是他关于“人机协作”（human-in-the-loop）概念的立场。批评者认为他的方法是挑衅而非提供解决方案，将他的想法比作“反向半人马”和“enshitification”。尽管受到批评，他挑衅性的风格被认为有助于激发围绕 AI 监管的讨论。
-
LLM辅助系统通过自然语言交互增强工业规划
一篇新论文介绍了一个混合系统，该系统结合了满足模理论（SMT）规划器和大型语言模型（LLM），用于工业自动化规划。该系统旨在提高规划器反馈的可解释性和知识模型的适应性。LLM层促进自然语言交互、解释和知识模型适应，并由人类监督确保正式规划的正确性。
-
论文称“人类清洗”是误导性人工智能监督声明的术语
一篇新论文认为，“人工干预”（human in the loop）这个常用短语经常被误用，暗示人工智能安全，而实际上它掩盖了关键流程和结果。这种做法被称为“人类清洗”（humanwashing），类似于“漂绿”（greenwashing），用于在没有真正问责的情况下让人工智能系统看起来更受欢迎。作者认为，不加区分地使用“循环”隐喻阻碍了对人工智能决策中人工监督的真正理解。
-
人工干预式 AI 监督被重新定义为“末日滚动”
在编排 AI 代理的背景下，“人工干预”（HITL）的概念被重新定义为潜在的陷阱，类似于“末日滚动”。这种观点认为，虽然人工干预通常被视为一种安全措施，但在管理复杂的 AI 系统时，它可能会无意中导致效率低下或工作流程不堪重负。讨论强调了我们在 AI 代理操作中整合人类监督的方法的转变。
-
AI研究人员探讨自适应系统与失控之间的界限
文章《不确定性架构》探讨了自适应AI系统与可能失控之间的微妙界限。文章深入探讨了宪法式AI、人工干预（Human-in-the-Loop）方法和元反思（Meta-Reflection）等概念，作为管理这种不确定性的方法。文章提出了关于AI系统适应性边界的问题。