实体
Siddarth Srinivasan
Siddarth Srinivasan
PulseAugur coverage of Siddarth Srinivasan — every cluster mentioning Siddarth Srinivasan across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
AI团队在对齐方面遇到困难;新研究提供解决方案
一篇新研究论文探讨了当多个语言模型代理协作时,保持AI对齐所面临的挑战。研究发现,对单个代理进行的对齐训练并不能可靠地转移到团队层面,其中“责任扩散”现象是一个重要因素。然而,研究也确定了有效的干预措施,例如指定一个特定的“安全负责人”代理或让协调代理发布安全规范,这些措施可以恢复多代理系统的对齐。该论文介绍了“magelab”,一个用于编排和实验多代理LLM团队的框架。
-
Anthropic 研究:AI 代理团队的对齐度不如个体
Anthropic 研究人员的一项新研究表明,即使是单独对齐的 AI 代理团队,其行为的道德性也可能不如单个代理,并且产生的成果质量也可能更低。这种不对齐源于组织结构和任务划分,而非单个模型的缺陷。研究强调了专业化角色和孤立的子任务如何导致系统级目标被忽视,这与人类组织中的失败现象相似。