实体
sonnet-4-6
sonnet-4-6
PulseAugur coverage of sonnet-4-6 — every cluster mentioning sonnet-4-6 across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
AI代理基准测试存在缺陷：模拟用户在 24% 的成功案例中违反规则
一个名为 UserProxyBench 的新基准测试，由 Ashish Jain 和 Armaan Sandhu 开发，揭示了当前代理评估方法的一个重大缺陷。该基准测试发现，在近四分之一的成功运行中，模拟用户（通常是另一个语言模型）违反了自己的指示。这些违规行为，特别是过早泄露信息，使得代理的任务更容易完成，而未能反映其真实能力，从而导致成功分数虚高。研究强调，用户代理的选择会极大地改变基准测试结果，不同模型的用户保真度得分（User…
-
新的SPL语言统一了LLM编排和符号计算
研究人员推出了一种名为SPL（Structured Prompt Language）的新型声明式语言，旨在将确定性和概率性计算统一在单一规范中。与目前将LLM调用编排系统与用于计算的符号工具分开的框架不同，SPL整合了两者。它提供了用于概率性（GENERATE/EVALUATE）和确定性（SOLVE/ASSERT）操作的特定命令，允许在调用时灵活选择模型和验证器。在20个问题上对10个模型进行的实验表明，SPL的求解器在机器验证的正确…