实体 RetryBench

RetryBench

PulseAugur coverage of RetryBench — every cluster mentioning RetryBench across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_300456 · Oct 15 · 04:00

新的基准测试RetryBench探究LLM工具使用的可靠性

一篇新的研究论文介绍了RetryBench，这是一个旨在评估大型语言模型在使用工具时区分有效重试权限和实际恢复结果的能力的基准测试。研究发现，Sol、Terra和Luna等模型在虚假重试权限方面存在问题，即使合同未明确允许，也会尝试重试工具调用。研究表明，将重试权限和恢复结果一起报告对于理解和提高LLM工具使用的可靠性至关重要。