研究人员开发了一个新框架，用于衡量不同大型语言模型（LLM）在为任务检索和排序外部API时存在多少分歧。研究发现，在各种API领域和主要模型家族中，一致性适中但存在显著差异，具体取决于任务类型。结构化任务显示出更高的一致性，而开放式推理任务导致更大的分歧，这凸显了多智能体LLM协调中潜在的安全风险。 AI
影响 揭示了LLM协调中隐藏的分歧，对多智能体系统构成了部署前的安全风险。
排序理由 学术论文，介绍了用于LLM API检索和排序的新基准框架。
- Cronbach's alpha
- Jaccard similarity
- Kendall's W
- LLM
- Rank-Biased Overlap
- Sentiment Analysis
- Speech-to-Text
- Weather
- Kendall's tau
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
