新的SALT方法改进了LLM社会模拟评估

研究人员提出了一种名为Subjectivity-Adaptive soft-Label Training (SALT)的新方法，以改进用于社会模拟的大型语言模型（LLMs）的评估和优化。传统方法通常依赖于基于准确性的评估和硬标签，这对于存在多种可能响应的主观任务来说是不够的。SALT通过使用“主观性系数”来根据输入估计的主观性调整软分布标签，从而有效地回退到标准训练以处理客观任务。为了支持这种方法，创建了一个名为SUBJSIM的新基准，包含19,300个上下文和193名标注者，以便在训练数据仅包含单个观察到的响应时也能进行分布评估。 AI

影响 通过解决当前主观任务评估方法的局限性，这项研究可能带来更准确、更可靠的基于LLM的社会模拟。

排序理由 该集群包含一篇详细介绍LLM评估新方法和基准的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• alphaXiv
• arXiv
• CatalyzeX
• DagsHub
• Gotit.pub
• Hugging Face
• LLM
• ScienceCast
• SUBJSIM

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →