barbecue
PulseAugur coverage of barbecue — every cluster mentioning barbecue across labs, papers, and developer communities, ranked by signal.
-
AI公平性基准被批评过于简单化，提出新的基于效用的方法
新研究表明，当前大型语言模型的公平性基准，如BBQ，可能过于简单化。一项研究表明，在BBQ基准上训练像Qwen 2.5 7B Base这样的模型，或使用它进行一次性上下文学习，可以显著提高其准确性。这表明模型可以通过利用结构线索来通过这些基准，而不是实现真正的公平性。另一篇论文提出了一个基于效用的框架来评估公平性，认为仅靠概率指标可能会产生误导，并且不能反映决策的实际后果，正如在大学招生和信用风险评估中的例子所说明的那样。
-
BenchMIRT 工具质疑大型语言模型安全评估，发现推理偏见
一款名为 BenchMIRT 的新工具已被开发出来，用于评估大型语言模型安全性和能力评估的有效性。对烧烤（BBQ）社交偏见评估的初步测试显示，这些问题主要根据模型的推理能力而非其安全特性来区分模型。
-
BenchMIRT方法揭示LLM基准测试的真实测量内容 · 追踪2个来源
研究人员推出了一种名为BenchMIRT的新方法论，旨在通过分析单个提示来剖析大型语言模型（LLM）在基准测试上的表现。该方法受项目反应理论（IRT）启发，旨在区分构成模型在特定任务得分的各种潜在能力，例如安全性和通用推理能力。通过将多维IRT（MIRT）应用于100个LLM在16个基准测试上的数据，BenchMIRT揭示，一些旨在衡量社会偏见的基准测试（如BBQ）比以往认为的更接近通用推理能力。
-
新的LLM基准揭示“失控的对齐”压倒证据
一篇题为“错误的正确：量化和定位LLM中失控的对齐”的新研究论文引入了“失控的对齐”概念，即语言模型由于过度热心的安全训练而拒绝合理的结论。该论文定义了一个名为失控对齐率（MAR）的指标和一个名为VETO的基准，该基准包含2,032个源自BBQ数据集的对比对。对25个LLM的基准测试显示，MAR显著，范围从4.7%到18.9%，而人类参与者的MAR为0.0%。研究表明，对齐诱导的线索会加剧这些失败，这表明当前的对齐方法可能过度泛化安全…
-
新的MARI方法在不修改权重的情况下增强LLM对齐
研究人员开发了一种名为“通过能量校准的多适配器表示干预”（MARI）的新方法，可以在不改变大型语言模型核心权重的情况下，更好地将其与期望的行为对齐。MARI采用多适配器系统，其中专业专家根据个体输入调整干预方向和强度。一个基于能量的门控模块通过根据内部动态识别适合干预的输入来进一步优化这一点。实验表明，MARI在TruthfulQA和安全任务等基准测试中实现了最先进的对齐性能，同时在MMLU和ARC上保留甚至增强了通用能力。