PulseAugur
中
实时 09:07:55
实体 Alpaca-Eval

Alpaca-Eval

PulseAugur coverage of Alpaca-Eval — every cluster mentioning Alpaca-Eval across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
0
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 3 条
  1. COMMENTARY · CL_273809 ·

    研究发现:大型语言模型评估成本可达基线工作负载的10倍

    评估大型语言模型(LLM)的成本常常被忽视,这会产生一笔“影子账单”,超出直接推理成本。这种隐藏的开销源于证明可靠性所需的多次部署、对输出进行的大量裁判评估以及数据保留。有供应商报告称,一位数据主管表示,LLM作为裁判的评估成本是基线代理工作负载的十倍,但这只是一个轶事而非基准。τ-bench论文表明,要达到高可靠性,例如GPT-4o的8次通过成功率,需要进行大量部署,仅模拟和代理执行每项任务的成本就约为200美元。

  2. RESEARCH · CL_90870 ·

    BayLing-Duplex 使单个 LLM 能够实现原生全双工语音对话

    研究人员开发了 BayLing-Duplex,这是一种新颖的全双工语音语言模型,无需依赖外部轮流模块即可实现同时听和说。这个单一的自回归 LLM 可以处理自然的对话现象,如打断和犹豫。通过一个适度的数据集进行微调,BayLing-Duplex 在轮流和打断处理方面表现出很高的成功率,同时与基于轮流的模型相比,保持或提高了响应质量。

  3. RESEARCH · CL_08284 ·

    研究人员探讨上下文学习与多语言模型指令微调的对比

    研究人员正在探索语言模型传统指令微调的替代方案,特别是针对小型和多语言模型。一篇论文研究了上下文学习(ICL)在非英语语言和不同模型规模下指令遵循方面的有效性,发现ICL在此类场景下的性能有所下降。另一项研究引入了M-DaQ,一个用于创建高质量、多样化多语言指令微调数据集的框架,该框架能提升模型在18种语言上的性能。第三篇论文提出了一种名为加权上下文影响(wICI)的数据选择方法,用于识别有效的指令微调数据,在数据受限的情况下优于现有基线。