研究人员开发了 Task-CoEvolve,一种显著降低优化大型语言模型 (LLM) Harness 计算成本的新方法。该方法自适应地选择对区分不断演变的 Harness 候选最有信息量的验证任务,而不是在每次迭代中评估一组固定的任务。通过关注候选 Harness 存在分歧的任务,并从部分评估中估计全集性能,Task-CoEvolve 在达到与传统方法相当的最终性能的同时,将评估成本降低了高达 80%。该方法已在 Terminal-Bench 2.1 等基准测试中证明了其有效性。 AI
影响 降低了 LLM 开发和评估的计算成本,可能加速迭代改进周期。
排序理由 该集群描述了一篇详细介绍 LLM Harness 优化新方法的最新研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →