PulseAugur
中
实时 13:50:20
实体 LiveCodeBench

LiveCodeBench

PulseAugur coverage of LiveCodeBench — every cluster mentioning LiveCodeBench across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
18
90 天内 62
发布 · 30天
0
90 天内 0
论文 · 30天
13
90 天内 47
层级分布 · 90 天
主题
关系
情绪 · 30 天

8 天有情绪数据

最近 · 第 1/4 页 · 共 71 条
  1. TOOL · CL_352192 ·

    新研究因捷径学习质疑 Transformer 的泛化能力声明

    一篇新的 arXiv 论文研究了 Transformer 模型中的组合泛化能力,发现由于忽略了组合等价性和模块覆盖率等因素,之前的评估一直不一致。研究表明,模型经常利用组合等价性等捷径,导致对其真实泛化能力的估计过高。当移除这些捷径时,性能会显著下降,这凸显了设计更鲁棒的基准测试以考虑这些因素的必要性。

  2. TOOL · CL_351030 ·

    AI模型评估从令牌预测演进到复杂工作流

    前沿AI模型的评估已经经历了不同的时代,从简单的令牌预测和对数似然评分,到评估指令遵循,再到验证数学、代码、事实性和安全性。随后的时代侧重于推理能力,最近则关注端到端工作流,模型利用工具来完成复杂任务。这一进展使得评估单位从单个令牌扩展到整个作业,评分方法也从似然度转向精确匹配、评分标准和环境结果。在这些时代中,一个重大的挑战是评估方差,即即使在同一模型上多次运行相同的评估,分数也可能因采样噪声而波动。

  3. TOOL · CL_348174 ·

    TwIL-8B 声称获得最高分数,但面临基准测试和许可的审查

    webAI 发布了 TwIL-8B,这是 IBM Granite 4.2 8B 模型的一个微调版本,声称在编码和数学基准测试方面优于 Qwen3.5-9B。然而,仔细查看模型卡片会发现,TwIL-8B 的最高分数是通过一个特定的详细变体实现的,并且是由 webAI 自我报告的,并未得到独立验证。此外,TwIL-8B 在 GPQA Diamond 等通用知识问答任务中表现出显著不足,表明它针对的是具有可验证答案的问题解决能力,而不是广泛…

  4. TOOL · CL_350527 ·

    新的ODSA框架通过协同的测试时扩展提升LLM准确性

    研究人员推出了一种名为ODSA(协同发现与自聚合)的新型框架,旨在通过智能的测试时扩展来提高语言模型的准确性。ODSA采用一个协调器LLM来指导无状态工作者,利用生成新解决方案或改进现有解决方案等现有扩展方法。这种方法允许协调器分配计算并将结果顺序馈送,确保每个决策都基于先前的行动。该框架在多个模型上的人类最后考试(Humanity's Last Exam)和LiveCodeBench等基准测试中都显示出显著的准确性提升。

  5. TOOL · CL_349298 ·

    Kimi-K3.1-Pro-Coder 模型通过多层量化将大小缩减至 775 GB

    一种名为 Kimi-K3.1-Pro-Coder (2.8T) 的 Kimi-K3.1-Pro-Coder 模型的新实验性量化已被开发出来,将其大小从 1.77 TB 减少到 775 GB。这是通过多层量化策略实现的,不同的专家以不同的比特率(2.81 bpw、2.56 bpw 和 1.44 bpw)进行量化,而核心组件则保持较高精度。该模型利用了一个名为 Strata 的自定义加载器和卸载引擎,该引擎将专家分布在 GPU VRAM、…

  6. RESEARCH · CL_344408 ·

    AI代码正确性预测器在跨语言和基准测试中的鲁棒性得到检验

    一篇新的研究论文调查了大型语言模型在判断代码正确性方面的可靠性,特别是在面对跨不同项目和编程语言的分布变化时。该研究在Qwen3-Coder-30B和GPT OSS 20B等模型上比较了六种无执行预测器,评估它们预测模型判断和程序实际正确性的能力。因果定位方法在判断正确性方面显示出对语言变化的鲁棒性有所提高,优于非因果预测器,尽管这种优势并非在所有模型或基准变化中都一致。

  7. TOOL · CL_342218 ·

    新的LLM路由策略在固定预算内最大化任务完成率

    研究人员开发了一种名为ADP-HT的新型上下文老虎机策略,旨在优化在固定预算内将任务分配给大型语言模型(LLM)的效率。该策略学习特定于任务的成功概率,并使用粗粒度的响应长度标签来估计成本,目标是在预算耗尽前最大化已解决的任务数量。在MATH500、GPQA、RouterBench和LiveCodeBench等基准测试中,ADP-HT表现优于现有基线,甚至在严格的预算限制下也优于已部署的商业路由器。

  8. TOOL · CL_342171 ·

    EvoGuard系统可防止演进中的语言代理技能退化

    研究人员开发了EvoGuard,一种防止在线演进技能的语言代理中出现技能退化 的新颖方法。现有方法会离线更新技能或在未经充分检查的情况下采纳新技能,导致性能下降。EvoGuard使用成对技能选择器和拒绝采样来识别并仅保留明显更优的技能,与传统的验证方法相比,显著降低了延迟和成本。该方法在ALFWorld、ScienceWorld和LiveCodeBench等各种基准测试中均显示出成功率的提高。

  9. SIGNIFICANT · CL_341639 ·

    WebAI 发布 TwIL-8B 推理模型,在 MATH-500 基准测试中名列前茅

    WebAI 推出了 TwIL-8B,一个拥有 88 亿参数的推理模型,该模型基于 IBM 的 Granite 4.2 8B 构建。该模型在数学和编码任务方面表现出色,在 MATH-500 基准测试中取得了 98.2 分,并且设计用于在具有适度 VRAM 的 CPU 或 GPU 上进行高效推理。与类似模型相比,TwIL-8B 在推理 token 使用量方面也有所减少,尽管在基于知识的基准测试中表现稍逊。

  10. TOOL · CL_347829 ·

    新的ADP-HT策略在固定预算内优化LLM使用

    研究人员开发了一种新的上下文老虎机策略ADP-HT,用于在固定预算内优化大型语言模型(LLM)的使用。该策略旨在通过学习模型成功概率和创建保守的成本估算来最大化在预算耗尽前解决的任务数量。ADP-HT根据实际支出和可用预算调整成本惩罚,在MATH500、GPQA、RouterBench和LiveCodeBench等基准测试中表现优于现有基线,尤其是在预算紧张的情况下。

  11. TOOL · CL_332332 ·

    Unsloth 发布 DeepSeek-V4.1 Dynamic V3.1 GGUFs,声称准确率有所提升

    Unsloth 发布了 DeepSeek-V4.1-1017 Dynamic V3.1 模型的新 GGUF 版本,声称与其它 GGUF 格式相比,在准确率和尺寸效率方面更胜一筹。据报道,在 AIME25 和 LiveCodeBench 等各种指标的基准测试中,即使在较低的比特量化下,Unsloth 的版本也优于竞争对手。该公司还强调了其 Unsloth Desktop 应用程序的新功能,包括浏览器使用和 TTS 管道。

  12. COMMENTARY · CL_320942 ·

    Qwen3.8-27B 编码能力与 Claude Fable 5 持平,成本声称夸大 · 跟踪 1 个来源

    对 Qwen3.8-27B 模型进行的最新分析显示,在使用 vLLM 和协调框架在本地运行时,其编码基准得分与 Anthropic 的 Claude Fable 5 相当。然而,声称 Qwen3.8-27B 的运行成本仅为 Claude Fable 5 的 9% 是不准确的;当使用 API 标价时,实际成本接近 78%。此外,Qwen3.8-27B 模型在与 Claude Fable 5 持平的表现上并未在统计学上超越它,其部分优势归…

  13. TOOL · CL_316398 ·

    Qwen2.5 Coder Instruct 32B 在独立测试中基准分数揭晓

    对 Qwen2.5 Coder Instruct 32B 模型进行的独立评估已得出具体的基准分数。该模型在 GPQA 上得分 41.7%,在 MMLU-Pro 上得分 63.5%,在 Humanity's Last Exam 上得分 3.5%,在 LiveCodeBench 上得分 29.5%。这些结果并非由模型创建者自行报告,提供了对其能力的不同视角。

  14. TOOL · CL_312322 ·

    新的E8-QAT方法实现了高效的二比特大语言模型量化

    研究人员开发了E8-QAT,一个新颖的二比特量化感知训练框架,它利用E8格作为隐式码本。该方法通过算术投影高效地量化权重组,避免了在训练期间存储或搜索显式码本的需要。E8-QAT已在Qwen3.6-35B-A3B模型上证明了其有效性,在四个任务上达到了与全精度相当的性能,并在IFEval和LiveCodeBench上改进了最先进的基线。与bfloat16相比,该框架显著减少了80%的峰值内存,并将解码吞吐量提高了高达1.97倍。

  15. TOOL · CL_294451 ·

    新的COBALT方法使用离线数据改进LLM代码生成

    研究人员推出了一种新颖的多轮代码生成大型语言模型(LLM)训练方法COBALT。该方法利用离线轨迹,比传统的在线强化学习更具成本效益和稳定性。COBALT将多轮代码生成视为一步可恢复的马尔可夫决策过程,训练LLM通过单步代码生成来完成部分轨迹。在LiveCodeBench上的实验表明,R1-Distill 8B和Qwen3 8B等模型取得了显著改进,性能与现有的在线RL基线相当。

  16. TOOL · CL_289335 ·

    新的 SFT-as-Context 方法缓解了 LLM 微调过程中的遗忘问题

    研究人员引入了一种名为 SFT-as-Context 的新颖的无需训练的方法,以解决大型语言模型 (LLM) 监督微调 (SFT) 中的灾难性遗忘问题。该技术允许父模型利用 SFT 模型的响应作为上下文,使其能够通过上下文学习获得专业能力,同时保留其原有的通用知识。在多个模型对和基准测试上的实验表明,SFT-as-Context 在微调任务上的性能接近 SFT 模型,在通用能力方面接近父模型,有效弥合了需要两者兼顾的查询的差距。

  17. TOOL · CL_280384 ·

    新的Mesh Learning方法可防止RLVR训练的LLM出现策略崩溃

    研究人员在通过可验证奖励强化学习(RLVR)训练的大型语言模型中发现了一种称为灾难性策略崩溃的现象。当GRPO等算法过度限制模型的推理能力,导致不同策略无法访问时,就会发生这种崩溃。为了解决这个问题,开发了一种名为Mesh Learning的新方法,该方法鼓励保留多种推理策略。在AIME26和GPQA等基准测试上的实验表明,当应用于Qwen和Phi Llm等模型时,Mesh Learning的性能明显优于现有方法。

  18. TOOL · CL_280138 ·

    新的IntentCoding策略提高了LLM代码生成对用户意图的遵循度

    研究人员开发了一种名为IntentCoding的新解码策略,以提高大型语言模型(LLMs)在代码生成中遵循复杂用户指令的能力。该策略在不要求额外模型训练的情况下,增强了用户意图在生成过程中的影响力。为了便于评估,创建了一个名为CodeConstraints的新基准数据集,专门用于测试对多重约束的遵循情况。实验表明,与标准解码方法相比,IntentCoding在约束满足度和功能正确性方面均有显著提升。

  19. TOOL · CL_261104 ·

    PrismML 的 Bonsai 2 27B 实现大型 AI 模型近乎无损压缩

    PrismML 发布了 Bonsai 2 27B,这是阿里巴巴 Qwen3.8-27B 模型的高度压缩版本。该新模型使用三元权重,达到了原始模型基准性能的 98.2%,同时将其大小从 54GB 减少到 5.9GB。与以往会降低推理能力的低比特量化方法不同,据报道 Bonsai 2 27B 在数学和编码基准等复杂任务上保持了强大的性能。

  20. TOOL · CL_254740 ·

    论文:LLM 隐藏状态可预测代码正确性

    一项新的论文探讨了使用内省不确定性估计 (IUE) 来衡量大型语言模型 (LLM) 生成代码的正确性。研究表明,LLM 隐藏状态可以在响应和代码行级别上有效指示功能代码的正确性,这对于实际软件工程至关重要。虽然静态单标记探测最有效,但在不同任务和领域上的泛化性有所下降。研究还发现,代码行级别的预测比响应级别的估计更具挑战性,尽管条件定位设置在识别故障点方面显示出有效性。