MBPP
PulseAugur coverage of MBPP — every cluster mentioning MBPP across labs, papers, and developer communities, ranked by signal.
- instance of HumanEval 70%
- instance of large-language models 70%
- developed large-language models 70%
- used by BigCodeBench 70%
- developed by large-language models 70%
- used by CatalyzeX 70%
- instance of CatalyzeX 70%
- used by Math-500 70%
- used by Gotit.pub 70%
- instance of Gotit.pub 70%
- instance of DagsHub 70%
- instance of alphaXiv 70%
8 天有情绪数据
-
新的 STDec 解码方法提高了 dLLM 的效率和稳定性
研究人员推出了一种新颖的扩散大语言模型 (dLLM) 解码方法 STDec,可提高效率并保持生成质量。与依赖全局置信度阈值的方法不同,STDec 结合了空间和时间稳定性来指导解码过程。这包括根据相邻的解码状态和去噪步骤中预测的 token ID 的一致性来动态调整 token 自适应阈值。STDec 无需训练,并且与现有的加速技术兼容,展示了显著的加速效果,例如在 MBPP 基准测试上使用 LLaDA 实现了 14.17 倍的提升,同…
-
AI模型评估从令牌预测演进到复杂工作流
前沿AI模型的评估已经经历了不同的时代,从简单的令牌预测和对数似然评分,到评估指令遵循,再到验证数学、代码、事实性和安全性。随后的时代侧重于推理能力,最近则关注端到端工作流,模型利用工具来完成复杂任务。这一进展使得评估单位从单个令牌扩展到整个作业,评分方法也从似然度转向精确匹配、评分标准和环境结果。在这些时代中,一个重大的挑战是评估方差,即即使在同一模型上多次运行相同的评估,分数也可能因采样噪声而波动。
-
新 LLM 引擎使 Qwen3.6 性能比 vLLM 提升高达 95%
一款新的大型语言模型(LLM)运行引擎在性能上展示了比 vLLM 显著的提升,尤其是在 Qwen3.6 模型上。基准测试显示,该引擎在单个 GPU 上可实现高达 95% 的输出量提升,与经过优化的 vLLM 设置相比,吞吐量增益范围在 1.5 倍到 1.95 倍之间。该引擎还能减少首次 token 的延迟,在突发流量场景下,中位数提升高达 8.56 倍。这些优化对于 Qwen3.6 等中型开源模型尤其有利,这些模型因其能力和硬件要求的…
-
新的 GIST 方法通过选择信息性数据来增强离线 RLVR
研究人员开发了 GIST(Gibbs-Targeted Hierarchical Data Selection),一种用于改进具有可验证奖励(RLVR)的离线强化学习的新方法。GIST 侧重于在训练过程中选择更具信息量的响应和 token,而不是监督每个响应的每个部分。该方法使用 KL 散度分析策略与其目标之间的不匹配,识别出哪些正确和不正确的响应,以及其中哪些特定的 token 对学习最关键。当应用于 GSM8K、MATH-500 …
-
新型LLM Spark-X2.6-1.7B在RTX 4090上实现769 tokens/sec
一款名为Spark-X2.6-1.7B的新语言模型已发布,并配备了名为DSpark的配套技术,在单块NVIDIA RTX 4090 GPU上实现了每秒769个token的吞吐量。该性能是在GSM8K基准测试上使用llama.cpp的Q4_K_M量化实现的。DSpark技术通过并行验证多个草稿token,实现了高达2.43倍的BF16精度加速,提高了效率。该模型可在Hugging Face和ModelScope上根据Apache 2.0许可证下载。
-
LinMix 方法优化语言模型预训练数据混合
研究人员开发了 LinMix,一种用于优化语言模型预训练数据领域混合的新颖方法。与依赖广泛的代理模型训练和回归的传统方法不同,LinMix 将问题视为领域归因。它在有上限的单纯形上采用无超参数的顶点采样策略,该策略可以去相关领域效应,并使线性模型能够直接识别具有积极贡献的领域。使用 OLMo2 和 Qwen 3.5 模型进行的实验表明,LinMix 在 MBPP 和 GSM8K 等基准测试上的表现显著优于现有方法,在准确性方面比非线性…
-
新指标评估大型语言模型代码生成中的有害记忆
研究人员开发了一种名为有害记忆指数(HMI)的新指标,用于评估大型语言模型(LLM)在代码生成方面的表现,特别关注有害记忆而非良性代码重用。HMI评估模型在任务语义改变时生成与原始解决方案高度相似代码的倾向,从而导致性能下降。在MBPP+和BigCodeBench数据集上的实验表明,模型规模与HMI不一定相关,监督微调会增加HMI,而近端策略优化提供了更好的准确性-HMI权衡。
-
HarnessMM 方法通过递归自我改进降低 AI Agent 的 Token 使用量
研究人员开发了 HarnessMM,一种提高 AI Agent Harness Token 效率的新方法。该技术采用递归自我改进 (RSI) 和受保护的决策重用,使 Agent 能够重用先前已解决的决策并减少冗余推理。HarnessMM 在 HumanEval 和 MBPP 等基准测试中,在保持或提高成功率的同时,显著降低了 Token 使用量。
-
编码AI模型在HumanEval上并列第一,新指标揭示效率提升
三款领先的编码模型 StarCoder2、DeepSeek Coder 和 Code Llama 在 HumanEval 基准测试中并列获得74%的分数。引入了另一项衡量代码效率的指标 MBPP,结果显示其中一款模型生成的代码比其他模型短25%。该基准测试旨在评估AI生成代码的正确性和简洁性。
-
新框架揭示AI代理偏爱无效资源
一项新的研究论文介绍了一种名为Banzhaf资源归因(BRA)的框架,该框架旨在衡量不同资源对修复失败AI代理的边际贡献。研究评估了六个模型在编码任务上的表现,发现与任务相关的规范能显著改善修复效果,而公共测试反馈带来的收益很小,检索到的代码几乎没有益处。研究还指出,前沿模型常常优先考虑反馈而非更有效的资源,这表明代理偏好与实际修复效果之间存在差距。
-
TraceForge 以学生模型风格生成 AI 推理轨迹
研究人员开发了 TraceForge,这是一种用于为 AI 模型生成推理轨迹的新颖方法,尤其是在无法直接从教师模型进行推理或受到限制时。该技术涉及一个两阶段的训练过程,其中生成器学习模仿学生模型的推理风格,而批评者评估这些轨迹的真实性。TraceForge 在独立评分中达到了 0.68 的平均真实性得分,优于真实轨迹(0.66)。当应用于编码基准测试时,与使用教师模型自身的推理相比,TraceForge 生成的推理在 HumanEva…
-
新的CATS方法优化LLM多智能体系统,提升准确性和效率
研究人员开发了对比归因拓扑搜索(CATS)这一新方法,通过识别最有效的智能体及其通信路径来优化多智能体系统(MAS)。CATS利用LLM根据个体智能体对任务表现的贡献来分配功劳,从而能够修剪表现不佳或可能有害的智能体。该方法在BigCodeBench和MBPP等基准测试中显著提高了准确性和效率,并在HotpotQA上证明了其能有效抵御对抗性提示投毒攻击。
-
新的 REPOCOD 基准显示 LLM 在实际编码任务中遇到困难
一个名为 REPOCOD 的新基准已被开发出来,用于评估大型语言模型(LLM)在实际编码任务中的能力。现有的 CoderEval 和 HumanEval 等基准因侧重于短代码补全或有限规模的项目而受到批评,未能代表实际软件开发的复杂性。REPOCOD 包含来自 11 个流行项目的 980 个完整函数生成任务,其中一半以上需要仓库级别的上下文,并包含开发人员编写的测试用例。对 REPOCOD 上十个 LLM 的评估显示,没有一个 LLM…
-
新的TeCoP方法将扩散LLM解码速度提高了11.77倍
研究人员开发了一种名为试探性上下文流水线(TeCoP)的新解码方法,以加速扩散大型语言模型(dLLMs)。TeCoP将预测就绪性与其作为上下文的效用分离开来,从而实现交错的块并行流水线和草稿-验证方法。该方法将稳定的但未提交的预测重用为临时上下文,并基于置信度和稳定性检查进行提交。在LLaDA和Dream dLLMs上,跨GSM8K、Minerva MATH和MBPP基准的实验表明,TeCoP将前向评估减少了高达87%,并将吞吐量提高…
-
TraceForge 生成合成推理数据以提升 LLM 性能
研究人员开发了 TraceForge,一种用于生成模拟目标模型推理风格的合成训练数据的新颖方法。该方法绕过了某些前沿 AI 实验室对其专有输出来进行训练的限制。TraceForge 使用两阶段的监督和对抗过程,从上下文和教师答案中创建推理轨迹,达到了很高的真实性分数。当应用于编码基准测试时,与使用教师模型自身的推理相比,使用 TraceForge 生成的数据进行训练显著提高了在 HumanEval+ 和 MBPP+ 上的性能。
-
研究表明,较小的AI模型可以通过多次尝试来匹配较大的模型
一篇新的研究论文探讨了一种方法,通过多次运行较小的语言模型并选择最佳输出来提高其性能。这种被称为“验证重试”的方法可以恢复因模型大小或压缩而损失的大部分准确性。例如,在几个代码生成基准测试中,使用八次并行尝试的7B Qwen模型取得了与32B模型相当或更优的性能,同时占用的内存大大减少,运行速度更快。
-
STAPLE方法通过静态稀疏内存增强LLM容量
研究人员开发了STAPLE,一种将静态稀疏内存集成到预训练语言模型中的新颖方法。该方法在不按比例增加计算成本的情况下增强了模型容量,性能优于现有的稀疏升级技术。STAPLE在HumanEval和GSM8K等基准测试中取得了显著的性能提升,并且与Mixture-of-Experts模型相比,在速度、内存使用和能耗方面也表现出更高的效率。
-
新的MARGIN方法校准基础模型置信度以实现更好的协调
一种名为MARGIN的新方法已被开发出来,通过校准基础模型自我报告的置信度分数来改进多个基础模型的协调。该方法解决了不同模型的置信度水平可能无法准确反映其性能的问题,尤其是在工作负载变化的情况下。MARGIN在运行时学习特定于模型的置信度校正,无需重新训练模型或需要单独的校准数据集,从而提高了代码生成和问答等任务的准确性。
-
MIRROR 原始机制可防御针对 LLM 多智能体通信的攻击 · 已追踪 2 个来源
研究人员推出了一种新颖的通信层完整性原始机制 MIRROR,旨在保护大型语言模型多智能体系统 (LLM-MAS) 免受中间人攻击 (AiTM)。MIRROR 将消息复制到多个逻辑路径,仅当严格多数路径报告相同的摘要时才接受消息,从而防止传输中的消息被篡改。在跨各种基准和框架的测试中,此方法有效地将攻击成功率降至 0%,同时与 LLM-as-a-Judge 等替代方法相比,计算成本极低。
-
新的蒸馏方法旨在提高LLM的能力和安全性
研究人员正在探索用于大型语言模型的高级蒸馏技术,重点是提高能力同时降低风险。一种名为ReCal的方法通过校准剪枝来保留关键的教师支持的预测,从而提高策略内蒸馏恢复能力,带来更好的数学推理和代码生成。另一项研究引入了“用于归罪的蒸馏”(DFI)和“用于能力的蒸馏”(DFC),以揭示或隐藏教师模型的失准,其中DFI在检测隐藏行为方面显示出潜力。此外,SAPD和PIVOT等方法旨在通过优化知识在模型之间的转移方式来改进策略外学习和少样本分类…