HumanEval
PulseAugur coverage of HumanEval — every cluster mentioning HumanEval across labs, papers, and developer communities, ranked by signal.
15 天有情绪数据
-
已识别并解决 MoE 扩散解码瓶颈问题
研究人员已在混合专家(MoE)扩散语言模型的解码过程中识别出一个显著的瓶颈。他们发现,在权重量化之后,每个 token 的采样和停止管道(pipeline)而非专家计算,占用了像 NVIDIA GB10 Grace Blackwell 超级芯片这样的带宽受限硬件上的大部分解码时间。该研究提出了优化方案,包括一个融合的单通道熵核(entropy kernel)和 Gumbel-max 采样,这些方案可以在不影响 GSM8K 和 Huma…
-
量化代码大模型:Qwen2.5 Coder 的文件大小和能耗评估
一篇新的 arXiv 论文评估了 Qwen2.5 Coder 大语言模型的量化版本,旨在确定在 MacBook Air M2 上,文件大小、精度和每项已解决任务的能耗之间的最佳平衡点。研究发现,对于较小的文件大小(1-2 GB),1.5B 和 3B 模型的 q4_K_M 量化在正确性和能效方面提供了最佳性能。尽管能耗显著增加,但较低精度的较大模型(如 7B-q2_K 模型)在已解决任务的数量上并未提供显著的提升。
-
Qwen2.5-Coder 量化效率针对笔记本电脑使用场景进行分析
一篇新论文评估了 Qwen2.5-Coder 大语言模型的量化版本,以确定在笔记本电脑本地使用时能效最高的选项。研究人员在 MacBook Air M2 上测试了 24 个不同大小和精度的 GGUF 文件,使用 EvalPlus 基准测试测量每项已解决任务的能耗。研究结果表明,当文件大小时,具有中等量化(如 3B-q4_K_M)的小型模型比具有较低量化(如 7B-q2_K)的大型模型在性能和能效方面能提供更好的平衡。
-
新的大模型技术:字节级转换与高效解码策略
研究人员开发了一种方法,将一个拥有270亿参数的混合注意力大模型Qwen3.8转换为纯字节级模型。该字节级模型在自生成数据上进行训练,在MATH-500和HumanEval+等多个基准测试中表现出竞争力,但在中文特定任务和思维模式评估上性能有所下降。此外,还提出了一种名为Decode Token Parallelism (TKNP) 的新解码策略,以提高大模型在推理过程中,尤其是在长上下文和高并发工作负载下的内存效率和可扩展性。
-
AI模型评估从令牌预测演进到复杂工作流
前沿AI模型的评估已经经历了不同的时代,从简单的令牌预测和对数似然评分,到评估指令遵循,再到验证数学、代码、事实性和安全性。随后的时代侧重于推理能力,最近则关注端到端工作流,模型利用工具来完成复杂任务。这一进展使得评估单位从单个令牌扩展到整个作业,评分方法也从似然度转向精确匹配、评分标准和环境结果。在这些时代中,一个重大的挑战是评估方差,即即使在同一模型上多次运行相同的评估,分数也可能因采样噪声而波动。
-
字节级 LLM 转换保持性能但吞吐量锐减
研究人员开发了一种方法,将一个 27B 参数的混合注意力 LLM Qwen3.8 转换为纯字节级模型。该字节模型使用自生成数据和百科全书文本进行训练,在 MATH-500 和 HumanEval 等各种基准测试中保持了原始模型的大部分能力。然而,这种转换导致吞吐量显著下降,预填充速度慢了 6.5 倍,中文处理速度慢了约 4 倍。
-
新 LLM 引擎使 Qwen3.6 性能比 vLLM 提升高达 95%
一款新的大型语言模型(LLM)运行引擎在性能上展示了比 vLLM 显著的提升,尤其是在 Qwen3.6 模型上。基准测试显示,该引擎在单个 GPU 上可实现高达 95% 的输出量提升,与经过优化的 vLLM 设置相比,吞吐量增益范围在 1.5 倍到 1.95 倍之间。该引擎还能减少首次 token 的延迟,在突发流量场景下,中位数提升高达 8.56 倍。这些优化对于 Qwen3.6 等中型开源模型尤其有利,这些模型因其能力和硬件要求的…
-
新的蒸馏方法提高了离散扩散模型的效率和质量
研究人员开发了新的离散扩散模型蒸馏方法,以提高效率和质量。一种方法,双向中心分数匹配(BCSM),提供了一种高效的目标,可降低计算复杂性,同时提高在HumanEval和MMMU等基准测试上的性能。另一种方法,无假分数网络DMD(FSF-DMD),修改了分发匹配蒸馏,消除了对辅助假分数网络的需求,在ImageNet-1K实验中取得了有竞争力的结果。
-
新论文发现:LLM代码生成在验证方面存在缺陷
一篇新研究论文《已验证但空洞:LLM驱动的已验证代码生成的三个失效面》在arXiv上发表,该论文认为当前评估LLM生成代码的指标不足。论文确定了三个应被衡量的不同属性:验证器接受度、句法规范绑定和语义规范保真度。使用Claude Opus 4.7和GPT-5.5等模型在HumanEval和MBPP-Rust等基准测试上的实证表明,这些属性之间存在显著差异,表明高验证器接受率并不一定意味着代码在功能上是正确的或符合其规范。
-
开源大语言模型的量化提供了速度提升,但缺乏一致的准确性报告
最近对中型开源大语言模型的分析显示,量化技术虽然有望提升速度,但通常会以准确性为代价,而这种代价在所有模型和基准测试中并未得到一致的报告。研究发现,4位权重量化可以将小批量数据的解码速度大致提高一倍,但随着批量大小的增加以及模型变得计算密集型,这种性能提升会显著下降。对于这些更大的批量,FP8量化显示出持续速度提升的潜力,尽管关于各种量化方法和AMD、Intel Gaudi等硬件的准确性权衡的全面数据仍然稀缺。
-
新方法增强扩散模型蒸馏,实现更快、更高质量的图像生成 · 跟踪 4 个来源
研究人员开发了用于扩散蒸馏的新方法,这是一种可以加速扩散模型图像生成的技术。一种方法 FisherDistill 使用 Fisher 线性判别分析来估计真实数据和生成数据之间的统计差异,从而改进生成的样本,避免了对抗性判别器的需求。另一种方法双向中心得分匹配 (BCSM) 通过对齐 logit 几何形状并改善质量-效率权衡,为蒸馏离散扩散模型提供了一种有效的方法。此外,CtrlFlow 提出了一种单通道引导方法,该方法在降低计算成本的…
-
Engram架构通过高效内存查找增强大型语言模型
一种名为Engram的新型语言模型架构已被开发出来,该架构在其神经网络权重旁边集成了一个可扩展的内存查找表。这种方法允许模型高效地检索常见模式和信息,而不是通过多层进行重构。与同等规模的专家混合(Mixture-of-Experts)模型相比,Engram-27B在MMLU和HumanEval等基准测试中表现出更高的性能,这表明了一种在大型语言模型中处理知识的更有效方式。
-
新型LLM Spark-X2.6-1.7B在RTX 4090上实现769 tokens/sec
一款名为Spark-X2.6-1.7B的新语言模型已发布,并配备了名为DSpark的配套技术,在单块NVIDIA RTX 4090 GPU上实现了每秒769个token的吞吐量。该性能是在GSM8K基准测试上使用llama.cpp的Q4_K_M量化实现的。DSpark技术通过并行验证多个草稿token,实现了高达2.43倍的BF16精度加速,提高了效率。该模型可在Hugging Face和ModelScope上根据Apache 2.0许可证下载。
-
开发者从头开始用免费算力训练了一个3.5亿参数的Python代码模型
一位开发者创建了Ophyx,一个拥有3.5亿参数的Python代码模型,该模型使用Kaggle上的免费计算资源从头开始训练。该模型在其v3版本中,在HumanEval+上得分44.5,并在同等大小的开源指令模型中在BigCodeBench上领先。Ophyx采用自定义分词器和训练管道构建,具有受Qwen3启发的decoder-only transformer架构。训练过程包括四个阶段,包括在多样化的Python数据集上进行预训练,以及后…
-
新研究通过先进的推测性解码技术加速 AI 模型生成 · 跟踪 10 个来源
2026 年 11 月在 arXiv 上发表的多篇研究论文介绍了加速大型语言模型推测性解码的新技术。这些方法侧重于优化草稿预测和验证过程,以实现更快的生成速度。创新包括固定预算分配和跨步训练 (FACT)、具有循环 KV 缓存的动态草稿更新 (LoopCache) 以及用于 SVG 生成的扩展验证窗口 (Sightline)。其他方法如 SpecSearch 旨在实现硬件感知优化,而 VisHead-Spec 通过路由视觉注意力来针对…
-
多智能体LLM管道产生“协调税”,抵消成本节约
一篇新的arXiv论文探讨了多智能体大型语言模型(LLM)管道的经济学,引入了“协调税”和“异构红利”的概念。研究发现,尽管将任务路由到更便宜的模型可以降低成本,但模型间通信的开销和增加的token量通常会抵消这些节省。在对Claude Opus 5.5和Haiku 5.5在编码任务上的实验中,发现多智能体管道比单模型调用更慢、更昂贵、准确性更低。该研究表明,为特定任务选择最优模型,而不是将其分解给多个智能体,是一种更具成本效益的方法。
-
新的 ReMCTS 框架提高了 LLM 代码生成的准确性
研究人员开发了 ReMCTS,一个新颖的框架,通过整合增强反射的蒙特卡洛树搜索来提高大型语言模型生成代码的性能。该方法通过将程序候选者组织为树状态,并结合局部调试上下文和跨分支失败检索,来改进对隐藏语义和重复错误的处理。在 HumanEval 和 MBPP-Sanitized 数据集上的评估表明,ReMCTS 在大多数模型-数据集组合中优于直接生成,一项试点研究也证明了其与 C++ 代码的编译器支持执行兼容。
-
新方法提升大型语言模型多智能体通信效率
研究人员开发了两种新方法来提高由大型语言模型驱动的多智能体系统中的通信效率。SelectKV 选择性地通信 KV 状态,在保持多个基准测试准确性的同时减少了传输的数据量。HyLaMAS 通过实现 KV 缓存和循环状态的通信,将潜在协作扩展到混合线性注意力模型。这些方法旨在克服这些系统中的通信瓶颈,从而显著减少解码输出的 token 数量并加快处理速度。
-
新的NGM模块通过无训练记忆增强大语言模型
研究人员开发了N-gram Memory (NGM),一个旨在增强大语言模型 (LLMs) 而无需额外训练的新型模块。NGM利用模型现有的预训练token嵌入作为记忆存储,使用因果N-gram编码器和余弦门控记忆注入器。这种即插即用的方法避免了对独立记忆库或复杂检索系统的需求。NGM已在包括Qwen3和Llama-3.2-Instruct在内的各种基准测试和模型骨干上展示了持续的性能提升,并且对于Qwen3-VL-2B等视觉语言模型也…
-
新的路由方法加速大型MoE模型
研究人员推出了一种名为Prefetch-Steered Routing (PSR) 的新方法,用于优化无法完全载入GPU内存的混合专家(MoE)模型的解码过程。PSR基于逻辑缓存确定性地路由专家,减少了从主机内存复制权重的昂贵开销。该方法展示了显著的加速效果,在OLMoE-1B-7B上解码速度比精确路由快2.2-2.3倍,并在Moonlight-16B-A3B和Qwen3.6-35B-A3B的基准测试中有所改进,具体取决于工作负载和驻留情况。