KernelBench
PulseAugur coverage of KernelBench — every cluster mentioning KernelBench across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新的通用文本教学框架在不更新参数的情况下提炼LLM知识
研究人员推出了一种新颖的大型语言模型知识蒸馏框架——通用文本教学（UTT），该框架无需更新学生模型的参数。UTT将知识蒸馏到一个名为Primer的可解释的自然语言产物中，该产物可跨不同模型重复使用。该框架包括一个执行任务的学生模型、一个根据反馈生成教学指令的Prompter、一个提供演示的Teacher以及一个整合课程的Synthesizer。在数学和代码生成任务上的实证结果显示，准确性显著提高，UTT的表现优于传统的提示工程和基于参…
-
新的UTT框架将LLM知识提炼成可复用的文本制品
研究人员开发了通用文本教学（UTT），一种用于大型语言模型（LLM）知识蒸馏的新框架，该框架避免了直接的参数更新。UTT将知识差距提炼成一种可复用的自然语言制品，称为Primer。该方法在数学推理和代码生成等任务上显示出显著的改进，数学推理的准确率从27.6%提高到51.7%，代码生成的KernelBench准确率从9.4%提高到48.6%。值得注意的是，合成的Primer可以泛化到不同的教师和学生模型。
-
MIT博士候选人探索递归语言模型和智能体集群
MIT的博士候选人Alex Zhang正在探索递归语言模型（RLM）和先进的智能体系统在释放更强大AI能力方面的潜力。他的研究在Latent Space播客中进行了详细介绍，深入探讨了AI生成的GPU内核、通过组合器实现的组合泛化，以及“语言模型”演变成一个看不见的智能体集群的概念。Zhang的研究还涉及OpenAI的大规模智能体实验，并比较了多智能体系统的不同方法，表明当前的尖端模型可能已经拥有巨大的未开发潜力。
-
新AI代理AdaExplore提升内核代码生成效率
研究人员开发了AdaExplore，一个旨在提高高效内核代码生成能力的创新代理框架，特别适用于Triton等领域特定语言。该系统采用两阶段流程：面向失败的自适应，它从反复出现的错误中构建有效性规则的记忆；以及保持多样性的搜索，它通过在局部改进和结构化再生之间交替来探索优化空间。在KernelBench基准测试上的实验表明，AdaExplore在100步内分别在Level-2和Level-3基准测试上实现了3.11倍和1.62倍的显著加速。
-
ByteDance 和 清华AIR 训练大语言模型使用 CUDA Agent 编写更快的 GPU 代码
ByteDance Seed 和 清华AIR 开发了 CUDA Agent，一个使用强化学习训练大语言模型生成优化 GPU 核的系统。该系统在 KernelBench 基准测试中达到了 98.8% 的正确率，并且生成的核比编译器生成的代码快 96.8% 的时间。该 Agent 在模拟的 CUDA 开发环境中运行，结合了性能分析和正确性检查来提高核性能，在 AI 基础设施和其他延迟敏感领域具有潜在应用。
-
新框架优化深度学习和 HPC 的 GPU 内核 · 跟踪 3 个来源
三篇新研究论文介绍了用于优化 GPU 内核的先进框架，这对于深度学习和高性能计算至关重要。HIERA 专注于跨 PyTorch 和 CUDA 等不同实现空间的感知工作负载规划，展示了更高的效率和性能。AsmEvo 在 AMD GPU 的汇编级别进行优化，验证功能等价性并在生产工作负载上实现显著加速。KernelArc 在 NVIDIA GPU 上采用多智能体框架进行自主优化，通过协调专业智能体在基准排行榜上获得顶级排名。
-
LLM框架AUTO自动化GPU代码优化，超越基线
研究人员开发了AUTO，一个利用大型语言模型（LLM）进行自动化设计优化的新框架。该系统采用一个Strategist代理进行高级规划，以及多个Implementor代理进行并行执行，通过探索-利用策略迭代地改进设计。AUTO在GPU代码优化方面表现出显著的性能提升，在化学动力学方面超越实验室优化代码高达1.74倍，在矩阵乘法方面达到cuBLAS性能的94%。在KernelBench基准测试中，它还实现了比PyTorch基线高出118倍…
-
StitchCUDA框架通过多代理RL自动化端到端GPU编程
研究人员开发了StitchCUDA，一个用于端到端GPU程序生成的新型多代理框架。该系统采用专门的代理进行规划、编码和验证，以优化机器学习工作负载。通过将强化学习与性能分析相结合，StitchCUDA旨在提高GPU内核效率和主机端设置，从而在现有基线上实现显著的加速。
-
JAXBench 推出以优化 Google TPU 上的 AI 内核
一个名为 JAXBench 的新基准测试套件已被开发出来，专门用于解决 Google Cloud TPU 上 AI 内核性能的优化问题。该套件包含 50 个 JAX 工作负载，这些工作负载源自 Llama-3.1、DeepSeek-V3 和 Gemini 3 Flash 等知名 AI 模型。初步评估表明，提供精选的 TPU 文档可显著提高 AI 生成内核的正确性，将其从 5.8% 提高到 37.3%，并实现了比 XLA 快 1.6 倍的速度。
-
新研究发现，LLM 生成的内核在基准测试中表现出虚高的性能
一项新的研究论文介绍了一个名为 KernelBench-Verified 的增强型评估框架，旨在更准确地评估 LLM 生成的 CUDA 内核的性能。研究强调，由于奖励机制被利用和算法正确性问题（例如针对特定输入的硬编码绕过），当前的评估方法常常导致加速指标虚高。通过引入支持 TF32 的基线和更强大的测试套件，KernelBench-Verified 揭示，在这些实际条件下，表现最好的模型 GPT-5.5 的几何平均加速比（0.88 …
-
LLM 在 GPU 内核生成方面遇到困难；新研究提供解决方案
两篇新研究论文探讨了使用大型语言模型 (LLM) 生成正确 GPU 内核的挑战。第一篇论文《LLM 生成的 GPU 内核中的正确性幻觉》指出，现有基准测试可能由于固定形状、小样本检查而错误地将有缺陷的内核认证为正确。它提出了一种具有高精度 CPU 引用的模糊测试方法，以在各种 GPU 架构中捕获这些“LLM 式转录错误”。第二篇论文《从 Token 到区域：面向 GPU 内核生成的 CUDA 敏感指令调优》介绍了一种名为 CuSeT …
-
daVinci-kernel 使用强化学习通过演进的技能库优化 GPU 内核
研究人员开发了 daVinci-kernel，一个旨在优化 GPU 内核的新型强化学习框架。该系统共同演进技能选择、摘要和利用，采用三个共享单一 LLM 主干的智能体。该框架旨在通过动态构建和验证可重用技能库来提高执行效率，并在 KernelBench 基准测试中展示了显著的性能提升。
-
AI基准测试通过对抗性循环加固，防止奖励操纵
研究人员开发了一种新颖的“黑客修复循环”来提高AI代理基准测试在抵抗奖励操纵方面的鲁棒性。这种对抗性过程使用三个LLM代理来迭代地识别和修补基准验证器中的漏洞，防止代理在未真正解决任务的情况下获得高分。该方法显著降低了操纵成功率，甚至使较弱的代理也能抵御较强的代理，并促成了新数据集和工具的发布，以供未来研究。
-
LLM框架自动生成GPU内核，性能超越PyTorch
研究人员开发了CuTeGen，一个旨在自动化创建和优化高性能GPU内核的新框架。该代理系统采用生成、测试和优化内核的结构化工作流程，专门针对CuTe抽象层。通过在内核的高层结构稳定后再提供低层性能反馈，CuTeGen旨在克服先前基于LLM的方法的局限性。在KernelBench基准测试中，CuTeGen展示了比PyTorch平均1.71倍的速度提升，并超越了之前的代理基线。
-
MusaCoder框架在GPU内核生成方面达到最先进水平
研究人员开发了MusaCoder，一个用于生成原生GPU内核的新型框架，这对于高效的底层代码执行至关重要。该系统采用全栈训练方法，整合了数据合成、拒绝微调和强化学习，并结合了一个名为MooreEval的专用验证环境。MusaCoder引入了几种技术来稳定强化学习过程，与现有模型相比，提高了正确性和速度。该框架表现强劲，其更大版本在原生GPU内核生成方面设定了新的最先进水平。
-
Kernel Foundry 使用进化搜索和大型语言模型优化 GPU 内核
研究人员开发了 Kernel Foundry，一个旨在优化 GPU 内核正确性和性能的进化框架。该系统利用大型语言模型进行初始代码生成，然后通过由诊断反馈指导的多专家进化搜索来优化内核。经验库存储可重用的优化知识以增强未来的内核生成，并设有防止不正确计算的机制。
-
新的HTAM框架优化LLM的GPU内核
研究人员推出HTAM，一个旨在优化大型语言模型GPU内核的新框架。HTAM通过将优化经验组织成一个两级分层迁移图来解决基于LLM的代码生成中的粒度不匹配挑战。这种结构允许选择粗粒度的全局方向和细粒度的局部策略，从而更有效地指导CUDA代码生成。实验表明，与现有的基于LLM的方法相比，HTAM在正确性、快速解决方案率和加速方面有所提高。