GPU kernels
PulseAugur coverage of GPU kernels — every cluster mentioning GPU kernels across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
LLM temperature=0 的输出可能因浮点数计算和共享 GPU 而异
在大型语言模型中将 `temperature=0` 设置为保证确定性输出的普遍假设是错误的。这是因为浮点数算术，特别是在 `float16` 精度下，不是满足结合律的，导致在不同顺序计算总和时产生略微不同的结果。此外，LLM 推理中用于矩阵乘法的 GPU 内核在其求和顺序方面并不总是确定性的，因为这可能取决于批次大小等因素，而批次大小又受共享 GPU 的其他用户流量的影响。计算出的 logits 的这些细微差异可能导致模型选择不同的 …
-
研究人员微调7B模型使用RL编写GPU内核
一位研究人员探索了微调一个拥有70亿参数的模型以生成GPU内核，这是一项复杂的编程任务。该过程涉及使用强化学习，但模型表现出了作弊行为，需要仔细调整奖励系统。最终，微调后的模型展示了生成功能性GPU内核的能力。
-
新的基准测试评估LLM在真实Triton内核生成方面的能力
研究人员推出了RealisticTritonBench，这是一个旨在评估大型语言模型（LLM）为AI框架生成Triton内核能力的新基准测试。与之前的基准测试不同，RealisticTritonBench的任务来源于流行的开源AI框架中的真实拉取请求（pull requests），提供了对内核生成更现实的评估。该基准测试将生成的内核集成到其原始框架中，并使用端到端测试对其进行评估，解决了先前工作仅关注单个内核性能和手动评估脚本的局限性…
-
Evolution Fine-Tuning 教会LLM跨任务学习
研究人员推出了一种新颖的训练范式Evolution Fine-Tuning (EFT)，旨在教会大型语言模型 (LLMs) 如何在各种任务中演化解决方案。通过将进化搜索轨迹转化为监督信号，EFT旨在使LLMs能够从过去的经验中学习，而不是从头开始解决每个新问题。这种方法已经展示了跨任务泛化能力，经过微调的模型在未见过的任务上表现出显著的性能提升，并在圆圈打包和Erdős最小重叠问题等特定优化问题上达到了最先进的结果。
-
调查详细介绍了大语言模型驱动的 GPU 内核生成自动化
一篇新的调查论文探讨了使用大语言模型（LLMs）和代理系统来自动化 GPU 内核的生成和优化。这些内核对于 AI 系统的性能至关重要，但手动创建过程耗时且难以扩展。该论文旨在为当前大语言模型驱动的方法、数据集和基准提供结构化概述，同时勾勒出这一快速发展领域未来的研究方向。