实体
ATSinfer
ATSinfer
PulseAugur coverage of ATSinfer — every cluster mentioning ATSinfer across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
LLM 推动 GPU 内核生成和推理优化 · 跟踪 4 个来源
研究人员正在开发利用大型语言模型 (LLM) 优化 GPU 内核生成的先进方法。其中一种方法在 MLSys 2026 上提出，使用以工程化为中心（harness-centered）的系统来约束、验证和分析 LLM 生成的代码，与基线实现相比实现了显著的加速。另一项研究引入了 Atrex-Bench，这是一个源自生产推理跟踪的基准测试，用于评估 LLM 生成的 GPU 内核，结果显示当前模型仅能达到硬件潜力的约 10%，并且经常依赖回退…
-
新的ATInfer系统提升了消费级设备的本地大语言模型推理性能
一个名为ATInfer的新系统已被开发出来，通过有效利用CPU和GPU资源来提高大语言模型（LLMs）在消费级设备上的性能。该系统在张量粒度上运行，动态调度数据移动和计算以优化性能。评估显示，与现有方法相比，ATInfer可以显著提高吞吐量和GPU利用率，从而改善本地大语言模型部署的用户体验。