TorchAO
PulseAugur coverage of TorchAO — every cluster mentioning TorchAO across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
TKintegers K5 表示法在 NVIDIA L4 GPU 上优于 FP8
一种名为 TKintegers K5 的新型权重表示法已被开发出来,它使用五个平衡三进制数字来表示每个权重代码。尽管 GPU 缺乏原生的 K5 指令,但该实现与标准的 TorchAO FP8 基线相比,在 NVIDIA L4 GPU 上实现了显著更高的吞吐量。具体而言,在 Qwen2.5-0.5B-Instruct 模型上,K5 实现了 3.21 倍的预填充吞吐量和 3.10 倍的解码吞吐量,凸显了新型权重表示法在现有硬件上提高推理效率的潜力。
-
新的4位量化方法提高了AdamW优化器性能
研究人员开发了量化AdamW算法中优化器状态的新方法,特别关注4位量化。这些技术,ZIP-SR和ZE-EDEN,旨在减少存储并最小化量化引入的误差,这会影响后续的自适应更新。在1.3亿到27亿参数的生成式预训练Transformer和Llama风格模型上的实验表明,这些方法与标准的32位AdamW相比,显著减小了性能差距,其中一种方法将验证损失差距降低了70%。
-
新研究探索用于效率的先进大模型量化技术
几篇新研究论文探索了用于量化大语言模型(LLM)以提高部署效率的先进技术。REAL-Q 引入了一种动态梯度下降方法,以最小化端到端 KL 散度,在 LLaMA-3.1 和 Qwen3 上显示出显著的改进。HBQ 提出了一种具有有效数字缩放的分层方法,以最大化硬件效率和准确性,优于现有方法。Q-Strata 专注于混合精度量化,用于专家混合模型,优化专家之间的比特分配。另一篇论文研究了量化损伤的结构,表明全局比特分配通常优于局部修复,而…
-
教程通过直接偏好优化微调语言模型
本教程详细介绍了使用直接偏好优化(DPO)和Anthropic HH-RLHF数据集微调语言模型的方法。它概述了设置Colab环境、通过审计偏见和过滤来准备数据以及构建DPO训练流程的步骤。本教程演示了微调Qwen2.5-0.5B-Instruct模型、评估其性能以及分析训练数据中潜在偏见的过程。