实体
TorchAO
TorchAO
PulseAugur coverage of TorchAO — every cluster mentioning TorchAO across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新研究探索用于效率的先进大模型量化技术
几篇新研究论文探索了用于量化大语言模型（LLM）以提高部署效率的先进技术。REAL-Q 引入了一种动态梯度下降方法，以最小化端到端 KL 散度，在 LLaMA-3.1 和 Qwen3 上显示出显著的改进。HBQ 提出了一种具有有效数字缩放的分层方法，以最大化硬件效率和准确性，优于现有方法。Q-Strata 专注于混合精度量化，用于专家混合模型，优化专家之间的比特分配。另一篇论文研究了量化损伤的结构，表明全局比特分配通常优于局部修复，而…
-
教程通过直接偏好优化微调语言模型
本教程详细介绍了使用直接偏好优化（DPO）和Anthropic HH-RLHF数据集微调语言模型的方法。它概述了设置Colab环境、通过审计偏见和过滤来准备数据以及构建DPO训练流程的步骤。本教程演示了微调Qwen2.5-0.5B-Instruct模型、评估其性能以及分析训练数据中潜在偏见的过程。