实体
ParoQuant
ParoQuant
PulseAugur coverage of ParoQuant — every cluster mentioning ParoQuant across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新的大型语言模型量化技术提高了效率和准确性 · 已追踪 5 个来源
研究人员正在开发新的方法来量化大型语言模型（LLM），以减小其尺寸并提高推理速度。项目 [1] 介绍了分布鲁棒量化（DRQ），这是一种优化过程，可最大限度地减少不同激活分布下的最坏情况重建损失，从而改进现有方法量化的模型。项目 [2] 提出了 CurveTQ，一种无旋转的网格量化技术，它将层 Hessian 纳入其搜索指标，实现了比以前的方法更高的下游准确性。项目 [3] 提出了 AlignQuant，它将量化精度分配与 GPU 兼容…
-
hipEngine 在 AMD RDNA3 GPU 上提供更快的 Qwen 3.6 LLM 推理
一款名为 hipEngine 的新开源推理引擎已为 AMD 的 RDNA3 GPU 开发，能够实现 Qwen 3.6 大型语言模型更快的原生推理。该引擎使用 Python 编写，核心为 HIP/C++，利用 AMD 的原生库在性能上与 llama.cpp 竞争。基准测试显示，在各种上下文长度下，尤其是在 128K 上下文时，hipEngine 的提示处理速度优于 llama.cpp，并且峰值内存使用量更低。