实体 OSFP4

OSFP4

PulseAugur coverage of OSFP4 — every cluster mentioning OSFP4 across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_284325 · Oct 7 · 04:00

新的OSFP4量化方案提高了LLM推理精度

研究人员开发了一种名为OSFP4的新量化方案，旨在提高NVFP4数据类型在大型语言模型（LLM）推理中的精度。OSFP4优化了对角平滑矩阵和块缩放，以最小化量化误差，在各种设置下精度均优于现有方法。该新方案保持了大部分供应商NVFP4预填充吞吐量，使其成为高效LLM部署的有吸引力的选择。