实体
FP4 quantization
FP4 quantization
PulseAugur coverage of FP4 quantization — every cluster mentioning FP4 quantization across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
SoScale方法提高了LLM的FP4量化精度
研究人员开发了SoScale，一种用于大型语言模型FP4量化中的二阶尺度搜索的新颖方法。该技术旨在提高FP4量化的准确性，这对于减小内存占用和推理成本至关重要。SoScale根据尺度代码对层输出的影响进行优化，而不仅仅是局部重构误差，并与GPTQ风格的误差恢复相结合。在Qwen3模型上的实验表明，SoScale在MXFP4、NVFP4和HiF4等各种FP4格式下始终能减少量化损失。
-
小米在商用GPU上实现1T参数模型每秒1000 token
小米的MiMo团队发布了MiMo-V2.5-Pro-UltraSpeed，这是其1万亿参数模型的全新推理模式，在商用GPU上实现了超过每秒1000 token的吞吐量。这种显著的速度提升归功于FP4量化、DFlash推测解码和TileRT服务系统的结合，无需定制硬件。该公司声称，这一进步将通过实现更快的并行推理、提高编码代理效率和支持实时决策过程来彻底改变AI应用。