half-precision floating-point format
PulseAugur coverage of half-precision floating-point format — every cluster mentioning half-precision floating-point format across labs, papers, and developer communities, ranked by signal.
7 天有情绪数据
-
Krea 2 用户报告 fp16 配置导致黑图
Krea 2 图像生成模型的用户在使用半精度浮点数（fp16）格式时遇到了问题。具体来说，使用 bf16 配合 fp16 累加会导致生成黑图，这表明该配置可能存在兼容性或实现问题。社区正在寻求关于是否会发布 Krea 2 的 fp16 模型来解决这些问题的信息。
-
新的 RotateAttention 框架加速了 AI 视频生成
研究人员开发了 RotateAttention，一个新颖的混合精度 INT4 FlashAttention 框架，旨在加速使用 3D 旋转位置嵌入 (3D RoPE) 的基于 DiT 的视频生成模型。该框架解决了在线旋转矩阵与 RoPE 协调的挑战，并优化了注意力矩阵 P 的量化。实验表明，RotateAttention 在保持与全精度模型相当的视频生成质量的同时，实现了显著的加速。
-
Alphgreed int8 模型发布，在保持质量的同时减小了模型尺寸
Alphgreed 基础模型的新 int8 版本已发布，将其尺寸减小到 6GB，同时保持与 fp16 版本相同的质量。创作者声称，这个优化后的模型能带来非凡的结果，尤其是在低 CFG 尺度（1-2）下，并计划在 Civitai 更新模型和相关工作流程。创作者还指出，“Wow z image base”仍然是微调的首选模型，尤其是在生成手部图像方面。
-
ComfyUI 迎来 Starnodes 模型转换器，实现更快的模型转换
ComfyUI 发布了一个名为 Starnodes Model Converter 的新模型转换节点。该工具旨在快速转换各种模型格式，包括 FP32, FP16, FP8, Int8 和 AIO Checkpoints。它提供 FP32, FP16, FP8, Int8, CONVROT 和 NVFP4 格式的输出，并内置了许多模型的质量配置文件。该转换器可在 GitHub 上获取。
-
新的 W4A4 量化技术增强了 Wan2.2-I2V-A14B 模型的推理能力
研究人员为 Wan2.2-I2V-A14B 模型开发了一种新颖的 W4A4 量化技术，旨在提高低比特宽度硬件上的推理效率。他们的方法将激活值异常的混合精度与逐通道平滑和前馈层的块状打包相结合。该方法在 VBench I2V 指标上取得了接近 FP16 的 2-3.5% 的结果，优于原生的 HiFloat4 基线。
-
PersistentKV通过新的调度技术优化商品GPU上的LLM服务
一篇新论文介绍PersistentKV，一个旨在优化长上下文大语言模型（LLM）在商品GPU上服务的系统。PersistentKV采用页感知解码调度和原生块表注意力引擎来减少KV缓存碎片并提高吞吐量。与FlashInfer等现有方法相比，该系统在某些工作负载上展示了高达1.4倍的性能提升，并将工作分配确定为LLM服务效率的关键因素。
-
SwitchBraidNet架构为低功耗部署提供轻量级混合BCI
研究人员开发了SwitchBraidNet，一种用于混合脑机接口（BCI）的新型轻量级架构，集成了运动想象和稳态视觉诱发电位。该紧凑模型专为低功耗嵌入式系统设计，采用双路径时间编织进行特征提取，并采用自适应空间开关进行电极门控。在OpenBMI数据集上进行测试，SwitchBraidNet在包括INT8在内的各种数值精度下均展示了效率和性能，最小占用空间仅为3.03 KB。
-
Ternary Mamba通过知识蒸馏和QAT实现3.61倍压缩
研究人员开发了一种压缩状态空间模型（SSMs）如Mamba-2的新方法，显著减小了其在边缘部署时的内存占用。通过采用分组量化感知训练（QAT）并结合来自预训练FP16模型的知识蒸馏，他们将Mamba-2 1.3B压缩至744 MB，减少了3.61倍。该方法在比以往方法更小的token预算下实现了具有竞争力的零样本准确率，同时还识别出一种新颖的、仅存在于预训练SSM的QAT中的不稳定性，称为“零比率崩溃”。
-
本地 LLM 硬件指南：VRAM、量化与性能
在本地运行大型语言模型（LLM），尤其是拥有 700 亿参数的模型，带来了严峻的硬件挑战，主要涉及 VRAM 容量。尽管营销宣传常暗示最低要求，但实际使用表明，将 70B 模型装入 8GB VRAM 必须进行大量优化，如量化。量化通过降低模型权重的比特表示来减小模型大小，对于在消费级硬件上运行这些模型至关重要，尽管它需要在内存使用、速度和输出质量之间进行权衡。使用 `nvidia-smi` 等工具监控 VRAM 使用情况对于理解 LL…
-
Apple M4 Max GPU 的张量计算路径被模拟，而非加速
研究人员逆向工程了 Apple M4 Max GPU 上的 Metal 4.1 张量计算路径，发现 fp8 matmul2d 操作是模拟的，而非硬件加速。这意味着该操作在 GPU 的着色器核心上运行，至少以 fp32 精度累积，并且不使用专用的矩阵数据路径或 Apple Neural Engine。这些发现详细记录在一篇题为“Rigel”的论文中，通过实证表征和微基准测试实现，并开发了一个融合内核，其性能比分解路径高出 12.9%。
-
神经说话人分割模型为提高效率而压缩
研究人员探索了神经说话人分割在资源受限硬件上的效率-性能权衡，特别适用于医疗调度等时间关键型应用。他们使用 SIMSAMU 数据集评估了剪枝和低比特量化等模型压缩技术。研究发现，虽然模型压缩会减小内存占用，但会降低性能，在特定操作点，尽管模型大小减半并保持实时因子，但使用 FP16 时 DER 相对增加了 40%。
-
LLM 推理速度受 GPU 内存带宽而非计算能力限制
本文解释说，生产环境中 LLM 推理的主要瓶颈通常是模型在 GPU 上的原始速度，而不是服务逻辑或网络开销。文章详细介绍了 LLM 推理，尤其是在解码阶段，由于模型权重大且需要流式传输数据，因此受到内存带宽的严重限制。文章强调量化（如 INT8）是一种非常有效的优化技术，它在质量损失最小的情况下减小了内存占用并提高了带宽效率。
-
Qwen 3.6 27B FP16 与 Q8 量化性能的争论
Reddit 的 r/LocalLLaMA 子版块上的一位用户正在询问 Qwen 3.6 27B 模型 FP16 和 Q8 量化之间的性能差异。他们在自己的设置上遇到了 FP16 性能缓慢的问题，并希望了解权重和缓存是否存在显著差异。此外，用户还在询问在 Strix Halo 系统上进行编码任务时，该模型的预期每秒令牌数 (TPS)。
-
万亿参数AI模型给Kubernetes编排带来挑战
在Kubernetes集群中运行万亿参数的AI模型，其挑战远超标准的容器编排。这些庞大的模型需要分布式系统方法，其中单个“副本”可能包含多个GPU甚至整个节点，而不是适合单个Pod。核心问题在于管理模型权重所需的巨大内存，即使采用16位精度，也可能达到TB级别，这需要仔细考虑并行策略和量化技术。
-
llama.cpp 发布增加 Vulkan 支持，优化矩阵运算，并改进服务器日志记录
llama.cpp 项目发布了多项更新，包括 b9580 版本，该版本增加了对矩阵-矩阵乘法和 Flash Attention 的 Vulkan 支持，并对 FP16 dot2 扩展进行了优化。其他近期版本，如 b9578 和 b9577，分别对视频子进程处理和服务器提示日志记录进行了重构。这些更新提供了适用于 macOS、Linux、Android 和 Windows 等各种平台的预编译二进制文件，并支持 CUDA、ROCm 和 V…
-
ThriftAttention 通过择优混合精度注意力机制提升AI效率
研究人员开发了ThriftAttention，一种用于提高AI模型长上下文注意力机制效率的新颖方法。该技术选择性地将更高精度（FP16）应用于一小部分关键的查询-键交互，而其余部分则以较低精度（FP4）进行处理。这种择优方法旨在以FP4推理速度维持接近FP16的质量，从而缓解在长上下文设置中低精度常带来的显著质量下降。该方法已证明其能够恢复FP4和FP16注意力之间性能差距的很大一部分，并且随着序列长度的增长，收益也随之增加。
-
推荐Q4_K_M用于本地LLM量化，平衡质量和显存
文章推荐Q4_K_M量化作为大多数本地LLM用户在质量和显存效率之间取得最佳平衡的选择，可保留93-96%的FP16质量。对于拥有更多显存的用户，Q5_K_M在复杂推理和创意任务方面提供了显著的改进。Q3_K_M等较低的量化级别被视为在显存受限情况下的折衷方案，而Q6_K和Q8_0的收益递减，Q2_K及以下由于质量严重下降而被视为最后的选择。
-
研究发现 INT8 量化可能减慢 AI 推理速度
一项近期分析探讨了在 NVIDIA 的 Ada Lovelace 架构上，使用 INT8 量化与 FP16 精度的性能对比，具体使用了 L40S 数据中心 GPU 和 RTX 4090 消费级显卡。研究结果表明，在某些实际推理工作负载下，与 FP16 相比，INT8 量化可能会意外地导致性能下降。这表明量化的好处并非总是得到保证，而是高度依赖于具体的硬件和任务。
-
EdgeLPR论文探讨了激光雷达地点识别中神经网络精度与性能的权衡
研究人员开发了EdgeLPR，一种在边缘设备上进行高效激光雷达地点识别的方法。该方法利用鸟瞰图表示，为自动导航启用轻量级图像网络。实验在不同量化级别（FP32、FP16、INT8）下评估了性能，结果表明FP16在降低成本的同时提供了与FP32相当的精度，而INT8可能导致依赖于架构的性能下降。
-
目标检测模型的量化和输入退化鲁棒性表现不一
一项新研究调查了训练后量化（PTQ）在面对噪声和模糊等现实世界输入退化时，对YOLO目标检测模型鲁棒性的影响。研究人员评估了包括静态INT8在内的各种精度格式，并提出了一种感知退化的校准策略。虽然静态INT8提供了显著的加速，但提出的校准方法并未在大多数模型和退化情况下持续提高鲁棒性，尽管在特定噪声条件下对大型模型观察到了一些好处。