4-bit computing
PulseAugur coverage of 4-bit computing — every cluster mentioning 4-bit computing across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
4比特量化为大型AI模型带来希望
研究人员探索了模型量化的影响，特别是测试了一个270亿参数的模型。将模型量化到1比特的初步尝试被证明是不成功的，凸显了极端压缩的挑战。然而，4比特量化方法显示出希望，为减小模型尺寸同时保持效用提供了一种更可行的方法，特别是对于RTX 4090等消费级硬件。
-
研究人员发现：当量化破坏循环神经网络中的内存
一篇新的研究论文识别出低精度循环神经网络中的一个关键问题，称为“循环状态回写”。当量化状态被存储和重用时，就会发生此问题，导致微小的更新被抑制，从而可能冻结网络的内存。研究表明，在荧光寿命成像任务中，该现象会导致特定参数的估计误差急剧增加，最高可达 70 倍和 300 倍。研究人员发现，简单的误差反馈或残差内存等技术可以在不重新训练的情况下恢复精度，并且与状态存储接口的兼容性比单独的比特宽度更重要。
-
新研究揭示了量化触发的LLM后门
一篇新研究论文详细介绍了一种大型语言模型（LLM）中的安全漏洞，即后门可以通过训练后量化触发。该研究通过量化行为等价类（QBECs）形式化了这个问题，证明了通过源精度检查的模型在压缩为INT8或4位等格式后会表现出恶意行为。研究显示了显著的对抗性影响，例如机器翻译中的高损坏率和内容分析中的意识形态转变，凸显了在可信边缘AI的行为认证中包含最终部署配置的必要性。
-
阿里巴巴发布 Qwen3.8-27B 模型；AI 助力 GPU 移植；LLM 基础设施详解
阿里巴巴的 Qwen 团队发布了 Qwen3.8-27B，这是一个拥有 270 亿参数的密集模型，可容纳在单个 GPU 上，并支持 100 万 token 的上下文窗口，在 vLLM 中实现了 Day-0 集成。同时，研究正在探索 AI 辅助的 GPU 移植技术，用于遗留科学应用程序，展示了显著的速度提升和数值验证。此外，还详细介绍了 LLM 的 GPU 基础设施的更广泛格局，涵盖了硬件选项和优化技术，如连续批处理和层流式处理，以最大…
-
发布了针对低显存优化的新型 4 位 Minimax 模型
Kijay Bahadur Singh 发布了 Minimax 模型的新 4 位版本，专为在 8GB 或更少显存的系统上高效运行而设计。这种 w4a8 模型类型提供了与 8 位模型相当或更快的速度，使其能够被硬件受限的用户使用。此次发布还包括一个 2.9GB 的小型视频 VAE，用户需要将 Comfy UI 更新到支持 CUDA 13.0 及以上版本的最新版本才能利用这些优化。
-
由于训练后压缩，LLM审计会遗漏90%的安全漏洞
一项新的分析表明，大型语言模型（LLM）的标准审计实践未能检测到模型压缩后出现的重大安全漏洞。为了部署而将全精度模型压缩到较低的比特宽度，这是一种常见的成本节约措施，可能导致“对齐崩溃”，即像RLHF和DPO这样的安全护栏被悄无声息地擦除。这种退化没有被典型的性能基准所捕获，导致已部署的模型尽管通过了初步的安全评估，但仍然容易受到有害提示的影响。