single-precision floating-point format
PulseAugur coverage of single-precision floating-point format — every cluster mentioning single-precision floating-point format across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
VLCQ方法利用变长编码增强深度神经网络压缩
研究人员推出了一种新颖的深度神经网络后训练量化方法VLCQ，旨在提高资源受限设备的效率。与通常依赖INT8定点整数且在较低比特宽度下性能下降的现有方法不同，VLCQ利用变长编码实现更大的压缩。实验表明，VLCQ在图像分类、分割和目标检测等各种任务中，可以在保持或提高性能的同时，超越FP32精度和其他最先进的方法，提供显著的压缩比。
-
新的纯整数训练方法大幅降低神经网络内存使用量
研究人员开发了一种新颖的深度神经网络训练算法，该算法完全使用整数运算，消除了训练过程中任何阶段对浮点运算的需求。该方法将所有张量（包括权重、梯度和优化器状态）存储为INT8，与标准的FP32基线相比，训练内存大约减小了4倍。该算法已成功在各种卷积神经网络和视觉Transformer上得到验证，在CIFAR-10、CIFAR-100和ImageNet等基准测试中取得了具有竞争力的准确率。
-
llama.cpp b11544 版本发布，优化浮点转换，更新类型
llama.cpp 项目发布了 b11544 版本，该版本在 ggml-cpu 架构上对单精度浮点数到半精度浮点数的转换进行了优化。此次更新还包括将 s390x 架构的 unsigned long 类型重命名为 uint64_t 大小的类型，并移除了一个注释。这些更改由 taronaeo 标记，并包含来自 IBM 的 Aaron Teo 的 signed-off-by 行。
-
新研究揭示文本分类器中的服务上下文非确定性
一篇新发表在arXiv上的研究调查了文本分类器中的非确定性，发现即使模型和输入文本保持不变，批次大小、硬件和推理引擎等因素也会改变预测结果。研究人员发现，虽然标签可能不会改变，但预测的概率质量会发生显著变化，尤其是在bfloat16精度下。研究强调，与判别式分类器相比，全生成式分类器更容易受到这些变化的影响，并提出了可复现文本分类的具体缓解策略。
-
新的校验和方法增强了边缘设备上CNN的故障检测能力
研究人员开发了一种名为Carry-Through Checksum的新型轻量级故障检测技术，用于边缘应用中的卷积神经网络（CNN）。该方法将校验和嵌入到卷积层中，在整个推理过程中计算和传播校验和，从而以最小的开销实现端到端的错误检测。实验表明，该技术在FP32中可检测到超过95%的关键故障，在FP16中可检测到超过86%的关键故障，而用于缓解的重新执行仅增加了嵌入式GPU上很小的运行时开销。
-
INT8 量化可移植性研究揭示硬件间的不一致性
一项新研究挑战了 INT8 量化在不同硬件平台之间可普遍用于人工智能推理的假设。研究人员发现，INT8 的加速效果在很大程度上取决于特定的 CPU 指令集，某些硬件甚至出现了性能下降而非加速。此外，INT8 的输出在不同平台之间并不一致，当量化比例不是硬件原生支持时，会导致准确性下降。研究得出结论，对于确定性和准确性至关重要的嵌入式和汽车应用而言，“一次量化，随处部署”的方法并不可靠。
-
新的投机式解码方法提高了LLM推理速度 · 跟踪7个来源
研究人员正在推进大型语言模型的投机式解码技术，以提高推理速度。两篇新的arXiv论文，ECHO和LoopSpec，分别引入了分层和流水线方法来优化草稿候选生成和验证。ECHO使用早期层奖励logits进行快速草稿探索，而LoopSpec则利用循环Transformer中的中间状态进行流水线草稿生成。另一篇关于Orthrus的论文质疑了投机式解码的“无损”声明，强调了数值精度对输出一致性的影响，而另一项关于Carryover Draft…
-
嵌入表精度是减小LLM规模的关键
一项近期实验探索了量化对Transformer模型的影响，发现嵌入表占模型参数的很大一部分（72%）。研究发现，独立量化嵌入表，特别是使用逐行缩放，可以在性能损失极小的情况下大幅减少字节数。这种方法可以将模型尺寸减小6.2倍，同时通过将释放的字节重新分配给计数表和缓存来维持甚至提高系统级性能。
-
TreeFI方法将DNN故障注入成本降低高达72倍
研究人员开发了TreeFI，一种新颖的面向价值的统计故障注入方法，旨在提高深度神经网络的可靠性评估。该方法专门针对FP32激活和权值中的单比特故障，使用回归树将值分布划分为具有相似故障行为的区间。通过根据故障率估计的相关性分配注入，TreeFI显著减少了所需的注入预算，与现有方法相比，降低了高达72.1倍。该方法已在CNN和Transformer模型上使用CIFAR-10和ImageNet数据集进行了验证，证明了在更少注入的情况下比最…
-
新框架进化出适应性算术电路以提高AI效率
研究人员开发了CircuitsDNA，一个新颖的进化框架，旨在自动创建能够动态调整其精度的算术电路以提高效率。该系统集成了多阈值可验证性、资源受限搜索和自适应突变，以探索广泛的电路设计。在28纳米CMOS中的实验表明，8位乘法器的面积-功耗积显著降低，在INT8 DNN工作负载上节省高达56%，同时相对于FP32的精度损失最小。
-
新研究探索用于高效AI模型部署的量化技术
两篇新研究论文探讨了优化大型语言模型（LLMs）和边缘视觉模型以在资源受限硬件上部署的方法。第一篇论文是对量化感知训练（QAT）的调查，回顾了用于减小LLM内存占用和计算需求的理论基础和实现格局。第二篇论文介绍了SCULPT，一种训练时方法，通过抑制量化不兼容的激活分布并学习可部署的裁剪边界，增强了边缘视觉模型训练后的量化就绪性。
-
DAMP新技术大幅降低LLM内存使用并提升速度
研究人员开发了一种名为DAMP（Decay-Aware Mixed-Precision Recurrent-State Quantization）的新型量化技术，以减少使用循环状态的大型语言模型的内存占用并提高其速度。传统模型将这些状态存储为FP32，消耗大量GPU内存并增加延迟。DAMP识别这些状态中的高风险通道，并以更高精度存储它们，同时将其余部分量化为INT8，在接近FP32的精度下，存储量减少了69.1%，循环状态更新速度提升…
-
Chenghengwei 在新款边缘 AI 芯片中集成 NPU 和 GPGPU
Chenghengwei 推出了其首款旗舰 SoC CH3715，该芯片集成了 NPU 和 GPGPU。这一决策偏离了当前边缘 AI 芯片优先考虑 NPU 的行业趋势。公司 CEO Chu Libin 解释说，CH3715 的设计旨在应对机器视觉、雷达和工业设备等复杂现实场景的需求，这些场景需要 AI 推理、高精度浮点计算、图像处理和低延迟控制的结合，而单一 NPU 无法完全满足。通过将这些多样化的计算能力集成到单个芯片上，Cheng…
-
LLMs可以预测失败风险，但难以预测哪种协作协议更有利
研究人员开发了一种方法，使大型语言模型（LLMs）能够预测多智能体推理任务中的失败风险，这有助于优化计算资源分配。虽然LLMs可以有效预测一般失败风险，但它们难以确定哪种具体的协作协议最有益。该研究使用了4181个数学问题的基准测试，发现置信度分数可以帮助初步升级决策，但针对特定协议的成本感知路由仍然是一个开放的挑战。
-
北京大学和 StepFun 发布 TensorCast 以加速 LLM 推理 · 跟踪 2 个来源
北京大学和 StepFun 的研究人员开发了 TensorCast，这是一种新的可编程张量管理层，旨在优化大型语言模型基础设施。该系统旨在显著减少模型生成其第一个 token 所需的时间，在高并发代理场景中显示出高达 93.2% 的改进。此外，TensorCast 可将模型实例的启动时间加速高达 228.6 倍，解决了 LLM 部署中的关键性能瓶颈。
-
llama.cpp PR 通过向量化 F16-F32 转换提升提示处理速度
对 llama.cpp 项目的一个拉取请求（PR）引入了 Flash Attention V-Cache 的 F16 到 F32 的向量化转换。此优化利用了硬件 F16C 内在函数，显著提升了性能。具体来说，对于 qwen3:4b 等较小模型，提示处理速度提高了 17-31%。
-
AI模型通过量化和剪枝实现小型化以提高效率
量化和剪枝是用于减小大型AI模型（如ChatGPT和Midjourney）的规模和计算需求的技朧。这些方法降低了表示模型权重的数字的精度，将它们从32位浮点格式转换为较低精度的格式，如16位浮点、8位整数（INT8），甚至4位整数（INT4）。此过程显著减少了内存使用并加快了推理速度，使得在包括边缘设备在内的性能较低的硬件上部署这些模型成为可能，同时还降低了运营成本和能耗。
-
新的QK-Guard方法可防止AI模型中低精度注意力塌陷
研究人员发现，Transformer模型（如GPT-2）中的低精度注意力机制存在一个关键漏洞，可能导致训练突然崩溃。他们发现，来自各种来源的错误会汇聚到一个共享的查询-键（QK）通道，引起频谱失控。提出的解决方案QK-Guard通过在共享位置实施无参数的QK归一化来干预，从而有效防止崩溃，且不影响训练稳定性。
-
LLM 生成的 ARCH HDL 可验证浮点类型
研究人员为 ARCH 硬件描述语言开发并验证了浮点数据类型，该类型专为语言模型生成而设计。该系统确保了可综合的 SystemVerilog、SMT-LIB 和 Lean 4 证明模型在比较、转换和算术运算等运算符之间的一致性。对较简单的运算符进行了详尽的验证，而复杂的基于乘法的运算则根据四舍五入到最近偶数的规范证明了其正确性，并针对性能和流水线化进行了优化。
-
研究发现：LLM参数平均存储3.6比特信息
在ICML 2026上发表的一篇新论文，由来自Meta、Google DeepMind、康奈尔大学和NVIDIA的研究人员共同撰写，量化了大型语言模型参数的信息存储容量。研究发现，使用bfloat16格式的Transformer模型中的每个参数大约可以存储3.6比特的信息。这项研究还阐明了“双重下降”现象，并对数据隐私产生了影响，表明虽然平均训练数据不太可能被记住，但罕见或敏感信息存在显著泄露的风险。