BITNET
PulseAugur coverage of BITNET — every cluster mentioning BITNET across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
PrismML 发布 Bonsai 27B，一款适用于笔记本电脑和手机的 1 位模型
PrismML 发布了 Bonsai 27B，这是 Qwen3.6-27B 的高度压缩版本，专为在消费级硬件上高效运行而设计。该模型采用三元和 1 位权重表示，分别将模型大小减至 5.9GB 和 3.9GB，同时保留了原始模型相当一部分的性能。这些低位构建版本是多模态的，并支持大上下文窗口，使其适用于内存有限的设备，如笔记本电脑和手机。
-
新的 BITEMBED 框架大幅降低了大型语言模型嵌入成本
研究人员开发了 BITEMBED，一个旨在为大型语言模型创建高效文本嵌入的新颖框架。该方法使用三元权重和量化激活将大型语言模型主干转换为低比特编码器，显著降低了计算成本和存储需求。BITEMBED 通过对比预训练和微调进行适应，并支持多种输出精度以平衡性能和存储需求。实验表明，BITEMBED 在提供显著效率提升的同时，实现了与全精度模型相当的性能。
-
新的量化方法提升大语言模型效率和速度
研究人员开发了CAT-Q，一种新颖的训练后量化方法，可在无需大量重新训练的情况下显著压缩和加速大语言模型（LLMs）。该技术采用可学习调制和软化三值化，能够高效地量化从1.7B到235B参数的模型，仅使用少量校准样本，并取得了优于BitNet等现有方法的性能。此外，GRINQH提供了一种基于梯度输入的量化层级，通过根据激活值大小动态分配精度级别来优化大语言模型的生成，在Llama 3和Qwen3等模型上表现优于当前基线。
-
新型忆阻器突触设计有望实现高效的片上神经网络
研究人员开发了一种用于片上神经网络的基于物理的设计，该设计利用了能够支持广泛电导状态的多级忆阻器突触。该设计根植于离子传输物理学，包括一个状态变量模型，该模型考虑了在各种噪声和漂移条件下可存储的子级别。所提出的架构将这些器件集成到1T1R交叉阵列结构中，从而在模拟域内实现模拟向量-矩阵乘法以及用于推理、反向传播和权重更新的原位学习规则。该设计旨在创建一个高密度、模拟、内存内神经网络处理器，在效率方面显著超越传统的CMOS和二元ReRA…
-
三进制大语言模型在20亿参数处停滞，前沿实验室绕过该方法
三进制大语言模型（使用三值系统表示权重）曾展现出早期潜力，但并未获得显著发展。目前可用的最大三进制模型仅为20亿参数，主要人工智能实验室也未采用此方法。尽管该架构具有潜在优势，但其停滞不前的原因尚不清楚。
-
Rust 引擎在边缘 CPU 上为 1 位 LLM 实现 150+ TPS
一位开发者完全用 Rust 创建了一个新颖的 1 位量化大语言模型 (LLM) 推理引擎，绕过了 PyTorch 和 CUDA 等传统框架。该引擎实现了令人印象深刻的性能，在标准边缘 CPU 上展示了超过 150 token/秒 (TPS) 的吞吐量，内存占用不到 350MB。这项突破在于一种专有算法，该算法将极度压缩与智能保留相结合，使 1 位模型能够保持完整的流畅性和准确性。
-
AWS 训练阿塞拜疆模型，Tether 简化 LLM 微调
AWS 正在其 SageMaker 平台上为阿塞拜疆语开发语言模型，旨在提高人工智能对代表性不足语言的可及性。Tether 发布了 Bitnet，一个简化大型语言模型微调的框架，使其更易于初创公司和小型团队适应。此外，开源模拟器 QEMU 正在探索在非关键领域使用人工智能进行代码贡献，而 Vidai 推出了基于 Rust 的人工智能网关，强调性能和安全性。
-
1位AI基础设施可在CPU上实现更快、无损的LLM推理
研究人员开发了一个名为“this http URL”的软件栈，可在CPU上实现1位大型语言模型（LLM），如BitNet b1.58的快速、无损推理。这种新基础设施在x86 CPU上实现了2.37倍至6.17倍的速度提升，在ARM CPU上实现了1.37倍至5.07倍的速度提升，具体取决于模型大小。目标是使LLM更高效，并能在更广泛的设备上部署。