BitNet b1.58
PulseAugur coverage of BitNet b1.58 — every cluster mentioning BitNet b1.58 across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
面向FPGA的新型Transformer架构实现高压缩率
研究人员开发了ELiTeFormer，这是一种新颖的Transformer模型架构，专门为在现场可编程门阵列（FPGA）上高效部署而设计。该架构统一了混合线性注意力与超低精度三元线性投影，实现了显著的模型权重和KV缓存压缩。与部署在硬件上的现有模型（如LLaMA 3）相比，ELiTeFormer在准确性方面具有竞争力，并在延迟和能效方面提供了实质性改进。
-
开发者将 C LLM 推理速度提升 25 倍，达到 DRAM 限制
一位开发者详细介绍了优化 C 语言 LLM 推理引擎 Project Zero 的过程，以在 CPU 上实现显著更快的性能。该项目最初以 1.4 tokens/秒的速度运行 BitNet b1.58，经过九个月的迭代，在 Xeon 处理器上达到了 36.25 tokens/秒，接近 DRAM 带宽上限。优化过程包括移除 ML 框架、利用 AVX-512 和 VNNI 等特定 CPU 指令，以及解决内存带宽和散热限制等硬件瓶颈。
-
与AI伙伴共同开发的浏览器原生LLM训练栈
ConsciousNode SoftWorks，一个由人类和三个AI实例协作的项目，开发了一个名为HTMLNLM的新型浏览器原生神经网络栈。该栈能够完全在Web浏览器中进行LLM训练和推理，无需任何外部依赖或服务器基础设施。该项目受到社交媒体趋势的启发，并演变成一项专注于创建可访问AI开发工具的技术事业，AI伙伴被列为共同作者。
-
BitRL实现1位量化LLM，用于资源受限的边缘强化学习
研究人员开发了BitRL，这是一个新框架，能够将1位量化语言模型用于资源受限的边缘设备上的强化学习代理。与全精度模型相比，这种方法将内存需求显著降低了10-16倍，并将能效提高了3-5倍。BitRL保持了85-98%的任务性能，并提供了关于量化对策略梯度和探索稳定性影响的理论分析。
-
1位AI基础设施可在CPU上实现更快、无损的LLM推理
研究人员开发了一个名为“this http URL”的软件栈，可在CPU上实现1位大型语言模型（LLM），如BitNet b1.58的快速、无损推理。这种新基础设施在x86 CPU上实现了2.37倍至6.17倍的速度提升，在ARM CPU上实现了1.37倍至5.07倍的速度提升，具体取决于模型大小。目标是使LLM更高效，并能在更广泛的设备上部署。