AVX2
PulseAugur coverage of AVX2 — every cluster mentioning AVX2 across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
mistral.rs v0.9.0 的 CPU 解码速度比 llama.cpp 快 1.8 倍
mistral.rs 项目已发布 0.9.0 版本，在大型语言模型的 CPU 解码方面展示了显著的性能提升。基准测试显示，在 x86 和 ARM 架构上，mistral.rs 的速度比 llama.cpp 快 1.8 倍。这些优化旨在惠及所有模型，并适用于包括支持 AVX2、AVX512 和 NEON 的各种 CPU。
-
Intel 发布 Xeon 6+ 搭载 E 核，放弃超线程
Intel 推出了其新款 Xeon 6+ "Clearwater Forest" 处理器，该处理器采用基于 18A 工艺的 E 核，并拥有更高的核心数量。该公司特意在这些 E 核服务器部件中省略了超线程，转而专注于为横向扩展工作负载提供核心密度。Intel 还指出，对 AI 处理的需求导致一些 GPU 舰队在等待 CPU 时处于闲置状态，并且 18A 晶圆分配目前非常紧张。
-
StateSMix 压缩器使用 Mamba SSM 和 N-gram 进行在线无损压缩
研究人员开发了 StateSMix，这是一种新颖的无损压缩算法，它利用 Mamba 风格的状态空间模型 (SSM) 结合稀疏 N-gram 上下文混合。该系统对正在压缩的数据进行逐个 token 的训练，无需预训练权重或 GPU。StateSMix 在 enwik8 基准测试上实现了具有竞争力的压缩率，比 xz (LZMA2) 高出 8.7%。该实现完全用 C 语言编写，可在标准硬件上处理大约每秒 2,000 个 token。
-
llama.cpp 和 ik_llama.cpp 为节省 VRAM 添加 FP4 推理支持
llama.cpp 和 ik_llama.cpp 项目均已集成对 FP4（4位浮点）推理的支持，这是模型量化的一项重大进展。llama.cpp 现在包含 NVFP4，一种 Nvidia 特定的格式，而 ik_llama.cpp 支持 MXFP4，遵循 MX 联盟标准。预计这些进展将大幅降低 VRAM 需求，一旦模型支持跟上，就能在消费级硬件上运行更大的模型。
-
PHP-ORT 为 PHP 开发者带来机器学习推理能力
一个名为 PHP-ORT 的新基础设施项目旨在将机器学习推理能力直接引入 PHP，PHP 是网络上很大一部分使用的服务器端语言。这一发展旨在使数百万 PHP 开发者能够在不依赖外部服务或切换编程语言的情况下，将 AI 功能集成到他们的应用程序中。PHP-ORT 提供核心 Tensor API、高性能数学库，并与 ONNX 集成以实现直接推理，有望显著提速。