OpenVINO
PulseAugur coverage of OpenVINO — every cluster mentioning OpenVINO across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
llama.cpp 发布多个更新，提升性能和稳定性
llama.cpp 项目发布了多个更新，包括版本 b9888、b9886、b9885、b9884、b9882、b9881、b9879、b9878、b9877 和 b9876。这些版本在不同平台和硬件加速器上引入了各种改进和修复。值得注意的更新包括 CUDA 中 flash attention 的扩展 K 型验证、ARM NVFP4 点积的优化，以及对张量分割参数和多缓冲区处理的修复。这些版本还为 macOS、iOS、Linux、And…
-
llama.cpp 发布增强性能并添加新功能
llama.cpp 项目发布了多个更新，包括 b9608，该版本更新了 cpp-httplib 并为 macOS、Linux、Android 和 Windows 等各种平台提供了预编译二进制文件。b9606 版本引入了 EAGLE3 推测解码支持，增强了模型推理能力。b9605 版本包括为 Adreno GPU 添加 OpenCL 内核，提高了在某些移动设备上的性能。b9604 版本解决了 SYCL 后端的 CI 构建和发布问题，确保…
-
新方法改进大型行为模型中的因果发现
研究人员开发了一种方法，通过解决嵌入邻近性问题来提高大型行为模型（LBM）中因果发现的准确性。标准的生物医学语言模型会错误地关联不相关的概念，导致 LBM 推断出错误的因果联系。提出的修复方法采用对比学习方法，利用知识图谱挖掘困难的负样本，显著改善了相关概念和不相关概念之间的分离。该方法还包括使用 OpenVINO 在 Intel 硬件上进行更快推理的优化。
-
新方法通过谱旋转大幅降低大模型量化比特宽度
研究人员开发了一种名为BBT-spectral的新方法，用于将大语言模型（LLM）量化到极低的比特宽度，特别是W2A16（2比特权重，16比特激活）。该技术利用受影响启发式谱旋转和重建误差量化器，显著降低了困惑度，在各种模型尺寸上比普通自动舍入量化性能高出15-58%。该方法已扩展到解决Qwen3和Qwen2.5等模型的特定架构挑战，证明了其在不同大模型家族中的适应性和有效性。
-
开发者使用 Vulkan 在 50 美元的 AMD RX 580 GPU 上运行 LLMs
一位开发者展示了如何在拥有 8GB 显存的旧款 AMD RX 580 GPU 上运行大型语言模型和图像生成软件，这在以前被认为是不可能的壮举。通过利用为 ggml 项目（支持 llama.cpp 和 stable-diffusion.cpp 等工具）提供的 Vulkan 后端，该开发者实现了比仅使用 CPU 处理高出 3-4 倍的性能。这种方法绕过了对 CUDA、ROCm 或 DirectML 的需求，证明了现代 AI 任务可以在更普…
-
llama.cpp 发布增加 Vulkan 支持，优化矩阵运算，并改进服务器日志记录
llama.cpp 项目发布了多项更新，包括 b9580 版本，该版本增加了对矩阵-矩阵乘法和 Flash Attention 的 Vulkan 支持，并对 FP16 dot2 扩展进行了优化。其他近期版本，如 b9578 和 b9577，分别对视频子进程处理和服务器提示日志记录进行了重构。这些更新提供了适用于 macOS、Linux、Android 和 Windows 等各种平台的预编译二进制文件，并支持 CUDA、ROCm 和 V…
-
Intel NCS2 在电磁注入下显示出显著的故障漏洞
研究人员表征了 Intel Neural Compute Stick 2 (NCS2) 在遭受电磁故障注入时的故障响应。他们的实验揭示了四种不同的结果类别，包括静默数据损坏和准确率的持续下降，这些在特定热点下的相当大比例的试验中都可能发生。值得注意的是，这些故障在模型重新加载之前可能会持续存在，甚至可以在空闲设备上触发，这表明标准的完整性检查对于安全关键的边缘应用来说是不够的。
-
Hugging Face 发布支持 32K 上下文的开源多语言嵌入模型
Hugging Face 发布了 Granite Embedding Multilingual R2，这是一系列开源多语言嵌入模型。该系列包括一个拥有 9700 万参数的紧凑型模型，在参数量低于 1 亿的开源模型中检索质量领先；以及一个拥有 3.11 亿参数的更大模型，在参数量低于 5 亿的开源模型中排名第二。这两个模型均支持 200 多种语言，处理 32K token 的上下文窗口，并在九种编程语言的代码检索上进行了训练，全部采用 …
-
Hugging Face 博客文章涵盖 Intel CPU VLM、MiniMax M2 代理和 Gradio 自定义前端
此集群重点介绍了 Hugging Face 的三篇不同的技术博客文章，通过 Mastodon 分享。第一篇文章详细介绍了如何使用 OpenVINO 在 Intel CPU 上运行视觉语言模型 (VLM)。第二篇探讨了 MiniMax M2 背景下的代理泛化。第三篇文章侧重于利用 Gradio 的后端功能创建自定义前端。
-
Hugging Face 与英特尔合作开发 Gaudi 加速器以实现高效 AI
Hugging Face 发布了新的资源和指南，详细介绍了如何利用英特尔的 Gaudi 2 AI 加速器进行高效的 AI 模型训练和部署。此次合作的重点是优化辅助生成和检索增强生成 (RAG) 等任务的性能，旨在为企业提供具有成本效益的解决方案。该计划还探索在英特尔的 CPU 和 Xeon 处理器上运行生成式 AI 模型，从而拓宽了 AI 硬件的可及性。