OpenVINO
PulseAugur coverage of OpenVINO — every cluster mentioning OpenVINO across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
llama.cpp 发布多个更新，改进性能和构建
llama.cpp 项目发布了多个更新，包括 b10567 版本，该版本为 macOS、Linux、Android 和 Windows 提供了 CI 改进和各种构建选项。之前的版本如 b10566 和 b10549 分别引入了版本升级和张量分割功能。其他更新解决了 b10539 中的 Vulkan 量化计算、b10545 和 b10538 中的 Metal 性能优化以及 b10536 中的服务器端模型加载等具体问题。b10537 版本…
-
llama.cpp 发布多个更新，支持跨平台优化
llama.cpp 项目发布了多个更新，包括 b10106、b10105、b10108、b10099、b10098、b10094、b10093、b10092、b10091 和 b10103 版本。这些发布在不同平台和硬件加速器上引入了各种改进和修复。值得注意的更新包括对 CUDA、Metal、Hexagon 和 OpenVINO 的增强，以及对 DeepSeekv4 等特定模型模板的修复，并改进了参数解析和内存管理。
-
Intel GPU 在成本和性能上挑战 NVIDIA 的 AI 推理
据报道，Intel 的 Arc Pro B70 GPU 在 DeepSeek R1 AI 推理任务中的表现优于 NVIDIA 的 RTX 5090D，同时成本却显著降低。这一发展挑战了 NVIDIA 的 CUDA 生态系统的统治地位，表明 Intel 的 oneAPI 和 OpenVINO 可以在自托管 LLM 推理方面提供更具成本效益的替代方案，尽管其软件栈不够成熟。文章还讨论了 CPU 在分布式 AI 代理中的日益增长的重要性，以…
-
工业机器视觉边缘推理框架基准测试 · 跟踪 2 个来源
一篇新的研究论文对四种流行框架——PyTorch、ONNX Runtime、OpenVINO 和 TensorRT——在工业机器视觉边缘设备上的深度学习推理性能进行了基准测试。研究发现，OpenVINO 在 CPU 上提供了最快的推理时间，而 TensorRT 在 GPU 上效率最高。然而，在评估基于 Transformer 的视觉模型时，TensorRT 的性能并未优于 PyTorch。
-
笔记本 iGPU 显存上限限制本地 LLM 性能
在笔记本电脑上本地运行大型语言模型（LLM）和 AI 任务主要受限于集成显卡（iGPU）的显存（VRAM），而非 CPU。拥有 16GB 系统内存的笔记本电脑通常会分配约 8GB 作为显存，而操作系统和后台应用程序会进一步占用一部分，从而造成显著的瓶颈。为克服这一限制，用户必须采用量化模型，例如 Llama 3 8B 的 4 位或 5 位版本，并利用特定的硬件加速功能，如英特尔显卡的 OpenVINO 或 AMD 的 Vulkan。更…
-
llama.cpp 发布多个更新，包含性能和错误修复
llama.cpp 项目已发布多个更新，包括 b9975、b9974、b9973、b9972、b9971、b9970、b9969、b9968、b9966 和 b9965 版本。这些发布在 macOS、Linux、Android 和 Windows 等多个平台上引入了各种改进和错误修复。值得注意的更改包括对 DeepSeek 模型的优化、在 Adreno GPU 等特定硬件上 Vulkan 和 OpenCL 性能的增强，以及对 CUDA…
-
llama.cpp 发布增强性能并添加新功能
llama.cpp 项目发布了多个更新，包括 b9608，该版本更新了 cpp-httplib 并为 macOS、Linux、Android 和 Windows 等各种平台提供了预编译二进制文件。b9606 版本引入了 EAGLE3 推测解码支持，增强了模型推理能力。b9605 版本包括为 Adreno GPU 添加 OpenCL 内核，提高了在某些移动设备上的性能。b9604 版本解决了 SYCL 后端的 CI 构建和发布问题，确保…
-
新方法改进大型行为模型中的因果发现
研究人员开发了一种方法，通过解决嵌入邻近性问题来提高大型行为模型（LBM）中因果发现的准确性。标准的生物医学语言模型会错误地关联不相关的概念，导致 LBM 推断出错误的因果联系。提出的修复方法采用对比学习方法，利用知识图谱挖掘困难的负样本，显著改善了相关概念和不相关概念之间的分离。该方法还包括使用 OpenVINO 在 Intel 硬件上进行更快推理的优化。
-
新方法通过谱旋转大幅降低大模型量化比特宽度
研究人员开发了一种名为BBT-spectral的新方法，用于将大语言模型（LLM）量化到极低的比特宽度，特别是W2A16（2比特权重，16比特激活）。该技术利用受影响启发式谱旋转和重建误差量化器，显著降低了困惑度，在各种模型尺寸上比普通自动舍入量化性能高出15-58%。该方法已扩展到解决Qwen3和Qwen2.5等模型的特定架构挑战，证明了其在不同大模型家族中的适应性和有效性。
-
开发者使用 Vulkan 在 50 美元的 AMD RX 580 GPU 上运行 LLMs
一位开发者展示了如何在拥有 8GB 显存的旧款 AMD RX 580 GPU 上运行大型语言模型和图像生成软件，这在以前被认为是不可能的壮举。通过利用为 ggml 项目（支持 llama.cpp 和 stable-diffusion.cpp 等工具）提供的 Vulkan 后端，该开发者实现了比仅使用 CPU 处理高出 3-4 倍的性能。这种方法绕过了对 CUDA、ROCm 或 DirectML 的需求，证明了现代 AI 任务可以在更普…
-
llama.cpp 发布增加 Vulkan 支持，优化矩阵运算，并改进服务器日志记录
llama.cpp 项目发布了多项更新，包括 b9580 版本，该版本增加了对矩阵-矩阵乘法和 Flash Attention 的 Vulkan 支持，并对 FP16 dot2 扩展进行了优化。其他近期版本，如 b9578 和 b9577，分别对视频子进程处理和服务器提示日志记录进行了重构。这些更新提供了适用于 macOS、Linux、Android 和 Windows 等各种平台的预编译二进制文件，并支持 CUDA、ROCm 和 V…
-
Intel NCS2 在电磁注入下显示出显著的故障漏洞
研究人员表征了 Intel Neural Compute Stick 2 (NCS2) 在遭受电磁故障注入时的故障响应。他们的实验揭示了四种不同的结果类别，包括静默数据损坏和准确率的持续下降，这些在特定热点下的相当大比例的试验中都可能发生。值得注意的是，这些故障在模型重新加载之前可能会持续存在，甚至可以在空闲设备上触发，这表明标准的完整性检查对于安全关键的边缘应用来说是不够的。
-
Hugging Face 发布支持 32K 上下文的开源多语言嵌入模型
Hugging Face 发布了 Granite Embedding Multilingual R2，这是一系列开源多语言嵌入模型。该系列包括一个拥有 9700 万参数的紧凑型模型，在参数量低于 1 亿的开源模型中检索质量领先；以及一个拥有 3.11 亿参数的更大模型，在参数量低于 5 亿的开源模型中排名第二。这两个模型均支持 200 多种语言，处理 32K token 的上下文窗口，并在九种编程语言的代码检索上进行了训练，全部采用 …
-
Hugging Face 博客文章涵盖 Intel CPU VLM、MiniMax M2 代理和 Gradio 自定义前端
此集群重点介绍了 Hugging Face 的三篇不同的技术博客文章，通过 Mastodon 分享。第一篇文章详细介绍了如何使用 OpenVINO 在 Intel CPU 上运行视觉语言模型 (VLM)。第二篇探讨了 MiniMax M2 背景下的代理泛化。第三篇文章侧重于利用 Gradio 的后端功能创建自定义前端。
-
Hugging Face 与英特尔合作开发 Gaudi 加速器以实现高效 AI
Hugging Face 发布了新的资源和指南，详细介绍了如何利用英特尔的 Gaudi 2 AI 加速器进行高效的 AI 模型训练和部署。此次合作的重点是优化辅助生成和检索增强生成 (RAG) 等任务的性能，旨在为企业提供具有成本效益的解决方案。该计划还探索在英特尔的 CPU 和 Xeon 处理器上运行生成式 AI 模型，从而拓宽了 AI 硬件的可及性。