Vulkan
PulseAugur coverage of Vulkan — every cluster mentioning Vulkan across labs, papers, and developer communities, ranked by signal.
15 天有情绪数据
-
通过 Vulkan 在 GPU 上运行神经网络：库、编译器或自定义引擎
本文概述了使用 Vulkan API 在 GPU 上运行已训练神经网络的三种方法。它建议集成现有的库，如 TensorFlow Lite 或 ONNX Runtime，通过 ML 编译器（如 IREE 或 TVM）编译模型，或使用计算着色器开发自定义推理引擎以实现深度 Vulkan 集成。
-
开源AI管线可在本地生成游戏资产
一位开发者创建了一个使用开源AI模型在本地生成游戏资产的完整管线，并已移植到GGML以实现本地执行。该管线包括用于文本转语音及语音克隆（OpenMOSS）、音效生成（ThinkSound.cpp）以及最先进的3D模型生成（Trellis.2）的工具。这些工具已集成到Lemonade SDK中，通过级联模型实现文本到3D生成等复杂工作流。整个系统基于宽松的开源许可证构建，并支持CUDA、Vulkan和ROCm以实现广泛的硬件兼容性。
-
TensorSharp 增加 Vulkan 后端以进行 LLM 推理，并与 llama.cpp 进行基准测试
TensorSharp，一个开源 LLM 推理引擎，发布了其 GGML Vulkan 后端的初始版本，旨在提高 GPU 上的性能。该更新已在 Nvidia 和 Intel GPU 上成功测试，开发者正在寻求 AMD GPU 用户反馈。将 TensorSharp 的 Vulkan 后端与 llama.cpp 进行的基准测试显示结果不一，TensorSharp 在某些场景下更快，而在其他场景下（尤其是首次标记时间）则较慢。
-
GPU 计算详解：超越 Vulkan 的光栅化
本系列探讨了 GPU 如何超越图形渲染，作为通用计算引擎发挥作用。它深入研究了 Vulkan 计算的高级概念，例如占用率、延迟隐藏、Vulkan 内存模型以及用于调用间通信的子组操作。目标是提供对实际硬件上计算执行的更深入理解。
-
Shotcut 26.6 视频编辑器增加了 Vulkan 支持和 OpenFX 插件
开源视频编辑器 Shotcut 已发布 26.6 版本，引入了多项新功能和改进。此次更新包括对 OpenFX 插件的初步支持、Linux 上的 Vulkan 渲染，以及对 VST2 和 LV2 音频插件的兼容性。
-
llama.cpp 发布多个更新，提升性能和稳定性
llama.cpp 项目发布了多个更新，包括版本 b9888、b9886、b9885、b9884、b9882、b9881、b9879、b9878、b9877 和 b9876。这些版本在不同平台和硬件加速器上引入了各种改进和修复。值得注意的更新包括 CUDA 中 flash attention 的扩展 K 型验证、ARM NVFP4 点积的优化，以及对张量分割参数和多缓冲区处理的修复。这些版本还为 macOS、iOS、Linux、And…
-
DXVK 3.0 发布，带来着色器编译和 D3D9 改进
DXVK 3.0 已发布，为 Linux 和 Wine 上的 Direct3D 9、10 和 11 提供了基于 Vulkan 的实现。新版本包括对着色器编译的增强以及对 Direct3D 9 的改进，旨在为各种游戏提供更好的性能和兼容性。
-
使用Off Grid AI Desktop在本地和离线运行阿里巴巴的Qwen大语言模型
Off Grid AI Desktop是一款新的、免费的、开源的应用程序，允许用户在个人电脑上本地运行阿里巴巴集团的Qwen大语言模型。这使得离线、私密的AI交互成为可能，该应用程序支持各种Qwen模型尺寸，并利用Metal（macOS）和CUDA/Vulkan（Windows）等技术进行硬件加速。该应用程序还具备渲染代码、与个人文档聊天以及使用本地工具的功能，所有这些操作都不会将数据发送到远程服务器。
-
使用新的开源应用程序在本地运行 Google 的 Gemma LLM
一款名为 Off Grid AI Desktop 的新开源应用程序允许用户在 Mac 或 Windows 电脑上本地运行 Google 的 Gemma 语言模型。这种方法通过将所有提示和数据保留在用户机器上，优先考虑用户隐私，无需依赖基于云的服务和相关数据记录。该应用程序支持各种 Gemma 模型尺寸，并包括内置的 Hugging Face 浏览器以下载其他模型、具有视觉模型图像分析功能、文档查询以及通过与 whisper.cpp 和…
-
AMD Strix Halo NPU现可通过Lemonade软件用于LLM推理
一款名为Lemonade的新软件已发布，它支持在AMD Strix Halo设备上使用神经网络处理单元（NPU）来运行大型语言模型。这使得混合模型成为可能，该模型利用NPU进行快速提示处理，并利用集成GPU进行并行执行，从而显著提高性能。这一进展对于一年前购买了这些设备的用户来说是向前迈出的重要一步，使他们能够充分利用硬件能力进行LLM推理。
-
开源 Nvidia Vulkan 驱动 NVK 在 Linux 上增加了实验性 DLSS 支持
为 Nvidia GPU 在 Linux 上开发的开源 Vulkan 驱动 NVK，已引入对 Nvidia DLSS 超分辨率技术（upscaling technology）的实验性支持。此集成是通过直接加载预编译的 CUDA 二进制文件实现的，而不是重新实现 DLSS 算法本身。这种变通方法意味着 DLSS 功能取决于特定 GPU 是否有兼容的字节码可用，而 Nvidia 的专有驱动程序没有此限制，它会在运行时编译中间代码。
-
llama-bench 针对闪存注意力和 GPU 层数进行了默认值更正
最近为 llama-bench 工具发布的 b9437 版本更正了与闪存注意力和 GPU 层数相关的默认设置。此前，该工具即使在兼容硬件上也将闪存注意力硬编码为关闭，并为 GPU 层数使用了旧的哨兵值。此次更新现在将闪存注意力默认设置为在 सक्षम 硬件（CUDA、Metal、Vulkan）上自动激活，并将 GPU 层数设置为 -1，与其他 llama.cpp 工具（如 llama-server 和 llama-cli）保持一致。此…
-
llama.cpp b9680 修复 Vulkan Docker 镜像
llama.cpp 项目发布了 b9680 版本，其中包括对其 Vulkan Docker 镜像的修复。此次更新解决了 vulkan-shaders-gen.cpp 中的一个问题，添加了注释以阐明代码意图，并解决了潜在的未定义行为。
-
Intel Arc B580 GPU 提供 12GB 显存，本地AI成本低于300美元
Intel Arc B580 售价249美元，拥有12GB显存和456 GB/s的内存带宽，使其成为本地运行7-13B参数LLM和Stable Diffusion模型的经济高效选择。虽然其内存带宽优于同价位的二手NVIDIA RTX 3060 12GB，但缺乏CUDA支持导致软件开销更高，LLM推理速度较慢。对于那些愿意接受更复杂的设置过程和某些AI工具潜在兼容性问题的用户来说，B580可能是为本地AI硬件进行未来规划的可行选择。
-
Gemma 4现已支持在React Native应用中离线运行，并实现GPU加速
react-native-executorch项目已成功集成Gemma 4，使得该模型能够在React Native应用程序中离线运行。此次集成利用了Android设备的Vulkan代理和Apple Silicon硬件的MLX代理来实现GPU加速。一个展示此功能的演示应用程序可在GitHub上找到。
-
AI00 RWKV 服务器提供开源推理及 Vulkan 加速
AI00 RWKV 服务器是一个开源的推理 API 服务器，专为运行 RWKV 语言模型而设计。它支持 Vulkan 加速，并与 OpenAI API 兼容。该工具旨在为部署和交互 RWKV 模型提供一个高效的平台。
-
llama.cpp 发布增强性能并添加新功能
llama.cpp 项目发布了多个更新，包括 b9608，该版本更新了 cpp-httplib 并为 macOS、Linux、Android 和 Windows 等各种平台提供了预编译二进制文件。b9606 版本引入了 EAGLE3 推测解码支持，增强了模型推理能力。b9605 版本包括为 Adreno GPU 添加 OpenCL 内核，提高了在某些移动设备上的性能。b9604 版本解决了 SYCL 后端的 CI 构建和发布问题，确保…
-
Ollama 0.30 加速 NVIDIA GPU 上 Qwen 模型本地推理速度
Ollama 0.30 版本已发布，显著提升了 NVIDIA GPU 上 Qwen 模型本地推理速度。此次更新增强了对 Vulkan 和 NVIDIA 硬件的支持，改进了 GGUF 兼容性，并简化了本地 GPU 推理流程。通过为大型语言模型提供更高效的后端，该版本能够实现更快、更注重隐私的桌面聊天应用和 GPU 加速研究。
-
开发者在 Samsung Galaxy Z Fold6 上运行 LLM 推理
一位开发者创建了一个名为 Pocket Node 的 Android 应用程序，该应用程序能够在 Samsung Galaxy Z Fold6 上进行大型语言模型的本地推理。该应用程序利用 llama.cpp 和 Vulkan 后端进行高效处理，并支持通过 SHA-256 哈希值进行模型验证，以确保文件完整性。虽然它不能替代强大的桌面硬件，但它为较小的、设备上的任务提供了一种无云成本的解决方案，并与家庭实验室监控系统集成。
-
LLM用户寻求更快的提示处理速度以支持长代理运行
一位用户在 r/LocalLLaMA 子版块上寻求提高大型语言模型提示处理速度的方法，特别提到了 Qwen 模型的问题，以及随着上下文长度增加，每秒令牌数显著下降的情况。他们目前在 Linux 上使用 Vulkan，并指出 HIP 提供了速度提升，但内存使用量增加且令牌生成效果不佳。用户正在寻找在长代理运行期间保持更高处理速度的解决方案。