PulseAugur
中
实时 13:58:32
实体 Vulkan

Vulkan

PulseAugur coverage of Vulkan — every cluster mentioning Vulkan across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
57
90 天内 134
发布 · 30天
0
90 天内 0
论文 · 30天
4
90 天内 7
层级分布 · 90 天
主题
关系
情绪 · 30 天

21 天有情绪数据

最近 · 第 1/8 页 · 共 147 条
  1. TOOL · CL_367675 ·

    llama.cpp b12550 通过新功能和修复增强了调度器测试

    llama.cpp 项目已发布 b12550 版本,其中包含对其后端调度器测试的重大更新。此版本引入了初始调度器压力测试、用于简化测试的新 sleep 操作以及 GGML 操作的实验性 Vulkan 支持。更新还优化了现有测试,修复了与纯 CPU 设置和 Vulkan 测试失败相关的问题,并通过新的 RAII 类型改进了内存管理。此外,该版本还整合了代码审查的反馈,并调整了测试以更好地处理各种后端配置和潜在的时钟漂移。

  2. TOOL · CL_366968 ·

    llama.cpp 增加了对混合符号整数点积的 Vulkan 支持

    llama.cpp 项目发布了 b12536 版本,其中包括对 Vulkan 支持的增强。具体来说,此次更新启用了混合精度量化 (MMQ) 和混合符号整数点积。这些更改涉及专门化 MMQ 着色器,并通过有符号、混合和无符号标志跟踪整数点积支持,并将一些检查移至 MMVQ 调用站点。

  3. TOOL · CL_365623 ·

    零服务器AI:LLM和向量搜索通过WebGPU在浏览器本地运行

    一种名为“零服务器AI”的新方法使得大型语言模型(LLM)和向量搜索可以直接在用户的网络浏览器内运行,无需中心化的云基础设施。这是通过WebGPU规范实现的,与以前基于浏览器的方法相比,该规范可以显著提速。这种架构支持私有的、支持离线运行的AI应用程序,且没有重复的推理成本。

  4. TOOL · CL_365770 ·

    llama.cpp 发布 b12525 版本,集成 LLVM 22.1.8

    llama.cpp 项目已发布 b12525 版本,其中包括对其 GGML 库和 CI 流程的更新。此版本特别集成了 LLVM 22.1.8 版本,并解决了 Clang、支持 Vulkan 的 ARM64 架构以及服务器配置的修复问题。

  5. TOOL · CL_365363 ·

    设备端 Android LLM 应用开发揭示 LiteRT-LM 运行时 Bug

    为 Android 开发设备端 LLM 应用面临着若干生产挑战,特别是使用 Google 的 LiteRT-LM 运行时。问题包括 GPU 代理因过度内存分配导致应用被终止,以及在新版 Android 上加载 OpenCL 库失败。此外,简单的聊天模板可能将 JSON 序列化到上下文中,污染后续对话,并且发现 LiteRT-LM 捆绑包存在版本脆弱性,需要随着 SDK 更新重新转换模型。运行时还缺乏线程安全,需要序列化所有原生调用以防止崩溃。

  6. TOOL · CL_364832 ·

    llama.cpp 为 Vulkan 和 CPU 操作添加 bfloat16 支持

    llama.cpp 项目发布了 b12506 版本,通过为各种操作添加 bfloat16 支持来增强其 Vulkan 后端。此次更新还为 CPU 上的一些操作引入了 bfloat16 支持,包括 scale、clamp、leaky_relu 和 SWIGLU_OAI。此外,该版本还包括对 SYCL 的修复,并恢复了 CUDA 的操作顺序。

  7. TOOL · CL_364518 ·

    llama.cpp 发布聚焦性能、错误修复和新模型

    llama.cpp 项目发布了多个预发布更新,重点关注跨平台和硬件的性能改进和错误修复。最近的更新包括针对 RDNA4 GPU 的优化、修复 AMD Windows 系统的驱动程序错误以及改进 SYCL 后端以支持分组 XMX GEMM。该项目还引入了一种新模型类型 Inkling 2 Mini,并优化了内部模型处理以提高效率。

  8. TOOL · CL_362461 ·

    LLM 基准测试显示 MoE 模型在单 GPU 上提供更好的多流性能

    最近的一项基准测试探索了在单个 GPU 上并发运行多个 LLM 流的性能,具体使用的是一块拥有 16GB 显存的 Radeon RX 6900 XT。研究发现,虽然总吞吐量随着流的数量增加而增加,但并非线性扩展,大部分收益在三个或四个流时观察到。与密集模型相比,混合专家(MoE)模型表现出显著更好的性能,在处理多个并发用户时提供更高的每用户速度和更好的整体吞吐量。

  9. TOOL · CL_362262 ·

    llama.cpp b12461 修复了 Apple 上的 Vulkan 异常报告

    llama.cpp 项目已发布 b12461 版本,其中包括对 Apple 设备上与 Vulkan 相关的测试的修复。此更新确保打印异常消息,解决了之前隐藏的间歇性故障。

  10. TOOL · CL_361578 ·

    开发者尝试通过以太网进行分布式GPU以进行AI训练

    一位开发者正在尝试通过以太网运行Vulkan计算,他们称之为“trampoline”技术,以创建一个分布式GPU系统。初步测试表明性能损失是可以接受的,开发者计划添加多GPU支持并测试大型语言模型推理。最终目标是创建一个类似SETI@home的社区驱动平台,用于AI模型的训练和推理,以实现AI开发的民主化,尽管PyTorch移除其Vulkan后端可能会带来挑战。

  11. TOOL · CL_361071 ·

    越狱版PS4可离线运行90亿参数AI模型

    通过开源的Garlic LLM项目,越狱版PlayStation 4现在可以离线运行90亿参数的AI模型Qwen3.5-9B。这使得该主机2013年发布的GPU能够直接处理该模型,该模型已通过4位和3位权重优化,以适应主机8GB内存。该系统在文本生成方面速度可达每秒43个token,并支持语音对话和听写。

  12. RESEARCH · CL_360470 ·

    新的高斯溅射技术增强色彩、跨平台训练和专业应用

    研究人员开发了几种新技术来增强和优化 3D 高斯溅射(3DGS),这是一种用于照片级真实感场景重建的方法。ReTouchGS 为 3DGS 模型提供了无参考的美学色彩增强和迁移,而 Cross3DGS 通过适应不同的 GPU 架构,实现了从工作站到手机等各种设备的训练。其他进展包括用于高效 X 射线新视角合成的 X-Gaussian、用于水下场景重建的 NIRJALA、利用偏振线索加速训练的 RAPID、用于分层图元分配的 Octre…

  13. TOOL · CL_359880 ·

    新款 53ON AI 服务器支持在 AMD Ryzen 硬件上本地运行 AI

    一款名为 53ON AI 服务器的新服务器已被开发出来,可在 AMD Ryzen AI Max 硬件上本地运行 AI 模型。该服务器兼容 OpenAI 和 Anthropic API,并利用 llama.cpp 进行高效内存管理,尤其适用于大上下文窗口。该项目以 MIT 许可发布,旨在为家庭 AI 部署提供灵活且经济高效的解决方案。

  14. TOOL · CL_358689 ·

    逐张量化可在现有硬件上运行更大的大型语言模型

    逐张量化通过降低模型权重的比特宽度,从而减少内存和带宽需求,使得大型语言模型可以在现有硬件上运行。该技术选择性地量化模型的不同部分,在保留敏感层精度的同时,积极压缩不太关键的层。其结果是推理速度更快,并且能够运行原本因硬件限制而无法运行的大型模型,同时会跟踪各种格式的性能和质量指标。

  15. TOOL · CL_358873 ·

    llama.cpp v.b12399 为 Vulkan 添加了显式的 SPIRV-Headers

    llama.cpp 项目发布了 b12399 版本,其中包括更新以显式包含 SPIRV-Headers,以实现 Vulkan 兼容性。此更改对于未将头文件放置在系统包含路径中的发行版是必需的,可确保正确编译。该版本还解决了 OSX CI 运行器配置中有关显式头文件位置的临时解决方案。

  16. TOOL · CL_358203 ·

    Swizzle Runtime v0.1.0 提升 4GB GPU 上的 LLM 性能

    Swizzle-AI 发布了 Swizzle Runtime v0.1.0,这是一个用 Rust 编写的开源项目,旨在提高大型语言模型在本地硬件上的性能。该运行时实现了显著的速度提升,在 4GB 笔记本 GPU 上达到了每秒 209 个 token 和 43 毫秒的首 token 时间。关键创新包括一种新颖的 GEMM 瓦片方法、一种自推测解码方法以及优化的缓存策略,所有这些都打包成一个单一的静态二进制文件,便于部署。

  17. TOOL · CL_358014 ·

    GGML 和 llama.cpp 发布 v1.0,明确本地 LLM 推理中的角色

    GGML 和 llama.cpp 项目均已发布 1.0.0 版本,标志着各自库的重要里程碑。GGML 是一个张量库,专注于底层操作和后端支持,其 1.0 版本包括 API 剪枝、新的截断功能以及跨各种硬件加速器的后端改进。Llama.cpp 是一个基于 GGML 构建的推理应用程序,提供用于运行本地语言模型的高级工具包,包括一个兼容 OpenAI 的服务器。其 1.0 版本更新了模型架构、多模态能力和安全修复,同时更新了其 GGML 依赖项。

  18. TOOL · CL_358019 ·

    ggml张量库达到v1.0.0版本,引入语义化版本控制

    ggml张量库,作为本地机器学习推理的基础组件,已发布1.0.0版本。此次重要更新引入了语义化版本控制,为开发者提供了更清晰的API变更和向后兼容性信号。此次发布还包括了对CUDA、Metal和WebGPU等各种硬件加速器的众多后端改进,以及FP8支持和增强的混合专家(mixture-of-experts)操作等新功能。虽然ggml独立于llama.cpp推理引擎,但Ollama和LM Studio等项目都建立在这个生态系统之上,受益…

  19. COMMENTARY · CL_357931 ·

    llama.cpp 用户探索将 Vulkan/iGPU 与大型模型集成

    Reddit r/LocalLLaMA 子版块的一位用户正在询问是否有可能将 Vulkan 与集成显卡处理器 (iGPU) 结合 llama.cpp 的“懒加载模式”一起使用。该用户希望利用其 iGPU 的统一内存来运行 Qwen3.8-Flash-Next 等大型模型,并在 GPU 内存耗尽时通过 CPU 从 SSD 流式传输模型的部分内容。然而,他们遇到了问题,Vulkan 似乎试图将整个模型加载到 GPU 内存中,即使启用了懒加…

  20. TOOL · CL_356198 ·

    llama.cpp v1.0.0 发布,承诺提供稳定的 API

    流行的开源推理引擎 llama.cpp 已发布 1.0.0 版本,标志着其 API 稳定性迈出了重要一步。此次发布为其核心库 libllama 和 libggml 引入了语义化版本控制,承诺只有在主版本号更新时才会发生重大更改。这一变化对于在 llama.cpp 之上构建应用程序的开发者至关重要,提供了更可预测的开发体验。更新还包括性能增强,如 FP8 KV 缓存和改进的多模态功能,例如文本转语音功能。