SDCBP
PulseAugur coverage of SDCBP — every cluster mentioning SDCBP across labs, papers, and developer communities, ranked by signal.
9 天有情绪数据
-
llama.cpp b12320 版本发布,修复了大型数据 AOT 编译问题
llama.cpp 项目发布了 b12320 版本,其中包含了一个针对处理超过 4GB 数据时预编译 (AOT) 问题的修复。此次更新还向构建脚本添加了 --aot 标志并纠正了其用法,同时支持在没有 XMX (eXtreme Memory eXtension) 功能的情况下进行构建,并将 'nossl' 标志重命名为 'no-ssl'。
-
llama.cpp 更新增强了 SYCL 后端以支持 MoE 调度
llama.cpp 项目发布了更新 b12251,对其 SYCL 后端进行了重大改进,特别是在设备端混合专家(MoE)调度方面。此次更新优化了 MoE 专家在设备上的加载和执行方式。该版本还包括对张量卸载和图执行的增强,解决了主机卸载张量和 SYCL 图检查的问题,以提高性能和稳定性。此外,还更新了一些代码注释和命名约定以提高清晰度。
-
Intel Arc GPU 的隐藏引擎将 token 速度提升 13 倍
一位用户发现他们的 Intel Arc GPU 有一个未充分利用的第二个引擎,他们能够利用它来显著提高 token 生成速度。通过使用 Vulkan 和 SYCL,用户在不购买任何额外硬件的情况下,实现了从每秒 5 个 token 到 13 个 token 的性能提升。这种优化是通过自定义基准测试确定的。
-
llama.cpp b11979 发布通过优化量化提升 Arc Pro B70 性能
llama.cpp 的最新版本 b11979 引入了针对各种量化格式的显著性能优化,尤其是在 Arc Pro B70 GPU 上。这些更新侧重于对 Q4_0、Q4_K、Q5_K、Q6_K、Q3_K 和 IQ3 等格式的量化反量化存储进行向量化处理,从而在预填充场景中实现了显著的速度提升。例如,Q6_K 模型性能提升了近 29%,而其他格式也获得了可观的提升,尽管新布局的预填充和解码速度基本保持不变。
-
llama.cpp 通过 work-group argmax 优化 SYCL 性能 · 跟踪 1 个来源
llama.cpp 项目发布了更新 b11963,通过对短 TOP_K 行使用 work-group argmax 来引入 SYCL(SYCL 是异构计算的高级编程模型)的优化。此优化在 Claude Opus 5.5 的协助下进行,旨在通过在 work-group 内并行处理列来提高性能。基准测试显示速度显著提升,某些情况下执行速度提高了 18 倍以上,尽管少数特定配置的性能有所下降或差异可忽略不计。
-
llama.cpp 为 SYCL 添加图记录/回放功能
llama.cpp 项目发布了 b11830 版本,通过添加图记录和回放功能来增强 SYCL (SYCL-BP)。此次更新旨在提高 llama.cpp 库的性能和功能,特别是对于利用 SYCL 进行硬件加速的用户。
-
llama.cpp 发布预发布版本;Jetson AGX Orin 的深度估计基准测试
llama.cpp 项目发布了多个预发布版本,包括 b11848、b11852 和 b11799,引入了各种更新和错误修复。值得注意的是,b11848 版本增加了对跨进程并发下载的支持,并为 openEuler 系统提供了特定配置。另一项内容讨论了 NVIDIA Jetson AGX Orin 的深度估计方法基准测试,评估了单目和双目方法的准确性、速度和能耗。
-
AI研究进展,llama.cpp优化,以及AI对新闻的影响的讨论
llama.cpp项目的最新更新,包括预发布版本b11835和b11822,专注于优化跨平台性能,并整合对Qwen和DeepSeek等新模型的支持。这些更新包括对SYCL、KleidiAI和ACL Graph的增强,旨在提高从macOS和iOS到Linux、Android和Windows等系统的效率。同时,研究论文正在探索先进的AI概念,如高效神经形态持续学习和可认证的少样本迁移学习,以及使用多模态对比学习进行地理区域表示的方法。AI…
-
llama.cpp 项目发布更新,增强跨平台兼容性
llama.cpp 项目发布了多个预发布版本,包括 b11900、b11841 和 b11810,重点改进了模型分辨率测试和处理不同浮点格式的能力。这些更新增强了在 macOS、iOS、Linux、Android 和 Microsoft Windows 等各种操作系统上的兼容性,并特别支持 OpenEuler 以及 KleidiAI 和 ACL Graph 等功能。此外,unsloth/flint-GGUF 模型现已可与 llama.…
-
llama.cpp b11676 发布默认启用 OpenSSL,增加 SYCL 支持
llama.cpp 项目发布了 b11676 版本,该版本在构建脚本中默认启用了 SYCL 支持和 OpenSSL。此次更新还修改了 Microsoft Windows 的构建过程以使用 LLAMA_BUILD_BORINGSSL,并重构了多个组件,包括移除了下载 UI 构建。该版本由 arthw 标记,并由 Sigbjørn Skjæret 共同撰写。
-
llama.cpp 发布带来 OpenVINO 更新、Vulkan、GGUF 和 SYCL 改进
llama.cpp 项目发布了多个更新,包括 b11024 版本,该版本更新了 OpenVINO 2026.4 并修复了各种编译器警告。其他近期版本,如 b11022 和 b11020,分别改进了 Vulkan 支持和 DeepSeek 模型的消息分隔符解析。b11019 版本解决了 GGUF 文件对齐和 LoRA 加载问题,而 b11013 解决了 Vulkan 着色器中的缓冲区对齐问题。早期的更新,如 b11017 和 b1101…
-
AI与HPC通过Triton和SYCL的Stencil计算实现融合
本文通过Stencil计算的视角探讨了AI与高性能计算(HPC)的交叉领域。文章重点介绍了向量外积等技术以及Triton编程模型如何应用于优化这些计算,而这些计算对于许多科学模拟和AI工作负载至关重要。文章还提到了SYCL标准,作为在该领域实现跨不同硬件架构可移植性的一种方式。
-
llama.cpp 发布更新,修复性能和稳定性问题 · 跟踪 9 个来源
llama.cpp 项目发布了多个更新,包括 0.4.1 版本,该版本解决了跨不同平台的各种性能和稳定性问题。值得注意的更改包括对 SYCL 后端的优化、CPU 堆损坏的修复以及对缺乏 BF16 硬件加速的 CUDA 设备的后备机制。这些更新旨在提高在各种硬件上运行语言模型的效率和可靠性。
-
AI 系统生成专用 GPU 内核以实现极致效率
研究人员正在开发优化 GPU 内核的先进方法,这对于高效的 AI 模型推理至关重要。一种名为 KernelFoundry 的方法使用具有质量多样性搜索和元提示进化的进化框架来生成 SYCL 和 CUDA 内核,在 KernelBench 上实现了平均 2.3 倍的速度提升。另一个系统 Proteus 专注于极致的专业化,通过生成针对特定模型大小和运行时条件定制的内核,从而生成比 vLLM 中的内核快 1.8–5.2 倍的 Qwen 3…
-
llama.cpp PR 提升 Intel GPU 和 x86 CPU 性能
llama.cpp 项目的一个拉取请求(PR)为量化 KV 缓存解码带来了显著的性能提升。一项更改针对 Intel Battlemage GPU,通过 SYCL 内核切换,在长上下文长度下实现了高达 169% 的解码速度提升。另一项优化侧重于 x86 CPU,为 Q2_0 量化实现了一个 VNNI 路径,解码性能提升了 3-3.6 倍。尽管这些改进在基准测试中显示出有希望的结果,但它们目前仍处于开放的拉取请求状态,需要在各种硬件配置上…
-
llama.cpp 发布包含服务器改进和性能优化 · 跟踪 8 个来源
llama.cpp 项目发布了多个更新,包括 b10331 版本,该版本通过正确报告隔离工作目录来改进服务器功能。其他近期版本,如 b10330 及更早版本,则侧重于 CUDA 操作的性能优化、SYCL 的错误修复以及跨 macOS、Linux、Android 和 Windows 等各种平台的通用系统兼容性。这些更新反映了 llama.cpp 库在高效本地 LLM 部署方面的持续开发和完善。
-
llama.cpp PR 缓存 MoE 专家以加速本地 AI 推理 · 跟踪 4 个来源
llama.cpp 的一项新拉取请求引入了一种在 GPU 上缓存常用专家混合(MoE)层的方法,通过将 Qwen3.6-35B-A3B 等模型在显存有限的消费级硬件上的推理速度最高提升 2 倍。然而,这种优化并非普遍适用,由于开销原因,在某些情况下甚至可能降低性能。同时,llama.cpp 还迎来了其他更新,包括增强了对 Intel GPU 的 SYCL 支持,改进了 iGPU 和 WebGPU F16 性能,并为聊天模型引入了工具调…
-
llama.cpp 发布多个更新,改进性能和构建
llama.cpp 项目发布了多个更新,包括 b10567 版本,该版本为 macOS、Linux、Android 和 Windows 提供了 CI 改进和各种构建选项。之前的版本如 b10566 和 b10549 分别引入了版本升级和张量分割功能。其他更新解决了 b10539 中的 Vulkan 量化计算、b10545 和 b10538 中的 Metal 性能优化以及 b10536 中的服务器端模型加载等具体问题。b10537 版本…
-
llama.cpp 通过性能优化增强了对 SYCL/Intel GPU 的支持
llama.cpp 项目发布了多项更新,增强了其对 SYCL 和 Intel GPU 的支持。这些更新包括对使用 XMX 引擎和 oneDNN 图形 API 的 Flash Attention 的优化,显著加快了 Qwen3.6-27b 等模型的推理速度。此外,这些更改还解决了 USM 系统分配的缓冲区大小最小值问题,并引入了对 OP XIELU 和 fp16 conv2d_dw 内核类型等新操作的支持。
-
llama.cpp 发布多个更新,支持跨平台优化
llama.cpp 项目发布了多个更新,包括 b10106、b10105、b10108、b10099、b10098、b10094、b10093、b10092、b10091 和 b10103 版本。这些发布在不同平台和硬件加速器上引入了各种改进和修复。值得注意的更新包括对 CUDA、Metal、Hexagon 和 OpenVINO 的增强,以及对 DeepSeekv4 等特定模型模板的修复,并改进了参数解析和内存管理。