dp4a
PulseAugur coverage of dp4a — every cluster mentioning dp4a across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
llama.cpp 为 Adreno GPU 上的 OpenCL 添加了 Q2_K 量化支持
llama.cpp 项目发布了 b11873 版本，在其 OpenCL 后端中引入了对 Q2_K 量化格式的初始支持。此更新包括针对通用矩阵向量乘法 (GEMM) 和通用矩阵乘法 (GEMM) 操作的新内核实现，这些操作专门针对使用 dp4a 和面向服务的架构 (SOA) 方法的 Qualcomm Adreno GPU 进行了优化。由 Hongqiang Wang 联合撰写的这些贡献专注于调整这些内核以提高性能。
-
llama.cpp b11846 更新 ggm-cuda 后端以提升性能
llama.cpp 项目发布了 b11846 版本，更新了其 ggm-cuda 后端。此版本强制 DP4A MMQ 瓦片高度为 warp 大小的倍数，旨在提高性能和兼容性。
-
llama.cpp 增加 OpenCL GEMM 变体；AI 法律科技公司 Legora 融资 5.5 亿美元
llama.cpp 项目发布了 b11789 版本，为 dp4a GEMM 操作引入了新的 OpenCL 变体，支持向量加载激活。此次更新包括对各种操作系统和硬件的支持和测试，涵盖 macOS、iOS、Linux、Android 和 Windows，并针对 Apple Silicon 和 openEuler 进行了特定配置。 另外，由 AI 驱动的法律科技初创公司 Legora 在 E 轮融资中以 88 亿美元的估值获得了 5.5 …
-
llama.cpp b11763 增加了 OpenCL GEMM 变体和操作系统支持
llama.cpp 项目发布了 b11763 版本，引入了多个新的 OpenCL GEMM 操作变体，特别针对小批量大小进行了优化。这些更新包括修复了越界读取问题，并移除了之前强制将权重放置在 CPU 上的条件。该版本还为 Q4_0 和 Q4_K 等多种量化格式增加了特定优化，并增加了对多种操作系统和硬件架构的支持，例如 Apple Silicon、Linux、Android 和 Windows。
-
开发者发现关键的 LLM 配置标志是无效代码
一位开发者发现，一个被广泛分享的环境变量 `GGML_CUDA_FORCE_MMQ=1`，本意是优化 Pascal GPU（如 Tesla P40）的性能，实际上是无效代码。这个变量在社区指南中经常被引用，被认为可以通过 dp4a 指令启用 INT8 矩阵乘法，但底层的 `llama.cpp` 代码在 Pascal GPU 上无条件选择了 MMQ 内核。开发者强调了通过阅读源代码来验证配置标志的重要性，因为仅凭基准测试无法揭示该变量与…