General Matrix Vector Multiplication
PulseAugur coverage of General Matrix Vector Multiplication — every cluster mentioning General Matrix Vector Multiplication across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
llama.cpp 为 Adreno GPU 上的 OpenCL 添加了 Q2_K 量化支持
llama.cpp 项目发布了 b11873 版本，在其 OpenCL 后端中引入了对 Q2_K 量化格式的初始支持。此更新包括针对通用矩阵向量乘法 (GEMM) 和通用矩阵乘法 (GEMM) 操作的新内核实现，这些操作专门针对使用 dp4a 和面向服务的架构 (SOA) 方法的 Qualcomm Adreno GPU 进行了优化。由 Hongqiang Wang 联合撰写的这些贡献专注于调整这些内核以提高性能。
-
新的 TME 模型项考虑了残差解构成本
一篇新论文在 Tensor-Memory Equilibrium (TME) 模型中引入了一个缺失的第四项，即残差解构成本。该项考虑了在矩阵乘法发生之前，特别是对于流式操作数，所需的每输入解构成本。作者使用 cuBLAS 仿真路径校准了这一项，并建立了一个操作强度阈值，低于该阈值，仿真性能将受到限制，不如原生 fp64。
-
AI对齐倡导者呼吁监管GEMM和GEMV操作
有人呼吁监管GEMM和GEMV操作，这对于AI对齐和模型执行至关重要。该提议建议，未经适当许可而使用BLAS（基本线性代数子程序）的实体，特别是在本地部署模型时，应接受监管审查。这项举措将这些数学运算的使用置于AI安全和对齐的背景下。
-
新方法提升2位LLM权重解码效率
研究人员开发了一种新颖的2位LLM权重多壳解码方法，旨在提高效率和质量。所提出的方法包括离线扩展到GPU布局以及一个融合的解量化加矩阵向量乘内核，以最小化warp发散。该方法与各种位精确布局进行了测试，在恒定带宽下展示了在大小和速度方面的性能提升，并与FP16等更高精度格式相比显示出有竞争力的结果。