WebGPU Shading Language
PulseAugur coverage of WebGPU Shading Language — every cluster mentioning WebGPU Shading Language across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新的 WebGPU LLM 引擎已针对 llama.cpp 进行数值精度验证
一个基于 WebGPU 的新型 LLM 推理引擎 quipullm 已被开发出来，并与成熟的 llama.cpp 库进行了严格的验证。该引擎完全用 WGSL 和 JavaScript 从头编写，直接在浏览器中运行，并支持标准的 GGUF 文件。验证侧重于数值精度而非主观文本质量，使用了合成模型，并将 token ID、最后一个 token 的 logits 和贪婪续写与 llama.cpp 的输出进行比较。这种方法可以检测到细微的错误…
-
Hugging Face 发布 200 多个用于本地 AI 的 WebGPU 内核
Hugging Face 推出了 @huggingface/kernels 库，该库支持直接从 Hugging Face Hub 使用 200 多个优化的 WebGPU 内核进行本地 AI 应用。这些内核涵盖了重要的机器学习操作，并作为独立的、版本化的软件包发布，具有明确的接口、正确性测试和基准测试用例。为了促进社区参与，Hugging Face 还推出了 Fleet，一个基于浏览器的基准测试工具，用于众包来自不同硬件的性能和正确性数…
-
生成式AI媒体管道面临新的安全威胁
生成式AI媒体管道，特别是那些使用基于节点的画布和客户端WebGPU的管道，容易受到资源耗尽和拒绝服务攻击。与传统的Web服务不同，这些管道涉及持续的计算负载和非线性的资源成本，包括内存放大、推理延迟瓶颈和带宽饱和。保护这些系统需要超越简单的请求计数器的专业滥用预防策略，重点关注计算稀缺性和代理循环风险。
-
AI开发见证LLM底层优化回归
作者反思了AI开发中底层优化（特别是针对大型语言模型LLM）的复兴。他回忆起自己早期在8位机器上优化矩阵乘法的经历，以及后来在2008年为大英图书馆构建的一个神经网络，该网络依赖于相同的基本操作：矩阵乘法和激活函数。作者指出，这个核心概念仍然是现代LLM的关键，知识被编码在权重矩阵中，类似于突触。作者还分享了一个关于为GPU开发HLSL着色器程序的轶事，这项技能在多年后他开始构建自己的推理引擎时出乎意料地派上了用场。这个引擎最初是用H…
-
Vercel 开源 vgpu WebGPU 库，用于 AI Agent Shaders
Vercel 已开源 vgpu，这是一个旨在简化 WebGPU Shaders 开发和部署的 TypeScript 库。该库允许开发者编写一次 Shaders，并在不同环境（包括浏览器、无头 Node.js 和 CI 测试）中运行。Vgpu 将 WebGPU Shading Language (WGSL) 文件视为可导入的模块，自动处理绑定声明并优化 Shaders 代码以实现紧凑的体积。该项目采用 MIT 许可，可在 npm 上获得…
-
WebGPU 解锁浏览器 GPU 算力，实现大规模并行计算
WebGPU 是一项新的 Web API，它允许开发者直接从浏览器利用图形处理单元（GPU）的大规模并行处理能力。与仅限于渲染且需要复杂变通方法才能进行通用计算的前身 WebGL 不同，WebGPU 能够直接在数千个线程上执行任意数学代码。这一转变预计将显著提高 Web 应用程序中 AI 推理、媒体处理和复杂模拟等任务的性能，弥合传统 CPU 密集型 Web 开发与现代 GPU 硬件能力之间的差距。
-
llama.cpp b10336 为 Apple Silicon 重构 WebGPU 着色器
最新发布的 llama.cpp 版本 b10336，对 WebGPU 着色语言 (WGSL) 文件进行了重大重构，并简化了 flash_attn WGSL 的实现。此次更新侧重于提高 WebGPU 加速的代码效率和结构，特别是针对 macOS 上的 Apple Silicon 硬件。
-
开发者用自定义 GPU 内核构建 Rust LLM 推理引擎
一位开发者创建了一个名为 aether 的基于 Rust 的 LLM 推理引擎，旨在通过自定义 WGSL GPU 内核实现高效的模型执行。该项目主要用于学习，支持 Llama 和 Mistral 等 GGUF 模型，并利用 WGPU 为各种后端实现 GPU 加速。它具有自定义的融合计算着色器，用于量化矩阵乘法，并包含一个与 OpenAI 兼容的 API 服务器，尽管 GPU 路径仍处于实验阶段。