PulseAugur
中
实时 09:15:39
实体 WebGPU

WebGPU

PulseAugur coverage of WebGPU — every cluster mentioning WebGPU across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
48
90 天内 105
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 4
层级分布 · 90 天
主题
关系
情绪 · 30 天

19 天有情绪数据

最近 · 第 1/6 页 · 共 114 条
  1. TOOL · CL_370288 ·

    WebGPU LLM 支持浏览器内离线运行 AI 模型

    一个名为 WebGPU LLM 的新项目已发布,允许用户直接在网页浏览器中运行大型语言模型。该项目强调隐私和简单性,目标是通过下载 HTML 文件实现离线使用。目前已提供 Qwen 模型,未来计划集成 Gemma 模型。该项目是 MIT 许可下的开源项目。

  2. TOOL · CL_365623 ·

    零服务器AI:LLM和向量搜索通过WebGPU在浏览器本地运行

    一种名为“零服务器AI”的新方法使得大型语言模型(LLM)和向量搜索可以直接在用户的网络浏览器内运行,无需中心化的云基础设施。这是通过WebGPU规范实现的,与以前基于浏览器的方法相比,该规范可以显著提速。这种架构支持私有的、支持离线运行的AI应用程序,且没有重复的推理成本。

  3. TOOL · CL_364518 ·

    llama.cpp 发布聚焦性能、错误修复和新模型

    llama.cpp 项目发布了多个预发布更新,重点关注跨平台和硬件的性能改进和错误修复。最近的更新包括针对 RDNA4 GPU 的优化、修复 AMD Windows 系统的驱动程序错误以及改进 SYCL 后端以支持分组 XMX GEMM。该项目还引入了一种新模型类型 Inkling 2 Mini,并优化了内部模型处理以提高效率。

  4. TOOL · CL_361828 ·

    基于浏览器的字幕工具使用蒸馏的 BERT 和 Whisper 模型

    一位开发者创建了一个基于浏览器的工具,用于自动为视频添加字幕,主要用于创建 YouTube Shorts 等短视频内容。该工具利用一个蒸馏出的 11M 参数 BERT 模型进行字幕标签,以及 Whisper base 模型进行语音转录,两者都设计为能在浏览器中高效运行。虽然 Whisper base 提供了良好的性能,但对于嘈杂的音频,也提供了云端选项,并且字幕标签目前仅限于英语。

  5. MEME · CL_359905 ·

    作者对“氛围编码十一月”参与者表示鄙视

    作者对参加“氛围编码十一月”活动的国际同行表示失去尊重,尤其是在计算机图形学领域。该帖子是关于该活动及其参与者的个人感受。

  6. TOOL · CL_358721 ·

    ggml 1.0.0 发布移除13个API,CPU速度无提升

    ggml 1.0.0 的发布引入了重大变化,包括移除13个公共API函数以及将RPC协议更新至9.0版本。尽管有这些变化,在纯CPU系统上的性能基准测试显示文本生成速度没有提高,仍保持在每秒约19.8个token。提示处理速度在测量噪声范围内也显示出微不足道的差异,尤其是在较短的上下文长度下。此次发布的主要好处是代码清理以及添加了YaRN截断控制和增强的GPU后端支持等新功能,而不是直接的CPU性能提升。

  7. TOOL · CL_358014 ·

    GGML 和 llama.cpp 发布 v1.0,明确本地 LLM 推理中的角色

    GGML 和 llama.cpp 项目均已发布 1.0.0 版本,标志着各自库的重要里程碑。GGML 是一个张量库,专注于底层操作和后端支持,其 1.0 版本包括 API 剪枝、新的截断功能以及跨各种硬件加速器的后端改进。Llama.cpp 是一个基于 GGML 构建的推理应用程序,提供用于运行本地语言模型的高级工具包,包括一个兼容 OpenAI 的服务器。其 1.0 版本更新了模型架构、多模态能力和安全修复,同时更新了其 GGML 依赖项。

  8. TOOL · CL_358019 ·

    ggml张量库达到v1.0.0版本,引入语义化版本控制

    ggml张量库,作为本地机器学习推理的基础组件,已发布1.0.0版本。此次重要更新引入了语义化版本控制,为开发者提供了更清晰的API变更和向后兼容性信号。此次发布还包括了对CUDA、Metal和WebGPU等各种硬件加速器的众多后端改进,以及FP8支持和增强的混合专家(mixture-of-experts)操作等新功能。虽然ggml独立于llama.cpp推理引擎,但Ollama和LM Studio等项目都建立在这个生态系统之上,受益…

  9. TOOL · CL_355487 ·

    Web Models API提案旨在实现浏览器中的设备端AI

    一项关于Web Models API的提案旨在使Web应用程序能够访问设备端AI模型,类似于浏览器目前访问摄像头或麦克风的方式。该API将允许开发人员利用在用户计算机上本地运行的开源模型,并需获得用户许可,从而减少对昂贵云推理服务的依赖并增强用户数据隐私。该API将管理模型执行、资源使用以及跨站点的模型权重共享,同时还支持工具调用、结构化输出和多媒体输入等高级功能。

  10. FRONTIER RELEASE · CL_351186 ·

    Zyphra 发布 ZONOS3-Mini,一款用于实时语音克隆的开源 TTS 模型

    Zyphra 发布了 ZONOS3-Mini,这是一款专为在消费级硬件上实现实时性能而设计的开源文本转语音(TTS)模型。该模型采用稀疏专家混合(MoE)架构,拥有 1 亿个活跃参数,并支持零样本语音克隆。它可以通过 WebGPU 直接在网页浏览器中运行,也可在移动设备或各种 GPU 和 CPU 上运行,为开发者和用户提供了灵活性。

  11. TOOL · CL_348115 ·

    KetchUp:使用 Rust 和 WebGPU 构建的开源 SketchUp 替代品

    KetchUp 是 SketchUp 的一款新的开源替代品,使用 Rust 和 WebGPU 开发。该项目的创建者将开源运动视为一种遥测优化形式,认为用户在无意中训练的模型最终可能会取代人类设计的需求。

  12. TOOL · CL_347354 ·

    llama.cpp 预发布版侧重于性能和跨平台修复

    llama.cpp 项目已发布多个预发布更新,侧重于在各种平台和硬件上进行性能增强和错误修复。最近的更新包括改进的 Vulkan 对 Conv3D 操作的支持、对 GDN MMA 内核的 HIP/CUDA 优化以及 Nvidia FP32 FA shmem 溢出的修复。此外,已在 WebGPU 中实现了对每头闪存注意力掩码的支持,并在 Vulkan 中启用了基数 top-k 操作的确定性绑定选择,并对 AMD、Intel 和 Nvid…

  13. TOOL · CL_346808 ·

    本地 LLM 现可通过 WebGPU 在浏览器中运行,增强隐私保护

    WebGPU API 现在已在 Chrome、Edge 和 Firefox 等主流浏览器中稳定可用,它支持直接在浏览器中运行本地大型语言模型 (LLM)。这一进展,加上 ONNX Runtime Web 和 Transformers.js 的优化,使得在客户端硬件上使用量化模型(如 Qwen 2.5、Phi-3.5 和 Llama 3.2)成为可能。通过将敏感信息保留在用户设备上,避免了中间人攻击和云服务提供商数据保留策略的担忧,这一…

  14. TOOL · CL_345284 ·

    NKTg AI 推出确定性文本解码以取代LLM前的RAG

    NKTg AI 开发了一个新的确定性文本解码系统,旨在改进传统的检索增强生成(RAG)方法。与使用向量嵌入和余弦相似度的标准RAG不同,NKTg AI 采用基于物理学的语义能量评分系统,在将核心内容传递给语言模型之前提取其原始核心内容并标准化逻辑框架。这种方法旨在通过剥离上下文噪音和隔离关键操作来减少幻觉并保留作者的原始意图,该系统能够通过WebAssembly和WebGPU完全在客户端运行。

  15. TOOL · CL_343632 ·

    llama.cpp 增强 WebGPU 支持,新增操作

    llama.cpp 项目发布了专注于 WebGPU 支持的更新,最近的提交增加了对 COUNT_EQUAL 和 MEAN 操作的功能。这些更新由 Codex 协助完成,旨在增强 macOS、Linux、Android 和 Windows 等各种平台的 WebGPU 后端的性能和能力。

  16. TOOL · CL_341251 ·

    LFM3-Omni-2B 模型在 iPhone 18 Pro Max 上离线运行

    一位用户已成功在 iPhone 18 Pro Max 上离线运行了 LFM3-Omni-2B 语言模型,速度约为每秒 80 个 token。这是通过将自定义 WebGPU 内核集成到 React Native 应用程序中实现的,证明了在移动设备上运行复杂 AI 模型的可行性。

  17. RESEARCH · CL_340991 ·

    权重空间编程:直接在浏览器中编辑 LLM 权重

    一种名为权重空间编程的新技术允许用户直接在网页浏览器中编辑语言模型的数值权重,绕过了传统的训练方法。这种方法由 webWeightSpace 项目演示,允许用户通过更改特定数字来修改模型行为,例如,通过编辑 Qwen3.5-0.8B 的一小部分权重,一个 AI 代理修复了其推理循环。该教程提供实践经验,让个人能够注入概念、融合模型,并仅使用笔记本电脑 GPU 和网页浏览器观察权重变化对模型性能的影响。

  18. TOOL · CL_335477 ·

    Ava:浏览器内 AI 虚拟形象,支持 LFM3-Omni 和 WebGPU 本地运行

    Ava 是一款新的浏览器内 AI 虚拟形象,可以使用 WebGPU 在本地运行。它利用 lfm3-omni 模型实现其功能。该项目旨在直接在网页浏览器中提供更易于访问和集成的 AI 体验。

  19. TOOL · CL_333615 ·

    AI agent 应用使用 Laya 决策模型完全在浏览器中运行

    一位开发者使用 Laya(ConvAI Innovations 的一个拥有 4.21 亿参数的决策模型)和 WebGPU 创建了四个完全在网页浏览器中运行的 AI agent 应用程序。这些应用程序无需服务器或 API 密钥,提供了私密的本地 AI 体验。Laya 旨在实现类似人类系统 1 思考的快速、直观的决策,负责路由、审核和护栏等任务,在 agentic 决策方面优于更大的生成模型。该模型被转换为 ONNX 并进行量化以兼容浏览…

  20. TOOL · CL_332539 ·

    llama.cpp 项目发布多个预发布更新,性能有所提升

    llama.cpp 项目已发布多个预发布版本,包括 b12121、b12119、b12118、b12116、b12114、b12110、b12109、b12102、b12100 和 b12109。这些更新解决了各种问题,并在不同平台和硬件上引入了新功能。主要改进包括修复了 Apple Silicon 上的量化 KV 缓存复制问题、增强了 OpenCL 的解码性能、支持新的 TTS 模型以及针对 WebGPU 和 Hexagon 硬件进行了优化。