ONNX Runtime Web
PulseAugur coverage of ONNX Runtime Web — every cluster mentioning ONNX Runtime Web across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
本地 LLM 现可通过 WebGPU 在浏览器中运行,增强隐私保护
WebGPU API 现在已在 Chrome、Edge 和 Firefox 等主流浏览器中稳定可用,它支持直接在浏览器中运行本地大型语言模型 (LLM)。这一进展,加上 ONNX Runtime Web 和 Transformers.js 的优化,使得在客户端硬件上使用量化模型(如 Qwen 2.5、Phi-3.5 和 Llama 3.2)成为可能。通过将敏感信息保留在用户设备上,避免了中间人攻击和云服务提供商数据保留策略的担忧,这一…
-
基于浏览器的恐怖应用Localghost使用本地LLM创作个性化鬼故事
Localghost是一款新颖的恐怖故事应用程序,完全在浏览器中运行,旨在创作个性化的鬼故事。用户可以选择惊吓程度,提供个人照片和关于他们环境的笔记,该应用程序使用本地的、开源的语言模型来生成独特的叙事。然后,故事会伴随合成音效朗读出来,高潮部分会呈现用户自己照片的去饱和、故障版本。
-
AI agent 应用使用 Laya 决策模型完全在浏览器中运行
一位开发者使用 Laya(ConvAI Innovations 的一个拥有 4.21 亿参数的决策模型)和 WebGPU 创建了四个完全在网页浏览器中运行的 AI agent 应用程序。这些应用程序无需服务器或 API 密钥,提供了私密的本地 AI 体验。Laya 旨在实现类似人类系统 1 思考的快速、直观的决策,负责路由、审核和护栏等任务,在 agentic 决策方面优于更大的生成模型。该模型被转换为 ONNX 并进行量化以兼容浏览…
-
开发者将LLM嵌入网站,使其在浏览器中本地运行
一位开发者已成功地将一个大型语言模型(LLM)直接集成到其个人网站中,使其能够在访客的浏览器中运行,而无需后端服务器或API密钥。这种方法通过将所有交互保持在本地来确保隐私,并防止LLM访问超出开发者个人简历之外的信息。该实现利用WebGPU技术进行高效处理,开发者选择了WebLLM框架,因为它具有与OpenAI兼容的API,并且能够处理具有4096个token上下文窗口的模型,这足以满足简历的内容。
-
LLM 通过 WebGPU 在浏览器中运行,降低推理成本
一种新方法允许大型语言模型直接在网络浏览器中使用 WebGPU 和 Transformers.js 运行,无需服务器端推理。这种方法在 BEINGS 聊天室应用程序中得到演示,使用户能够在自己的设备上运行 AI 实体,从而显著降低运营成本。基准测试显示,WebGPU 在 3.6 亿参数模型上实现了 63 tokens/s 的速度,WASM 作为备选方案,但小型模型的性能可能低于托管替代方案。
-
AI 文本和图像检测器为浏览器端使用进行压缩
一位开发者已成功将一个最初基于 RoBERTa 模型构建的 AI 文本检测器从约 500 MB 压缩至 97 MB,使其能够直接在 Web 浏览器端运行。此外,一个图像检测器也被压缩至 26 MB。这些压缩后的模型利用 ONNX Runtime Web 进行执行,并通过混合精度量化和 WebGPU 支持等性能优化。该项目旨在提供一个注重隐私的 AI 检测工具,无需用户上传数据。
-
开发者创建本地Chrome扩展程序以过滤YouTube信息流
一位开发者创建了一个Chrome扩展程序,该程序利用一个在浏览器中本地运行的小型模型直接过滤YouTube内容。该扩展程序无需服务器或API密钥,允许用户隐藏特定视频类别或遵循自定义规则,还包括一个检查文本是否存在提示注入的功能。该模型opendecider-nano可以通过WebGPU或WASM运行,性能基准测试表明标题分析的处理时间效率很高。
-
指南介绍如何在 Web 浏览器中直接运行 AI 模型
一份实用的指南已发布,详细介绍了如何使用 Transformers.js 库直接在 Web 浏览器中运行 AI 模型。该指南探讨了 Transformers.js 的功能,它允许执行复杂的 AI 任务,而无需服务器端处理。它强调了使用 ONNX Runtime Web、TensorFlow.js 和 WebAssembly 等各种运行时和技术来实现这一点。
-
AI 模型现在使用 ONNX Runtime Web 直接在浏览器中运行
ONNX Runtime Web 使得背景移除和特征提取等复杂的 AI 任务可以直接在网页浏览器中执行。这种客户端处理消除了对强大后端服务器的需求,降低了与将敏感数据发送到云端相关的延迟、带宽消耗和隐私担忧。该架构利用 ONNX 实现模型互操作性,利用 ONNX Runtime Web 作为编译为 WebAssembly 的执行引擎,并利用 WebGL 和 WebGPU 等浏览器硬件加速 API 进行高效计算。
-
WebGPU 解锁浏览器 GPU 算力,实现大规模并行计算
WebGPU 是一项新的 Web API,它允许开发者直接从浏览器利用图形处理单元(GPU)的大规模并行处理能力。与仅限于渲染且需要复杂变通方法才能进行通用计算的前身 WebGL 不同,WebGPU 能够直接在数千个线程上执行任意数学代码。这一转变预计将显著提高 Web 应用程序中 AI 推理、媒体处理和复杂模拟等任务的性能,弥合传统 CPU 密集型 Web 开发与现代 GPU 硬件能力之间的差距。
-
像 Stable Diffusion 这样的 AI 图像模型现在通过 TypeScript 在浏览器中运行
ONNX Runtime Web 和 WebGPU 的最新进展使得像 Stable Diffusion 和 Flux 这样的复杂 AI 模型能够直接在浏览器中使用 TypeScript 运行。这一转变将 AI 模型执行从专用的后端基础设施转移到客户端或边缘设备,显著改变了全栈工程实践。文章详细介绍了潜在扩散模型(LDMs)和校正流匹配(Rectified Flow Matching)的机制,解释了它们如何在压缩的潜在空间中运行,并利用…
-
三元量化将超分辨率Transformer压缩至668KB,可在浏览器中使用
研究人员已成功将BitNet风格的三元量化应用于超分辨率Transformer模型,显著减小了模型尺寸。该量化模型使用-1、0或+1的权重,经过gzip压缩后大小为668KB,可以直接在网页浏览器中运行。该方法在PSNR方面比双三次插值有显著提升,但仅限于非生成式、2倍的放大任务。
-
Moebius 图像修复模型使用 Claude Code 移植到浏览器
Simon Willison 成功地使用 Claude Code 将 Moebius 0.2B 图像修复模型移植到了 Web 浏览器中运行。该过程涉及将模型转换为 ONNX 格式,并利用 WebGPU 在浏览器中执行。这项工作使用户无需在本地安装 PyTorch 或 CUDA 即可直接在浏览器中进行图像修复。
-
ProxyFace为AI聊天添加本地化、情感化头像
ProxyFace是一个开源项目,为AI交互添加本地化、富有表现力的头像。它利用一个小型、设备上的情感模型和眼动追踪,使头像能够对AI输出和用户的注视做出反应。该项目使用React和Electron构建,强调隐私保护,零遥测,并允许自定义像素艺术角色。