Transformers.js
PulseAugur coverage of Transformers.js — every cluster mentioning Transformers.js across labs, papers, and developer communities, ranked by signal.
- used by WebGPU 90%
- used by Google Chrome extension 90%
- uses Cross-Origin Storage API 70%
- used by WebAssembly 70%
- used by ONNX Runtime Web 70%
- uses ONNX Runtime Web 70%
- used by Spaces Agents 70%
- affiliated with Spaces Agents 70%
- used by Cross-Origin Storage API 70%
- affiliated with vLLM 60%
- affiliated with WebGPU 50%
- affiliated with Cross-Origin Storage API 50%
3 天有情绪数据
-
基于浏览器的字幕工具使用蒸馏的 BERT 和 Whisper 模型
一位开发者创建了一个基于浏览器的工具,用于自动为视频添加字幕,主要用于创建 YouTube Shorts 等短视频内容。该工具利用一个蒸馏出的 11M 参数 BERT 模型进行字幕标签,以及 Whisper base 模型进行语音转录,两者都设计为能在浏览器中高效运行。虽然 Whisper base 提供了良好的性能,但对于嘈杂的音频,也提供了云端选项,并且字幕标签目前仅限于英语。
-
本地 LLM 现可通过 WebGPU 在浏览器中运行,增强隐私保护
WebGPU API 现在已在 Chrome、Edge 和 Firefox 等主流浏览器中稳定可用,它支持直接在浏览器中运行本地大型语言模型 (LLM)。这一进展,加上 ONNX Runtime Web 和 Transformers.js 的优化,使得在客户端硬件上使用量化模型(如 Qwen 2.5、Phi-3.5 和 Llama 3.2)成为可能。通过将敏感信息保留在用户设备上,避免了中间人攻击和云服务提供商数据保留策略的担忧,这一…
-
通过提示工程和灵活解析,设备端LLM获得工具调用能力
本文详细介绍了一种为不支持工具调用功能的小型设备端大型语言模型(LLM)启用该功能的方法。该方法涉及使用与OpenAI兼容的JSON schema格式在模型的系统提示中描述可用工具。核心挑战在于解析模型的输出,因为不同的LLM系列以不同的语法响应,偏离了预期的``格式。该解决方案实现了一个灵活的解析器,可以解释这些多样的响应,从而使代理能够可靠地调用诸如网络搜索或数据保存功能之类的工具,即使是使用有限的本地模型。
-
开发者将LLM嵌入网站,使其在浏览器中本地运行
一位开发者已成功地将一个大型语言模型(LLM)直接集成到其个人网站中,使其能够在访客的浏览器中运行,而无需后端服务器或API密钥。这种方法通过将所有交互保持在本地来确保隐私,并防止LLM访问超出开发者个人简历之外的信息。该实现利用WebGPU技术进行高效处理,开发者选择了WebLLM框架,因为它具有与OpenAI兼容的API,并且能够处理具有4096个token上下文窗口的模型,这足以满足简历的内容。
-
LLM 通过 WebGPU 在浏览器中运行,降低推理成本
一种新方法允许大型语言模型直接在网络浏览器中使用 WebGPU 和 Transformers.js 运行,无需服务器端推理。这种方法在 BEINGS 聊天室应用程序中得到演示,使用户能够在自己的设备上运行 AI 实体,从而显著降低运营成本。基准测试显示,WebGPU 在 3.6 亿参数模型上实现了 63 tokens/s 的速度,WASM 作为备选方案,但小型模型的性能可能低于托管替代方案。
-
LLM在可靠的JSON输出方面遇到困难;修复工具应运而生
多个消息来源强调了从大型语言模型(LLM)获得可靠JSON输出所面临的挑战。一项研究发现,旨在防止重复的特定采样设置,将有效JSON的生成率从75%急剧降低到4%。建议开发人员禁用某些重复惩罚,使用约束解码,并实施健壮的解析和验证步骤,包括模式验证和错误驱动的重新提示,以处理格式错误或不正确的JSON输出。工具和API正在涌现,以协助修复这些JSON错误并确保LLM驱动的应用程序中的数据完整性。
-
基于浏览器的 RAG 系统“ask my blog”评估小型 LLM
一位开发者创建了一个名为“ask my blog”的基于浏览器的检索增强生成(RAG)系统,允许用户使用完全在客户端运行的小型语言模型查询博客内容。这种方法无需服务器端处理或 API 密钥,并评估了 SmolLM2、Gemma 3 270M 和 Qwen 等模型的性能和大小。该系统检索相关段落,然后使用小型 LLM 对其进行总结,并通过评估来衡量总结内容与源材料的忠实度。
-
Transformers.js v4.3 使浏览器内 AI 模型执行更加容易
Transformers.js 发布了 4.3 版本,增强了直接在网页浏览器中运行 AI 模型的能力。此次更新引入了对结构化输出(如 JSON 模式)的无依赖项支持,使其对客户端 Web 应用程序更加易于访问。该库旨在简化新手和经验丰富的 Web 开发人员集成 AI 功能的过程。
-
开源应用Observer使用本地LLM监控屏幕并触发操作
一位独立开发者发布了其开源应用程序Observer的3.0.0版本,该应用程序使用本地LLM来监控用户屏幕并触发操作。开发者感谢r/LocalLLaMA社区的反馈,这些反馈帮助改进了应用程序的用户体验,以至于他的母亲能够成功设置一个监控代理。Observer核心AI平台保持免费和开源,旨在让每个人都能使用本地LLM。
-
指南介绍如何在 Web 浏览器中直接运行 AI 模型
一份实用的指南已发布,详细介绍了如何使用 Transformers.js 库直接在 Web 浏览器中运行 AI 模型。该指南探讨了 Transformers.js 的功能,它允许执行复杂的 AI 任务,而无需服务器端处理。它强调了使用 ONNX Runtime Web、TensorFlow.js 和 WebAssembly 等各种运行时和技术来实现这一点。
-
Hugging Face 重点介绍 AI 代理项目和本地模型应用 · 跟踪 3 个来源
Hugging Face 正在展示多个由 AI 驱动的项目和实验。一个项目详细介绍了代理如何通过连接两个相邻的表面来构建一个 3D 巴黎画廊。另一项举措涉及使用本地模型为 OpenClaw 存储库执行免费分类。此外,一项实验探索了在 Transformers.js 中提出的跨域存储 API。
-
Hugging Face 发布 Chrome 扩展和 GPU 优化指南
Hugging Face 发布了关于将 Transformers.js 集成到 Google Chrome 扩展和优化 GPU 集群利用率的指南。第一个指南详细介绍了如何在 Chrome 扩展中使用 Transformers.js,实现设备端 AI 处理。第二篇文章讨论了 GPU 集群效率的提升,指出通过重新排序任务,利用率提高了33个点。
-
AI 计费系统必须适应动态、GPU 密集型工作负载
为 GPU 密集型 AI 工作负载构建健壮的计费系统对其商业可行性至关重要。这些系统必须将不稳定的计算成本转化为确定的财务单位,因为未经优化的管道可能导致资源迅速耗尽。与传统的 API 调用计费不同,AI 工作负载计费需要一个动态的、依赖于状态的模型,该模型考虑了基于节点的图中的非线性、并行计算。
-
Hugging Face 探索3D画廊构建、跨域存储和vLLM后端
Hugging Face 正在探索几个高级AI主题,包括使用Spaces Agents构建一个3D巴黎画廊。他们还在试验用于Transformers.js的跨域存储API,并详细介绍了一个高性能的vLLM Transformer建模后端。
-
Hugging Face 详解 Chrome 扩展 AI 集成与 GPU 管理
该集群包含 Hugging Face 的两篇博文,详细介绍了 AI 模型部署和管理的进展。第一篇文章解释了如何将 Transformers.js 集成到 Google Chrome 扩展中,从而实现设备端 AI 功能。第二篇文章讨论了集群内 GPU 管理的优化,展示了如何通过重新排序任务来显著提高利用率。
-
Superwhisper 发布 S1-mini 用于清理语音转录文本
Superwhisper 发布了 S1-mini,一个拥有 0.6 亿参数的语言模型,用于清理原始语音转文本记录。该模型可以移除填充词、纠正自我修正、添加标点符号和大小写,并格式化数字数据。它在英文文本上达到了 94.8% 的 token 准确率,并且可以在笔记本电脑的 CPU 上运行,还有量化版本可供选择。S1-mini 是从 Qwen/Qwen3-0.6B 微调而来,可在 Hugging Face 上获取,并提供了集成到各种库和应…
-
Hugging Face 强调AI在Agent构建、存储API和vLLM后端方面的进展
Hugging Face 正在强调AI领域的几项最新进展。其中一篇文章详细介绍了如何使用一个Agent通过连接相邻平面来构建一个3D巴黎画廊。另一篇文章探讨了Transformers.js中的实验性跨域存储API。最后,第三篇文章讨论了一个原生的、速度更快的vLLM Transformer建模后端。
-
指南展示了如何在 Chrome 扩展中使用 Transformers.js
本文详细介绍了如何在 Google Chrome 扩展中使用 Transformers.js。它提供了一个指南,链接到 Hugging Face 的博客文章,介绍如何在浏览器中直接集成此 AI 库以进行本地模型执行。该文章还涉及使用 AI 进行自动化内容生成,例如创建标题和链接。
-
用户在 r/LocalLLaMA 上寻求适用于 Transformers.js 的最佳 OCR 模型
r/LocalLLaMA 子版块的一名用户正在寻找可以使用 Transformers.js 库运行的最佳光学字符识别 (OCR) 模型推荐。他们特别要求提供基准测试以帮助他们做出明智的决定。
-
World Monitor 仪表板获得 67k 颗星,提供 AI 代理端点
World Monitor,一个开源的全球情报仪表板,已获得超过 67,000 个 GitHub 颗星。该项目由 Elie Habib 开发,提供了一个融合到 WebGL 地球上的全球事件实时视图,并为 AI 代理提供了一个 MCP 端点。它包含超过 500 个新闻源、56 个地图图层(包括关键基础设施和冲突区域),以及一个具有约 18 个工具域的 MCP 端点。该仪表板有三种部署模式,可以选择使用 Ollama 进行本地推理或通过 …