ONNX Runtime
PulseAugur coverage of ONNX Runtime — every cluster mentioning ONNX Runtime across labs, papers, and developer communities, ranked by signal.
8 天有情绪数据
-
KittenML 发布 KittenTTS 2 Mini,支持 16 种语言、118 种声音
KittenML 发布了 KittenTTS 2 Mini,一个拥有 8200 万参数的文本转语音模型,支持 16 种语言和 118 种声音。该模型有多种格式可供选择,包括用于纯 CPU 执行的 int8 或 int4 量化权重的 ONNX 版本,以及用于 GPU 使用的 float32 PyTorch 权重。可以通过 KittenTTS 库集成到项目中,并提供了不同语言和声音生成语音的用法示例。
-
新的 SDK 支持在各种平台上进行流式语音增强
研究人员推出 GigaEdge Spench,这是一个开源 SDK,专为跨服务器、移动设备和 Web 浏览器等各种平台的流式语音增强而设计。该 SDK 允许应用程序使用神经去噪、标准化、采样率转换和回声消除模块来构建增强管道。它支持 8 kHz INT8 去噪器和 48 kHz FP32 模型,其 C++ 核心支持与 ONNX Runtime 和 TensorFlow Lite 集成,并为 Android、iOS 和 WebAssem…
-
开源EOU检测器发布,支持英语和8种印度语言
一个新发布的开源的结束语(EOU)检测模型,旨在防止语音助手在通话者句子未完时打断。该模型尤其有利于像印度这样的语言,因为其句子结构可能导致机器人过早打断。EOU检测器基于Qwen2.5-0.5B微调,支持英语和八种印度语言,并可以使用ONNX Runtime在CPU上本地运行。
-
Microsoft Foundry Local 支持本地运行 Qwen3.8-27B 编码助手
Microsoft 发布了 Foundry Local,使开发人员能够将 Qwen3.8-27B 语言模型本地运行,以提供编码辅助。此设置与 GitHub Copilot 集成,为拥有兼容 NVIDIA GPU 的用户提供离线、私密的编码助手。与 llama.cpp 等现有解决方案相比,该系统在处理大上下文窗口时速度显著提升,使其成为复杂编码任务的可行选项。然而,此类本地模型在 Windows 上用于实时音频应用的实用性仍受操作系统音…
-
Foundry Local 将 Agentic Coding 带到设备,速度显著提升
Foundry Local 已发布,可在本地设备上实现 Agentic Coding 功能。据报道,该新工具在 NVIDIA 5090 和 DGX Spark 等硬件上提供了显著的性能提升,解码和令牌生成速度提高了 35-135%。此次发布还包括对 Qwen3 8.27B 模型的支持,旨在通过离线编码解决方案增强开发人员的工作流程和代码隐私。
-
开发者重建 Karpathy 的 HackerTube 为 OpenTube,测量其性能
一位开发者重新创建了 Andrej Karpathy 的 HackerTube 项目,将其命名为 OpenTube 版本,用于过滤 Hacker News 评论中的 YouTube 链接。该项目采用两阶段模型级联,首先使用一个名为 Laya 的较小模型,然后仅在不确定的情况下使用一个更大的 LLM,旨在提高效率和透明度。OpenTube 提供了准确性、成本以及连接视频知识图谱的指标,允许用户验证其性能,甚至贡献自己的标签。
-
企业级 LLM 网关:语义缓存和提示防护栏详解
本技术指南详细介绍了企业级 LLM 网关的语义缓存和提示防护栏的实现。它概述了一种架构,该架构位于 Kubernetes 集群内的 L7 代理层,在推理请求到达 OpenAI 或 Anthropic 等上游提供商之前进行处理。该系统包括身份验证、速率限制、PII 审核、提示注入过滤和语义缓存查找等阶段,旨在通过基于向量嵌入缓存相似查询来降低成本和延迟。
-
浏览器中的 LLM 面临复杂的技术障碍
由于浏览器环境的复杂性和不断发展的 Web 标准,直接在网页浏览器中运行大型语言模型 (LLM) 面临着重大的技术挑战。开发人员必须针对 Rust 等语言选择各种编译目标,在 CPU、WebGPU 或 WebNN 等硬件后端之间进行选择,并考虑在网站还是浏览器扩展中进行部署。浏览器对 WebGPU 和 SharedArrayBuffer 等关键功能的支持不一致,通常需要用户干预或特定配置,而基于 Chromium 的浏览器通常提供最佳兼容性。
-
OmniMem 7 使用单一 Rust 二进制文件简化 AI 应用,无需 Docker
OmniMem 7 已发布为单一 Rust 二进制文件,通过消除对 Docker、Python 或独立数据库服务器的需求来简化应用程序。此新版本将 MCP 服务器、内存引擎、嵌入模型和 SQLite 数据库集成到一个可执行文件中,使其对桌面用户更易于访问。在保持与 OmniMem 6 的 MCP 工具兼容性的同时,OmniMem 7 完全在本地运行,如果提供了 Anthropic API 密钥,则可以通过该 API 提供 AI 驱动的…
-
Cloudflare 和 OpenAI 探索 .NET 中的计算机视觉集成
Cloudflare 和 OpenAI 合作进行了一项研究试点,并于 10 月 15 日分享了初步成果。该试点专注于将计算机视觉能力集成到 .NET 应用程序中,探索了图像分类、对象检测和 OCR 等各种技术。该计划还深入探讨了这些技术在生产环境中的伦理考量和实际实施。
-
Social Sciences DataLab 发布快速 Indra OCR 模型
Social Sciences DataLab 发布了 Indra OCR,这是一款新推出的拥有 100 万参数的 OCR 模型,专为 CPU 上的高吞吐量和速度而设计。它每秒可处理多达 49 页,在速度上显著优于 Tesseract 和 PaddleOCR,同时在 OmniParseBench 等基准测试中也达到了具有竞争力的准确度。Indra OCR 输出结构化数据,包括带有标签的行和块边界框,并且可以通过提取现有文本层并仅对缺失…
-
VEKTOR 2.0 发布,专注于本地数据和隐私
VEKTOR 2.0 已发布,提供了一个在用户计算机上运行的私有本地内存和助手层。该软件用 JavaScript 编写,并强调隐私增强技术和主权本地数据。它支持广泛的 AI 模型,旨在为内存和操作提供一个专注的业务工具,除非明确选择云模型,否则数据将保留在用户的机器上。
-
新方法优化3D高斯头部头像的质量和边缘部署
两篇新研究论文提出了3D高斯头部头像建模的进展。第一篇介绍了一个逆向路径优化框架,用于动态调整训练目标,以获得更好的几何、外观和跨视图一致性。第二篇论文专注于创建适用于边缘设备的、高效的高斯头部头像生成器,显著降低了计算需求,并支持基于CPU的合成。
-
OpenThai发布带可选矫正功能的快速OCR模型
OpenThai发布的OpenThai2.1-OCR-Text-20261118模型,为打印的泰语和英语文本提供快速OCR,可在CPU上高效运行。此更新版本2.2.0包含一个可选的矫正功能,适用于扫描或拍摄的文档,可在文本识别前展平弯曲或倾斜的页面。该模型使用ONNX和OpenVINO作为其运行时,在8核Xeon处理器上可达到约每分钟950页的速度。
-
无服务器TTS系统通过计费感知推理调优降低成本
研究人员开发了一种新颖的、计费感知的神经文本到语音(TTS)服务系统,该系统针对无服务器CPU架构进行了优化。该系统通过关注CPU秒和GB秒而非传统的吞吐量或延迟指标,解决了实例计费平台上的空闲推理状态的成本问题。关键创新包括请求大小的并发推理以管理CPU争用,以及在空闲期间释放推理状态的可回收实例生命周期。该系统展示了显著的成本降低,与PyTorch默认设置相比,每音频小时的成本降低了4.1倍,并大大减少了空闲计费内存。
-
新型“woma”基础模型树立内窥镜检查实时标准
研究人员开发了“woma”,一种用于胃肠内窥镜检查的实时基础模型,该模型在约一百万帧内窥镜图像上进行了无标签训练。该模型可以针对特定任务进行微调,例如息肉检测和病变标记。“woma”模型表现出高水平的性能,以高精度发现了 96% 的息肉,并在 92% 的帧中正确命名了解剖学标志。值得注意的是,它在单个工作站 GPU 上运行速度约为每秒 100 帧,在速度和效率方面均优于 PyTorch、ONNX Runtime 和 TensorRT 等流行框架。
-
在一块GPU上运行多个AI模型:挑战与考量
本文探讨了在单个GPU上运行多个AI模型的挑战,重点关注潜在的冲突和性能下降。文章强调了在将工作负载整合到一块硬件上时,需要考虑的模型干扰、系统稳定性和效率等关键问题。旨在指导用户优化其多模型GPU部署。
-
LLM推理服务器共享GPU内存以服务数百名用户
通过将大型语言模型的模型权重加载到GPU内存中一次,并跨所有请求共享它们,可以实现用单个GPU同时服务数百名用户。推理服务器管理此过程,利用连续批处理等技术来优化GPU利用率。虽然模型权重是只读的并且可以共享,但每个请求的状态,特别是KV缓存,是复制的,并最终限制了并发级别。
-
TormentNexus 将 Go 和 TypeScript 结合到模块化单体中以实现 AI
TormentNexus 采用模块化单体架构,结合使用 Go 实现后端性能和 TypeScript 实现 AI 功能,以达到低于 10 毫秒的响应时间。该方法通过在 Go 进程中使用 V8 等嵌入式 JavaScript 运行时执行 AI 逻辑,避免了微服务的延迟和复杂性。该系统由 35 个以上的内部包组成,通过直接函数调用进行通信,在没有网络开销的情况下保持清晰的边界。
-
Ragleap推出RAG库,专注于狭窄范围
Ragleap已推出其RAG库,强调刻意专注于狭窄范围而非广泛的功能对等。该库优先考虑检索增强生成,在其初始版本中明确排除了代理工具调用和多步编排,以确保核心功能得到良好执行。主要功能包括混合密集和稀疏检索、仅CPU交叉编码器重排序、对多个向量后端的支持以及对各种文件格式和媒体类型的强大摄取能力。