ONNX Runtime
PulseAugur coverage of ONNX Runtime — every cluster mentioning ONNX Runtime across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
-
通过 Vulkan 在 GPU 上运行神经网络：库、编译器或自定义引擎
本文概述了使用 Vulkan API 在 GPU 上运行已训练神经网络的三种方法。它建议集成现有的库，如 TensorFlow Lite 或 ONNX Runtime，通过 ML 编译器（如 IREE 或 TVM）编译模型，或使用计算着色器开发自定义推理引擎以实现深度 Vulkan 集成。
-
新的安卓应用 VisionAId 使用设备端 AI 帮助视障人士
研究人员开发了 VisionAId，这是一款安卓应用程序，旨在通过将标准智能手机转变为实时视觉助手来帮助视障人士。该系统利用六个设备端深度学习模型执行深度估计、物体和人脸识别以及定制的纸币检测器等任务，所有这些都通过 ONNX Runtime 离线运行。它还包含一个可选的云端大型语言模型 Google Gemini Flash，用于增强场景描述和物体标记。一个关键功能是其少样本学习能力，用于个性化物体检索，允许用户拍摄特定物品的照片，…
-
Kuma 项目将 PyTorch 模型编译为通过 WebGPU 在浏览器中执行
一个名为 Kuma 的新项目旨在将 PyTorch 模型编译为独立的 WebGPU 可执行文件。这种方法将允许模型直接在浏览器中运行，而无需 Python 或服务器端运行时。该项目的创建者正在就架构决策征求反馈，例如嵌入后端内核以及与 ONNX Runtime 等现有解决方案相比，它是否解决了实际的部署需求。
-
PaddleOCR 在 Hugging Face 上发布支持 50 种语言的 PP-OCRv6
PaddleOCR 已在 Hugging Face 上发布了 PP-OCRv6，这是一套更新的通用 OCR 模型。新一代模型提高了文本检测和识别的准确性，模型参数量从 150 万到 3450 万不等。小型和中型模型支持包括中文、英文和日文在内的 50 种语言，旨在为多语言 OCR 任务提供统一的解决方案。PP-OCRv6 专注于以高效的模型尺寸提供准确、结构化的文本输出，适用于各种部署场景。
-
Microsoft Presidio 因新功能在 GitHub 上获得关注
Microsoft Presidio 是一款用于检测和保护敏感信息的开源工具，在 GitHub 上获得了显著关注，星标数已超过 9,390。该项目的最新更新包括增加了 ONNX Runtime 后端、新的特定国家/地区数据识别器，以及改进了对 Mastercard 和国际化电子邮件等实体的现有检测能力。
-
AI LOD 框架通过距离感知模型精度优化游戏动画
研究人员引入了一个名为 AI Level of Detail (AI LOD) 的新颖框架，用于优化游戏中的实时人类运动预测。该方法根据 NPC 离玩家摄像机的距离动态调整机器学习模型的精度，类似于图形细节会根据远处物体而降低。通过为 AI 模型采用不同的量化级别（FP32、FP16、INT8），该系统旨在在显著降低计算负载的同时保持视觉保真度。使用运动捕捉数据的初步评估表明，这种距离感知的精度选择是增强 AI 驱动角色动画的可行策略。
-
ONNX Runtime 在仅 CPU 的语音基准测试中优于 HF Transformers
一项在仅 CPU 硬件上对 Parakeet TDT 0.6B 模型进行 ONNX Runtime、Hugging Face Transformers 和 GGUF 的基准测试显示，ONNX Runtime 的推理速度比 Hugging Face Transformers 快 37%。这种性能提升归因于 ONNX Runtime 的算子融合和 AVX2 优化，但代价是内存使用量更高。GGUF 提供了一种更节省内存的解决方案，但推理时间…
-
Python 项目实现本地、GPU 加速的 AI 背景移除
一个名为 bg-vanish-mcp 的新开源项目已发布，支持 AI 助手在本地进行图像背景移除。该工具利用 Python、通过 ONNX Runtime 的 DirectML API 以及 U2NET 模型，在 Windows 上实现 GPU 加速，为云服务提供了更快、更私密的替代方案。该项目可通过 PyPI 获取，其代码可在 GitHub 上找到，允许用户将离线背景移除功能集成到其 AI 工作流程中。
-
Meta 的 EnCodec 获得可移植 C++ 实现
Meta 的 EnCodec 音频编解码器已开发出 C++ 实现版本，旨在实现可移植性和高性能，无需外部机器学习运行时。该项目可在 GitHub 上找到，将模型权重直接编译到二进制文件中，以便于集成到 CMake 项目中。开发者正在寻求对该实现的反馈，据称其性能与 ONNX Runtime 相当或更优。
-
基于浏览器的实时变声器作为MVP发布
一位开发者创建了一个完全在网页浏览器中运行的实时变声器。该工具利用WebAssembly、ONNX Runtime和WebGPU实现其功能。创建者已将其发布为最小可行产品，并正在寻求社区反馈以供未来开发。
-
新框架应对工业边缘 AI 部署挑战
本文介绍了一个旨在改进工业嵌入式平台上边缘 AI 应用部署的新系统框架。它认为，将 AI 部署视为一个系统问题，而不仅仅是模型打包练习，对于成功至关重要。所提出的框架分为五个层级，从硬件到运营，并与 Android、NVIDIA Jetson、ONNX Runtime 和 TensorRT 等现有技术集成，以提高在真实工业环境中的可复现性、可诊断性和可靠性。
-
新框架优化多GPU系统上的LLM推理能耗
研究人员开发了EnergyLens，一个旨在优化大型语言模型（LLM）在多GPU系统上推理过程中的能耗的框架。该工具解决了预测和减少LLM能耗的挑战，这对于可持续性和数据中心的高效运营至关重要。EnergyLens利用一个基于einsum的接口和一个经验驱动的通信能耗模型来捕捉复杂的LLM规范和多GPU行为，实现了低预测误差，并揭示了不同配置之间显著的能耗差异。
-
Supertone 发布 Supertonic 3 TTS，支持 31 种语言
Supertone 发布了 Supertonic 3，这是一款设备端文本转语音模型，现支持 31 种语言，较之前支持的 5 种语言有了显著扩展。此更新版本提高了朗读稳定性，减少了重复和跳过等错误，并增强了说话人相似度。Supertonic 3 专为高效的本地推理而设计，可在 CPU 上快速运行，与大型云端系统相比，内存占用更小。
-
Aycromo平台利用深度学习实现快速染色体检测
研究人员开发了Aycromo，一个开源桌面平台，旨在协助细胞遗传学分析以诊断遗传性疾病。该平台利用深度学习模型，特别是YOLOv11，自动检测中期分裂象中的染色体，实现了99.40%的mAP@50。Aycromo集成了预训练模型、基准测试模块和交互式标注界面，将分析时间从几天缩短到几秒钟。