ONNX
PulseAugur coverage of ONNX — every cluster mentioning ONNX across labs, papers, and developer communities, ranked by signal.
13 天有情绪数据
-
新基准测试揭示 PII 审核工具会在 LLM 代理中泄露敏感数据
一个名为 privaite-bench 的新基准测试已被开发出来，用于测试 PII（个人身份信息）审核工具在处理 LLM 代理请求时的有效性。该基准测试显示，许多仅扫描消息文本的常用工具，未能审核嵌入在工具调用参数或多模态内容中的 PII。一种结合了 Presidio 和 OpenAI 的 privacy-filter 模型的结构感知方法，展示了改进的 PII 检测和可逆假名化，确保敏感数据不会泄露给 LLM 提供商。
-
Manticore 通过重建 ONNX 路径实现 14 倍更快的嵌入
Manticore 通过重建 ONNX 路径，显著优化了其嵌入生成过程，实现了 14 倍的速度提升。此优化侧重于提高其系统中嵌入创建和处理的效率。改进细节在其博客文章中有所阐述，该文章讨论了对 ONNX 集成所做的技术更改。
-
AI 模型通过干扰抑制提高雷达高度计精度
研究人员开发了一种时间卷积自编码器 (TCAE)，旨在减轻 FMCW 雷达高度计中的干扰。该深度学习模型直接处理同相和正交 (IQ) 样本，以抑制结构化干扰，同时保留用于精确高度估计的关键信号特征。初步评估表明，TCAE 显著减少了高度估计误差，在干扰水平高和带宽重叠的挑战性条件下，其性能优于传统的自适应滤波方法。
-
National Design Studio 发布 Rampart 以实现设备端 PII 屏蔽
National Design Studio 发布了 Rampart，一个 14.7 MB 的 ONNX token 分类模型，用于客户端屏蔽个人身份信息 (PII)。该模型旨在检测并替换用户输入的敏感数据，然后再将其传输到服务器或日志记录系统，作为更大屏蔽系统中的设备端组件。虽然它可以处理结构化标识符和个人姓名，但它不适用于独立检测政府 ID 或进行推断性标识符检测，并且当前版本仅限于七种拉丁字母语言。
-
LeptonAI首席执行官因开源疑虑离开NVIDIA
在NVIDIA以据称7亿美元收购LeptonAI一年后，LeptonAI的创始人兼首席执行官已离职。此次离职是在猜测NVIDIA在Jensen的领导下可能已放弃了Lepton核心软件平台的开源计划之后发生的，该计划最初承诺于2026年推出。该公司产品管理文化也被认为是LeptonAI未能充分发挥其潜力的原因之一。
-
基于浏览器的图像修复模型通过WebGPU和ONNX本地运行
一个拥有2亿参数的图像修复模型已被开发出来，可以完全在网页浏览器中运行。该模型利用WebGPU和ONNX技术，仅需本地缓存1.24GB的权重。这项创新消除了对外部服务器、专用GPU或API调用的需求，使得高级图像编辑可以直接通过浏览器界面进行访问。
-
Liquid AI 推出小型 LFM2.5-230M 用于设备端代理任务
Liquid AI 发布了其迄今为止最小的模型 LFM2.5-230M，专为手机和机器人等边缘设备的端侧推理而设计。这个拥有 2.3 亿参数的模型在数据提取和工具使用方面表现出色，在 IFEval 和 IFBench 等特定基准测试中优于更大的模型。虽然不适合数学或编码等复杂推理任务，但其小巧的体积和高效的架构使其能够快速推理，非常适合本地数据处理和轻量级代理工作负载。
-
新的隐写术技术在ONNX模型权重中隐藏消息
一位研究人员开发了一种新颖的隐写术技术，该技术将隐藏消息嵌入到微调的ONNX模型权重的最低有效位中。该方法旨在通过仅修改在微调过程中自然改变的权重来隐藏数据，从而使隐藏信息比传统方法更难检测。该项目探讨了实际影响和潜在的检测方法，并征求对其有效性和改进领域的反馈。
-
作者构建混合搜索引擎，结合了向量搜索和关键词搜索
作者在 LLM Zoomcamp 2026 期间详细介绍了他们构建混合搜索引擎的经验。他们解释了传统关键词搜索和向量搜索之间的基本区别，强调向量搜索通过将文本转换为数值向量来匹配含义而非精确的词语。该项目包括使用轻量级 ONNX 模型实现文本嵌入，使用 NumPy 从头开始构建向量搜索，以及对长文档进行分块以提高检索准确性。最后，作者使用倒数排名融合 (RRF) 集成了关键词搜索和向量搜索，以结合两种方法的优点，从而获得更精确的搜索结果。
-
Simon Willison 使用 Claude Code 将 Moebius 图像模型移植到浏览器
Simon Willison 详细介绍了他的副项目，即将 Moebius 图像精确定位模型移植到 ONNX 格式。此转换是使用 Claude Code 执行的，目标是使模型能够完全在网页浏览器中运行。该项目利用 Javascript 和 HTML 创建了一个交互式 Web 应用程序。
-
Moebius 图像修复模型使用 Claude Code 移植到浏览器
Simon Willison 成功地使用 Claude Code 将 Moebius 0.2B 图像修复模型移植到了 Web 浏览器中运行。该过程涉及将模型转换为 ONNX 格式，并利用 WebGPU 在浏览器中执行。这项工作使用户无需在本地安装 PyTorch 或 CUDA 即可直接在浏览器中进行图像修复。
-
研究人员寻求库来发布新的优化算法
一位研究人员正在寻求关于发布他们新开发的 QQN 二次拟牛顿优化算法的最佳库的建议。他们已经在 Rust、Java 和 JavaScript 中实现了该算法，但希望将其移植到一个更广泛使用的框架中以供社区评估。研究人员正在寻找一个强类型、接近底层的选项，并对 argmin 等潜在库的开发活跃度表示担忧。
-
用树莓派制作的幽默NFT铸造设备售出9.92美元
一位数字企业家开发了一款幽默的便携式设备，使用树莓派铸造NFT。该装置在M3 MacBook上训练，可在三秒内生成一个128像素的方形NFT。创作者David Kramer已在纽约街头展示了该设备，并记录了一笔9.92美元的NFT销售。该项目似乎是一种模仿，但它包含了PyTorch、ONNX和ESP微控制器等技术元素。
-
GAN 在树莓派 4 上部署，创建物理 NFT 铸造设备
一位用户已成功在树莓派 4 上部署了生成对抗网络 (GAN)，并创建了一个可铸造非同质化代币 (NFT) 的物理设备。该 GAN 在人脸数据集上进行训练，生成混合面部图像，然后通过模板化句子结构用于创建 NFT 标题。该项目被开发为一个艺术品并在公共场合进行了展示。
-
新的RAMS系统为边缘AI感知适配YOLOv8层级
研究人员开发了RAMS，一种专为嵌入式边缘感知系统设计的新型运行时控制器。RAMS根据实时设备资源监控和检测条件，在YOLOv8模型的不同层级之间动态切换。这种自适应方法旨在优化推理延迟和检测质量之间的平衡，尤其是在资源受限的环境中，例如在Raspberry Pi 5和NVIDIA Jetson Orin平台上。
-
Cursor 用户报告与 Moonshine Tiny 语音模型集成出现问题
一位 Reddit r/cursor 版块的用户详细描述了在尝试将量化的 Moonshine Tiny ONNX 模型集成到 Foursquare 语音服务时遇到的特定故障模式。该用户概述了正确的文件放置和配置步骤，强调模型文件需要放在用户配置文件下的专用子文件夹中，并且后端设置必须精确为“moonshine”。这款新的量化模型与基础模型相比，延迟降低了 24%，使其适用于 Windows 上的低延迟 CPU 推理。
-
本地 AI 模型离线语音循环完全在 CPU 上运行
一位开发者为本地 AI 模型创建了一个完全离线的语音交互循环，仅使用 CPU 资源，并确保所有数据都保留在用户机器上。该系统集成了 Silero VAD 用于语音活动检测，Parakeet STT 用于语音转文本，以及 Supertonic TTS 用于文本转语音，所有这些都通过 ONNX 运行。该设置旨在跨 macOS、Linux 和 Windows 平台兼容，并可与 Ollama 和 LM Studio 等本地 LLM 接口集成。
-
AI模型转换为ONNX以在DJ软件中实时使用
Anmol Mishra 展示了一种将源分离AI模型转换为ONNX格式的方法。这种转换使得在DJ软件中实现实时应用成为可能。本次演示是音频开发者大会的一部分，重点关注音频处理的实际应用。
-
Sixfab 发布适用于 Raspberry Pi 5 的 AI HAT+，提供 25 TOPS 算力
Sixfab 推出了 AI HAT+，这是一款适用于 Raspberry Pi 5 的 NPU 加速器，价格约为 100 美元。该 HAT 通过 PCIe 和 GPIO 连接，设置简单，可在 15 分钟内自动识别 NPU。它支持 ONNX 模型，并包含一个“Sixfab Model Zoo”可立即使用，在 8GB Raspberry Pi 5 上可实现 30-35 FPS 的 YOLOv8n 对象检测。虽然目前专注于图像 AI 且不支…
-
在 Triton 推理服务器上运行 PyTorch 和 ONNX 模型，无需 GPU
本文详细介绍了如何使用 NVIDIA 的 Triton 推理服务器在单个推理服务器上同时运行 PyTorch 和 ONNX 模型。该过程在本地 Mac 环境中演示，无需 GPU，突显了该设置在 MLOps 实践中的灵活性和可访问性。