MiniCPM-o 4.5
PulseAugur coverage of MiniCPM-o 4.5 — every cluster mentioning MiniCPM-o 4.5 across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
OmniTrace框架实现全模态大语言模型溯源
研究人员开发了OmniTrace，一个新颖的框架，旨在将全模态大语言模型生成的文本归因于输入数据的特定部分。该方法在生成过程中运行，利用晚期注意力来识别文本块、图像或音频/视频片段等源单元，而无需额外的正向传递或特定于模态的调整。与传统的留一法相比，OmniTrace在效率和准确性方面表现出色，能够恢复高比例的归因信息，并与人类识别的证据高度一致。
-
LEAP框架增强长录音的音视频问答能力
研究人员开发了LEAP，一个旨在改进长达一小时录音的音视频问答的新框架。LEAP通过将录音分割成块并使用定位通道识别相关证据窗口来解决上下文长度限制，然后对这些窗口进行重新编码以进行回答。这种方法保留了细粒度的视觉和非语音音频证据，同时保持答案输入的上下文与录音时长无关。该框架展示了显著的性能提升，在Qwen3-Omni-30B-A3B基线上提升高达16.8%，并有效地迁移到了MiniCPM-o 4.5模型。
-
语音模型通过新的文本压缩技术实现 64% 的 KV 缓存缩减
研究人员开发了一种新颖的方法来压缩全双工语音模型中的键值（KV）状态，显著减少了长时交互期间的内存使用。该技术被称为声学到文本 KV 压缩，在处理“空闲”时间内将传入语音转换为紧凑的文本格式。使用 MiniCPM-o 4.5 和 LoRA 实现该方法后，在十分钟的会话中，峰值流式 KV 缓存大小减少了 64.6%。该方法在转录、时间问答和摘要方面也表现出改进，同时在停顿处理、轮流对话和打断方面保持了可比的性能。
-
新的“Latent Bridge”增强了游戏实时AI代理
研究人员开发了一种新颖的“Latent Bridge”技术，以改进游戏等任务的实时AI代理。该方法通过将慢速模型的输出直接投影到快速模型的嵌入空间中，绕过了基于文本的通信往返，从而将一个慢速、具有推理能力的VLM与一个快速、反应敏捷的VLM耦合起来。在Atari游戏和驾驶领域的实验表明，Latent Bridge在特定游戏（如Ms. Pac-Man和Road Runner）中的性能显著提升，其效果与传统的基于文本的耦合相当或更优。
-
前 OpenAI 研究员的 AI 愿景与中国公司此前的发布相呼应
前 OpenAI 研究员 Lilian Weng 的新公司 Thinking Machines Lab (TML) 揭示了全双工、实时对话式 AI 的愿景。这一概念与中国公司“面壁智能”三个月前开源的 MiniCPM-o 4.5 所展示的功能非常相似。TML 和“面壁智能”都旨在摆脱传统的轮流对话式 AI 交互，提出“全双工”或“时间对齐微回合”框架，以处理交错的多模态信息流。
-
消费级显卡也能快速上手！面壁智能MiniCPM-o 4.5发布技术报告
MiniCPM-o 4.5 是一个全新的 9B 参数的全模态大语言模型，专为实时、全双工交互而设计。它可以同时处理和生成音频、视频和文本，实现主动行为和持续的环境理解。该模型利用 Omni-Flow 框架进行时间对齐处理，并针对高效推理进行了优化，使其能够在内存小于 12GB 的边缘设备上运行。