LiteRT-LM
PulseAugur coverage of LiteRT-LM — every cluster mentioning LiteRT-LM across labs, papers, and developer communities, ranked by signal.
-
Gemma 4 12B 在大型提示下难以关注音频
用户在使用 Google 的 Gemma 4 12B 统一模型时遇到了问题，该模型旨在同时处理音频、视觉和文本。虽然该模型在短文本提示下能很好地响应音频，但在遇到大型、密集的系统提示时，它似乎会失去关注语音的能力。在多个服务框架中都观察到了这种限制，这表明在处理竞争性输入时，模型架构或注意力机制可能存在问题。
-
iPhone 大模型基准测试：Neural Engine 在持续性能上胜过 GPU
iPhone 17 Pro 上的端侧大模型性能测试表明，虽然 GPU 在初始生成速度上占优，但它们会迅速过热并降频。苹果的 Neural Engine 虽然启动较慢，但由于功耗显著降低，在长时间内能保持更一致的解码速率。这表明，对于需要持续大模型运行的应用，Neural Engine 是更高效且最终更快的选择，而 GPU 更适合快速、爆发式的交互。
-
MLX、LiteRT-LM 和 CoreML 在 iPhone 大模型性能方面进行基准测试
最近的一项基准测试在 iPhone 17 Pro 上测试了四种端侧大模型运行时，比较了解码速度和内存使用情况。对于 Qwen 3.5 2B 等通用模型，MLX 速度最快；而 LiteRT-LM 在 Gemma 4 E2B 模型上表现尤为出色。在内存受限的情况下，使用 Apple Neural Engine 的 CoreML 具有显著优势，消耗的 RAM 大大减少。
-
Google AI Edge Gallery 支持 MCP，赋能设备端代理
Google 更新了其 AI Edge Gallery 应用，以支持 Android 设备上的模型上下文协议 (MCP)，从而实现设备端 AI 代理。此次更新允许 Gemma 4 等大型语言模型完全在本地运行，通过将所有处理和数据保留在用户的手机上，从而增强了隐私性并降低了延迟。该应用现在支持代理技能、日历集成和持久聊天记录，使其从一个简单的模型演示平台转变为一个功能齐全的设备端代理运行时。