一个演示展示了两个模型 Gemma4 12B 和 E2B 之间的语音对话，它们运行在不同的硬件上。Gemma 4 12B 运行在 RTX PRO 4500 Blackwell 上，而 Gemma 4 E2B 使用 Jetson Orin NX 16GB，预计在 Jetson Orin Nano Super 8GB 上也有类似的性能。两种设置都使用了 reSpeaker 麦克风阵列和 3W 扬声器，推理由 Cortexist Little Gemma 管理，这是一个基于 C 的 LLM 引擎，适用于 CUDA 设备，据报道在 Jetson Orin 上的性能优于 llama.cpp，并支持唇形同步、表情和手势等功能。 AI
影响 展示了在包括边缘设备在内的各种硬件上运行高级对话式 AI 的潜力。
排序理由 LLM 模型在消费级和嵌入式硬件上运行的演示。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
