本周的 Fully Connected 播客节目深入探讨了 AI 推理的实际应用，重点关注如何利用训练好的模型。主要讨论内容包括 Amazon 为推理设计的新机器学习芯片以及 NVIDIA 开源用于 GPU 优化推理的 TensorRT 的决定。对话还涉及在边缘和浏览器内执行推理，重点介绍了 ONNX JS 和 Snapdragon Neural Processing Engine SDK 等项目。 AI
排序理由 讨论用于 AI 推理的新硬件和软件工具，包括关键库的开源。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
<p><strong><em>Fully Connected</em></strong><em> – a series where Chris and Daniel keep you up to date with everything that’s happening in the AI community.</em></p><p>This week we discuss all things inference, which involves utilizing an already trained AI model and integrating …