Pollen Robotics推出的售价399美元的开源机器人Microduck近期广受欢迎,凸显了AI正从基于云的模型转向实体、交互式设备的日益增长的趋势。虽然小型模型和机器人使AI能够胜任基本任务,但边缘AI的下一个前沿领域涉及在终端用户设备上运行大型语言模型(LLMs)。这在功耗、延迟和成本方面带来了重大挑战,像Houmo Intelligent这样的公司正在通过其M50芯片等专用硬件来解决这些问题,该芯片专为AI PC和个人边缘计算机等边缘设备的高效LLM推理而设计。 AI
影响 边缘AI的未来取决于在设备上高效运行大型模型,这将影响AI的可访问性和应用范围。
排序理由 文章讨论了边缘AI和设备上LLM的趋势和挑战,而不是宣布特定的新版本或产品。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →