一位Reddit用户提出了半边缘推理的设想，建议可以将专有机器学习模型拆分到服务器和客户端设备上。这种方法旨在通过将部分计算转移到客户端硬件来降低数据中心的成本和处理负载。该用户设想训练独立的客户端和服务器模型，通过张量或潜在表示进行通信，这可能导致标准化协议和更灵活的模型架构。 AI
影响 这一概念有可能通过分布式计算来降低AI服务的运营成本。
排序理由 用户生成的关于技术概念的想法/讨论，而非正式发布或公告。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
<!-- SC_OFF --><div class="md"><p>Today the most important factor in AI is cost. My idea is to split ML models inference (closed ones, proprietary) across server and edge computing on clients, and I would like to hear what do you think about this thing.</p> <p>For example some of…