实体
Splitwise
Splitwise
PulseAugur coverage of Splitwise — every cluster mentioning Splitwise across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
新研究通过拓扑感知数据移动优化解耦LLM推理
一篇新研究论文介绍了一个拓扑感知数据移动系统，旨在优化解耦LLM推理。该系统通过发现互连层级和选择最优传输方法来解决在独立GPU池之间传输KV缓存的挑战。它采用了流水线式逐层传输、面向混合专家模型的NVLink域感知放置以及CXL 3.0内存扩展器，以显著降低传输延迟。
-
Apple 的相机内 Siri 简化了群组账单分摊
Apple 在其相机应用中推出了一项新的 Siri 功能，旨在简化群组之间的账单分摊。用户可以将 iPhone 相机对准收据，应用程序将允许他们选择要分配给特定人员的individual items。此功能与 Apple Cash 的集成旨在使结算共同费用比传统方法或第三方应用程序更加直接和不那么尴尬。
-
E2LLM框架优化边缘/雾环境中的LLM服务
研究人员开发了E2LLM，一个在资源受限的边缘和雾环境中高效部署大型语言模型（LLMs）的新框架。与假设单设备托管的传统方法不同，E2LLM将模型复制到设备组中并使用模型并行。它根据副本在输入/输出令牌上的效率，为副本分配专门的角色（PREFILL或DECODER），利用这些推理阶段之间的差异。该框架采用遗传算法进行设备聚类和动态规划进行最优分区，与Splitwise基线相比，在高需求下等待时间显著减少了50%以上。