MTServe

MTServe系统通过分层缓存优化生成式推荐模型

研究人员开发了MTServe，一个旨在提高生成式推荐模型效率的新系统。这些模型虽然强大，但由于需要处理大量的用户历史记录，计算成本很高。MTServe通过使用分层缓存系统来解决这个问题，该系统利用主机RAM作为GPU内存的备份，防止存储溢出。该系统集成了混合存储布局和异步数据传输等优化措施，实现了高达3.1倍的速度提升和超过98.5%的缓存命中率。