OneLatent

基础模型为物理和推荐领域的高效人工智能应用进行了提炼

研究人员正在探索将大型基础模型提炼成更小、更高效的版本以用于特定应用的方法。一项研究侧重于为大型强子对撞机的喷注标记提炼模型，证明即使是只有几千个参数的模型也能匹配或超越更大模型的性能，同时显著降低推理成本。另一篇论文介绍了OneLatent，一个将大型语言模型的显式推理痕迹压缩为潜在令牌以用于高效推荐系统的框架，与现有方法相比，在性能和推理吞吐量方面有了显著的改进。