Siamese LLMs

Foresight架构支持动态VLM计算而无需重新训练

研究人员开发了Foresight，一种用于流式视觉语言模型（VLMs）的新型双流架构，可在无需重新训练的情况下动态调整计算资源。该系统使用两个具有共享权重的Siamese LLM，允许一个流处理传入数据，而另一个流则预测未来内容并规划后续计算。这种预测方法使模型能够根据不断变化的场景动态调整其感知和推理，从而在OmniPro Online、StreamingBench和OVO-Bench等基准测试中取得显著的性能提升。