CountF1

TiTok 视听大语言模型可精确地定位多个时间事件片段

研究人员推出 TiTok，这是一种视听大语言模型，旨在精确识别未修剪视频中的多个时间事件片段。该模型采用新颖的时间令牌交织（TTI）方法，通过将特殊时间令牌集成到视听流中来增强边界预测。为解决计数校准不准的问题，TiTok 采用了解耦奖励系统，并使用组奖励-解耦归一化策略优化（GDPO）进行优化，在新评估协议上取得了 65.7 mIoU 和 0.58 CountF1 的最先进成果。