Apethorpe

新的VTC-AUDIT方法揭示了视觉-令牌压缩中的可靠性问题

研究人员推出了一种新的方法VTC-AUDIT，用于评估AI模型中的视觉-令牌压缩。该审计侧重于识别压缩引入的故障，特别是在未压缩模型正确运行时。VTC-AUDIT分析了即使原始模型准确，压缩也会引入错误的场景，并使用配对图像偏移来测试鲁棒性。研究结果表明，在偏移图像上重新选择令牌位置会增加失败率，并且支持Jaccard不稳定性是性能的糟糕指标，而压缩模型的不确定性更具信息量。