Guri Zabërgja

新型压缩模型TACO提升表格基础模型效率

研究人员开发了TACO，这是一种新颖的端到端压缩模型，旨在解决表格基础模型的计算挑战。这些模型虽然功能强大，但由于其Transformer架构，在数据集大小方面存在二次方复杂性。TACO将训练数据压缩到潜在空间，显著减少了推理时间和内存消耗。在TabArena基准测试上的实验表明，TACO的速度比最先进的表格Transformer快94倍，内存使用量减少97%，同时保持了可比的性能并展示了更好的可扩展性。