Singular Value Ensemble

新研究通过高效集成和比较研究解决基础模型不确定性问题

两篇新研究论文探讨了改进基础模型不确定性量化方法。第一篇论文介绍了奇异值集成（SVE），一种参数高效的技术，通过调制权重矩阵的奇异值来创建多样化的模型集成，显著降低计算成本，同时保持准确性并提高校准度。第二篇论文实证比较了表格基础模型（特别是TabPFN）与高斯过程的性能，结果表明，虽然TabPFN在复杂、数据丰富的场景中表现出色，但在数据稀疏的环境中，高斯过程提供了更优越的性能和不确定性量化，尤其是在其核函数与底层函数良好匹配时。