CPATTA

新研究探索用于大型语言模型的先进测试时自适应技术

研究人员正在开发先进的测试时自适应（TTA）技术，以提高大型语言模型（LLM）在分布变化下的鲁棒性。一种方法是分布超网络（Distributional Hypernetworks），它预测权重更新上的分布而非点估计，通过采样多个自适应模型来实现更好的自适应和测试时扩展。另一种方法是误分类感知秩限制自适应（Misclassification Aware Rank-Limited Adaptation, MARLA），它通过识别和纠正低维…