Stereo Network

新定律统一了人工智能模型的上下文学习和微调

研究人员开发了一种新颖的方法来确定新数据是应纳入预训练模型的上下文还是其权重。该方法基于其信息价值的精确定律，该价值根据在保留查询上节省的代码长度计算得出。该定律提供了从单一测量中认证选择的上限，以及用于连续验证的随时有效的测试，从而在过程停止时控制错误。该方法已成功应用于各种模型，包括 transformers、TabPFN 和 GPT-2，证明了其在优化数据集成以提高性能方面的有效性。