Hanwen Shen

新的CAP-TTA框架增强了LLM在叙事生成中的去偏能力

研究人员开发了CAP-TTA，一个新颖的测试时自适应框架，旨在提高大型语言模型（LLMs）在遇到分布外、高偏见提示时的去偏能力。该框架利用由偏见风险分数触发的上下文感知LoRA更新，并采用预计算的对角线预条件子以实现快速稳定的优化。与AdamW或SGD等标准方法相比，CAP-TTA以更低的延迟有效减少了毒性和偏见，同时还增强了叙事流畅性并防止了灾难性遗忘。