GRADIEND

新的 Python 包 GRADIEND 实现了 LLM 中基于梯度的特征学习

研究人员推出 GRADIEND，一个开源 Python 包，专为语言模型中的基于梯度的特征学习而设计。该包提供了一个全面的工作流程，包括数据创建、模型训练、评估以及通过受控权重更新进行持久的模型重写。GRADIEND 方法侧重于从事实-反事实 MLM 和 CLM 梯度中学习特征方向，并且该包促进了多特征比较，并以英语代词解析和语义情感分析的示例进行了演示。