Cognitive Computations

指南比较无审查大型语言模型开发方法：Abliteration vs. Fine-tuning

本指南比较了创建无审查大型语言模型（LLM）的方法，重点关注abliteration（擦除）、无拒绝微调和可控策略。Abliteration直接修改模型权重，而微调则在去除对齐信号的数据上重新训练模型。可控策略模型依赖系统提示来控制行为，但这可能在长对话中导致性能下降。文章根据成本、VRAM需求和潜在的附带损害评估了这些方法，并为不同的用例提供了一个模型短名单。