polyform

作者在为期17天的项目中开发LLM数据投毒防御机制

作者详细介绍了一个为期17天的项目，旨在构建一个“认知门控”（epistemic gate），以防止在LLM微调过程中发生数据投毒。该项目命名为EXP01-07，涉及开发一种新颖的损失函数，该函数相对于真实情况来惩罚虚假信息，而不是绝对惩罚，以避免发散。它还将门控机制从简单的字典查找过渡到几何嵌入，并利用了真实世界事实的语料库。该项目的架构最初受到一个bug的阻碍，后来被正确实现并命名为“Beatriz”。