作者详细介绍了一个为期17天的项目,旨在构建一个“认知门控”(epistemic gate),以防止在LLM微调过程中发生数据投毒。该项目命名为EXP01-07,涉及开发一种新颖的损失函数,该函数相对于真实情况来惩罚虚假信息,而不是绝对惩罚,以避免发散。它还将门控机制从简单的字典查找过渡到几何嵌入,并利用了真实世界事实的语料库。该项目的架构最初受到一个bug的阻碍,后来被正确实现并命名为“Beatriz”。 AI
影响 引入了一种新颖的方法来提高LLM微调在面对数据投毒时的鲁棒性。
排序理由 该条目详细介绍了一个用于改进LLM微调的具体技术项目和方法论,类似于研究论文的发现。[lever_c_demoted from research: ic=1 ai=1.0]
- Beatriz
- DenseVectorGate
- graphics processing unit
- LoRA+
- OpenTimestamps
- Phi 3
- polyform
- pydantic
- Pythia
- Qwen
- TinyLlama
- Toshiba
- unknown Poole
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →