DeBERTa
PulseAugur coverage of DeBERTa — every cluster mentioning DeBERTa across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
BleedStop系统采用多层防御抵御LLM提示注入
作者详细介绍了BleedStop的实现,这是一个旨在防御大型语言模型提示注入攻击的系统。BleedStop采用多层方法,首先使用短语列表作为初始防御,然后使用DeBERTa分类器进行更强大的检测。DeBERTa分类器与短语列表结合使用时,在保留数据集上实现了77.5%的注入检测率和5%的误报率。短语列表的延迟极小,而分类器会引入明显的延迟,影响实时性能。
-
类型化决策模型:在分布偏移和标签预算下的性能考察
一篇新的研究论文探讨了类型化决策模型(TDMs)与微调分类器相比的有效性,特别是在分布偏移和不同标签预算的条件下。研究发现,决策训练并不总是能提高模型性能,一些TDMs在分布偏移下表现脆弱,而另一些则保持了校准性。研究还表明,TDMs相对于训练模型的性能优势是任务依赖的,并且标记的重新校准显著降低了校准误差。
-
新算法通过结构感知核加速长上下文相对位置注意力
研究人员开发了一种新算法,可显著提高处理长上下文的Transformer的速度并减少内存使用,特别是那些使用相对位置注意力机制的Transformer。该方法通过偏移感知分块和乘积重用,将加性相对位置项集成到FlashAttention风格的计算中。该方法展示了显著的性能提升,对于8K token序列,前向传播速度提高了6.4倍,后向传播速度提高了21倍,同时内存消耗也显著降低。
-
LoRA微调技术在大型语言模型上的应用解析
一篇新博文解释了LoRA,一种用于高效微调大型语言模型(如GPT-3)的技术。LoRA通过仅训练两个较小的矩阵A和B来避免为每个任务存储完整模型副本的需要,这两个矩阵代表了对原始模型权重的低秩更新。该方法显著减少了可训练参数的数量、GPU内存使用量和推理延迟,同时在各种基准测试中保持或提高了模型性能。
-
Mamba模型在法律AI基准测试中表现出竞争力
一篇新论文对Mamba及其变体SSD-Mamba在法律文本分类和案例检索方面与BERT、DeBERTa和Longformer等成熟的Transformer模型的性能进行了基准测试。该研究涵盖了欧洲人权法院和美国最高法院等多个法律语料库,发现虽然Transformer在某些指标上仍占优势,但SSD-Mamba的表现相当,并且处理文本的速度明显更快。这些初步发现表明,Mamba类模型是处理超出传统编码器模型上下文限制的日益增长的法律文件量…
-
新理论解释预训练模型中的训练-验证分离
研究人员提出了一个新的动态结构模型来解释预训练模型中训练-验证分离的出现。这种现象是指模型在训练数据上的表现与在验证数据上的表现出现分歧,其原因在于模型的适应性将其关注点从广泛可复用的特征转移到更具体的、对未见数据迁移性较差的特征上。该研究通过使用ResMLP、自然语言处理模型如RoBERTa、DeBERTa和Qwen,以及视觉模型如ResNet-18进行受控模拟,证明了可观察到的结构演变可以在无需直接访问验证示例的情况下预测这种分离。
-
ProvenanceGuard 验证 LLM 代理的数据来源,而不仅仅是事实
ProvenanceGuard 是 Hugging Face 团队开发的一个系统,它解决了验证 LLM 代理生成信息来源的挑战。与传统的核查事实的方法不同,ProvenanceGuard 将每个声明与其特定的来源进行匹配,从而防止敏感数据的错误归属。该系统可以使用本地的 MiniLM 或 DeBERTa 模型在普通硬件上实现,也可以通过 OpenAI 的 ChatCompletion 等云 API 实现,成本极低,响应时间略有增加。
-
Knowledgator发布GLiFormer,用于无Token信息提取
Knowledgator Engineering推出了GLiFormer,一个用于信息提取任务的新型编码器框架。该模型提供Base(2.642亿参数)和Large(5.756亿参数)版本,无需生成Token即可执行命名实体识别、文本分类、关系提取和嵌套JSON结构化。GLiFormer在基准测试中取得了有竞争力的性能,特别是在嵌套JSON提取方面,其Large版本达到了91.10 F1分数,并且在这些任务上比传统LLM具有显著的速度优势。
-
新发现的“Overflip”漏洞存在于 AI 保护模型中
研究人员发现了一种新的保护模型漏洞,称为“Overflip”,其中重复的提示会导致这些安全分类器将恶意输入错误地标记为良性。这种不稳定性在九个测试过的轻量级保护模型中的五个中观察到,当输入序列的长度超过典型的训练上下文时就会发生。Overflip 现象与传统的注意力稀释攻击不同,因为它在破坏模型注意力机制的同时保留了恶意内容,对 LLM 服务构成了重大威胁。
-
视觉基础增强小型语言模型在特定知识任务上的表现
一篇新的研究论文探讨了视觉基础对小型语言模型(特别是DeBERTa)的影响。通过使用来自标记图像区域的嵌入来初始化词元,研究发现这种视觉播种在整个训练过程中对模型留下了持久的印记。虽然这种初始化并未能改善模型在大多数关于抽象语法知识的标准BabyLM基准测试上的表现,但在诸如COMPS和定制的Visual-Property Swap基准测试等物体-属性知识任务上,尤其对于播种的词语,它显示出了显著的优势。研究还指出,功能词和抽象词汇也…
-
新的“影响分数”衡量Transformer注意力头的影响
研究人员开发了一种新的“影响分数”来衡量Transformer模型中注意力头的影响,特别是在分类任务中。该分数结合了对输出logits的方向性影响以及模型残差流中的结构贡献,从而可以在多个层面进行分析。当应用于用于提示注入检测的DeBERTa模型时,该框架突出了正确和错误预测之间决策过程的差异,提供了一种在详细电路分析和更广泛的基于输出的方法之间的平衡。
-
人工智能分析电报平台上关于以色列-巴勒斯坦冲突的言论
一项新研究分析了2021年5月至2026年6月期间来自亲以色列和亲巴勒斯坦频道的大约87,000条电报消息。研究人员使用情感分析、立场检测和框架分析,发现两个社群都使用了与死亡和受害者相关的相似词汇。然而,亲以色列频道主要使用中性、报道式的语言,而亲巴勒斯坦频道则使用了更负面的情感,这反映了行动方与受影响方在话语立场上的不同。
-
新研究探讨专业化 LLM 评估技术和延迟策略
一篇新研究论文探讨了改进大型语言模型 (LLM) 评估的策略,重点关注专业化技术。研究发现,虽然专门的裁判权重有时可以提高准确性,但错误的专业化会严重降低性能。研究表明,统一裁判的训练数据或预热分体模型比从头开始训练专家更有效。此外,该论文引入了延迟策略作为 LLM 评估的有效方法,能够创建轻量级的奖励级联,以降低计算成本来维持高准确性。
-
小型语言模型在发票分类方面展现出潜力
一篇研究论文探讨了使用小型语言模型(SLMs)进行发票分类的应用,证明经过微调的SBERT模型可以达到0.96的准确率。该研究分析了金融文本的嵌入几何学,发现虽然空间是各向异性的,但局部各向同性的簇与供应商身份相关。研究表明,内部部署的SLM在成本、数据安全和可解释性方面具有优势,并且SBERT即使在有限的客户特定数据下也表现出强大的泛化能力。
-
DeBERTa 分类器在 IAB Tier-1 任务上优于 Gemini Flash
一项在 ZeroGPU 上托管的 DeBERTa-v3-small 模型与 Google 的 Gemini Flash 模型之间的基准测试比较,评估了模型将简短的编辑文本分类到 18 个 IAB 内容分类法 3.1 Tier-1 类别之一的能力。DeBERTa 的准确率为 100%,平均延迟为 1.3 秒,而 Gemini Flash 的准确率为 92%,平均延迟显著更高,为 27 秒。分析表明,对于此类特定的、狭窄的分类任务,与通用…
-
新型混合模型助力跨语言极化检测
研究人员开发了一种用于检测在线极化的混合方法,该方法使用DeBERTa进行英语二元检测,并使用AfroXLMR-Social进行豪萨语和细粒度子任务。为了应对计算限制和数据稀缺性,他们实施了低秩适配(LoRA)和文本数据增强。该策略在所有子任务中均取得了有竞争力的结果,突显了根据特定需求定制模型选择的好处。
-
新基准测试揭示 PII 审核工具会在 LLM 代理中泄露敏感数据
一个名为 privaite-bench 的新基准测试已被开发出来,用于测试 PII(个人身份信息)审核工具在处理 LLM 代理请求时的有效性。该基准测试显示,许多仅扫描消息文本的常用工具,未能审核嵌入在工具调用参数或多模态内容中的 PII。一种结合了 Presidio 和 OpenAI 的 privacy-filter 模型的结构感知方法,展示了改进的 PII 检测和可逆假名化,确保敏感数据不会泄露给 LLM 提供商。
-
新研究探索无 GPU 和基于梯度的 LLM 幻觉检测
两篇新研究论文探讨了检测大型语言模型 (LLM) 中幻觉的方法。第一篇论文“没有 GPU 能走多远?”对跨问答、对话和摘要任务的 CPU 可行、轻量级幻觉检测方法进行了基准测试,发现性能因任务而异,摘要任务尤其具有挑战性。第二篇论文“AURORA”引入了一个新颖的框架,该框架分析 LLM 的权重梯度动态以检测幻觉,证明了其跨不同模型家族和数据集的鲁棒性,甚至可以迁移到非领域任务。
-
新数据集AutoSpecNER旨在进行车辆规格提取
研究人员推出AutoSpecNER,一个专为车辆广告细粒度命名实体识别设计的新数据集。该数据集包含659个广告,标注了超过10,000个实体,涵盖15个类别,包括型号和电池容量,实现了91.5%的标注者间一致性得分。通过对各种方法进行基准测试,DeBERTa模型表现最佳,取得了90%的微F1分数,显著优于基于规则的系统和其他大型语言模型。
-
对于复杂的分类任务,微调 DeBERTa 的效果优于提示工程
一位用户发现,对于需要将内容分类到数百个类别中的任务,微调 DeBERTa 模型比提示工程更有效。最初为 700MB 的微调 DeBERTa 模型进一步优化至 233MB,以实现高效的 CPU 推理。