HellaSwag
PulseAugur coverage of HellaSwag — every cluster mentioning HellaSwag across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
研究人员压缩 Laya 决策编码器,测试模型压缩的极限
研究人员探索了名为 Laya 的单次决策编码器(拥有 4.21 亿个参数)的压缩极限。他们研究了在采用 bf16、6 位分组舍入和层剪枝等各种压缩技术时,模型的决策和校准会发生多大变化。研究发现,虽然某些方法对模型内部决策影响甚微,但却显著影响了模型外部的问题。蒸馏法在减少决策翻转方面也显示出潜力。
-
Claude 3 Opus 在新基准评估中领先
一个新的基准已被发布,展示了各种大型语言模型的性能。该基准包括对 Massive Multitask Language Understanding、GPQA 和 HellaSwag 等任务的评估。初步结果表明,Claude 3 Opus 在这些多样化任务上的表现非常出色,优于 GPT-4 和 Gemini 1.5 Pro 等其他模型。
-
Lara Mini Base 模型通过 MoE 架构提升多语言性能
研究人员推出 Lara Mini Base,这是一种新的语言模型,旨在提高多种语言的性能,同时不牺牲容量。与大多数主要以英语训练的模型不同,Lara Mini Base 在包含英语和另外 44 种语言(包括所有欧盟官方语言)的 6 万亿个 token 上进行了训练。该模型采用了具有 72 亿总参数和 6 亿激活参数的混合专家(MoE)架构,这有助于减少语言之间的容量竞争。这种方法使 Lara Mini Base 在英语、多语言、数学和…
-
量化大语言模型副本可能预示模型错误
研究人员调查了一种检测小型语言模型错误的新颖方法,通过比较同一模型两个量化版本的输出来实现。该方法涉及一个8位副本回答提示,以及一个低精度副本阅读该回答,旨在提供每道题的错误评分,而无需额外的训练或采样。在Qwen3模型上的实验表明,虽然该方法在错误检测方面有所改进,尤其是在ARC等特定基准测试上,但其有效性可能因模型大小和量化级别而异。
-
AI模型评估从令牌预测演进到复杂工作流
前沿AI模型的评估已经经历了不同的时代,从简单的令牌预测和对数似然评分,到评估指令遵循,再到验证数学、代码、事实性和安全性。随后的时代侧重于推理能力,最近则关注端到端工作流,模型利用工具来完成复杂任务。这一进展使得评估单位从单个令牌扩展到整个作业,评分方法也从似然度转向精确匹配、评分标准和环境结果。在这些时代中,一个重大的挑战是评估方差,即即使在同一模型上多次运行相同的评估,分数也可能因采样噪声而波动。
-
Cola2语言模型在分层生成方面取得进展,超越Llama 3-8B
研究人员推出了一种新颖的分层语言建模框架Cola2,该框架改进了语义压缩和文本生成。该方法动态分割文本,控制压缩率,并使用掩码扩散解码器来平衡重建与生成。实验表明,一个未收敛的Cola2检查点,在3460亿个token上训练后,在HellaSwag和StoryCloze等基准测试中表现优于Llama 3-8B,尽管Llama 3-8B的预训练预算要大得多。
-
新的 C-Gate 方法使用凸组合连接语音和大语言模型
研究人员开发了一种新颖的语音-大语言模型桥接方法,称为凸门(C-Gate),它使用冻结的词元嵌入的凸组合来表示语音帧。该方法允许将连续的语音变化整合到预训练大语言模型的文本输入空间中。当与 Whisper-large-v3 编码器和部分适配的 Qwen2.5-7B-Instruct 解码器结合使用时,C-Gate 在语音识别和情感识别任务中表现出有效性。然而,适配的解码器在仅文本基准测试中指令遵循和 MMLU 准确性有所下降,而在 G…
-
新的AWT方法通过激活感知张量化增强LLM压缩
研究人员开发了一种名为激活感知权重张量化(AWT)的新方法,利用张量网络技术来改进大型语言模型的压缩。AWT作为一种校准时包装器,在应用标准的张量网络分解之前,根据激活分布对权重矩阵进行预处理。这种方法通过减小困惑度差距和提高下游任务性能,在Llama 3.1 8B、Mistral 8B和Qwen2.5 7B等各种模型上一致地增强了张量化方法(如张量链TT和树张量网络TTN)的性能。
-
新的TRACE方法增强了LLM在多轮有害请求方面的安全性
研究人员开发了一种名为TRACE(Trajectory Return Attribution and Contrastive Erasure)的新方法,以提高大型语言模型(LLM)的安全性。该技术解决了LLM可能被诱骗生成有害内容的问题,即使它们拒绝单轮有害提示,也可以通过将请求分散到多轮来诱骗它们。TRACE通过分配一个令牌级目标来实现这一点,该目标根据拒绝可归因优势的折扣回报来加权令牌,从而使早期令牌能够因后期的拒绝证据而获得信用…
-
TypeSafe AI的Jev模型在决策任务上优于开源替代品 · 跟踪4个来源
TypeSafe AI发布了Jev,一个“System One”模型,旨在做出小型、具体的决策,而不是生成文本。Jev从固定集合中返回选择、评分或校准的概率,旨在提高信息访问管道的效率。独立评估显示,Jev在各种基准测试中显著优于Qwen和Gemma等开源模型,尤其是在准确性和概率校准方面,尽管它仍然容易受到提示注入的影响,并且在低资源语言上表现下降。此次发布引发了一波开源重写,虽然提供了更低的延迟和成本,但总体上未能达到Jev的开箱即用准确性。
-
LLM基准测试污染推高分数但很少重排排行榜
arXiv上的一篇新论文研究了大型语言模型中的基准测试污染,区分了分数膨胀和排行榜重排。研究发现,虽然污染确实会推高绝对分数,但很少改变模型在排行榜上的排名。该研究提出了一种通过比较原始测试项目和释义版本来审计污染的方法,并建议排行榜应报告释义控制的排名以及置信区间。
-
新的ROSI技术无需微调即可增强LLM安全对齐
研究人员开发了一种名为秩一安全注入(ROSI)的新技术,以增强大型语言模型(LLM)的安全对齐。ROSI是一种无需微调的方法,通过应用秩一权重修改,永久地将模型的内部激活引导至一个拒绝中介子空间。该方法已被Llama Guard 3评估证明提高了安全拒绝率,同时不影响模型在MMLU和HellaSwag等标准基准上的效用。ROSI也可用于重新对齐“未审查”的模型,作为最后一英里安全程序被证明有效。
-
VIDRAFT发布小型AI模型评测框架,登顶Hugging Face前十
韩国AI初创公司VIDRAFT (지니젠AI) 发布了一个专门用于评估小型语言模型(SLM)的框架。该框架及其相关数据集同时登上了Hugging Face Spaces和Datasets排行榜的前十名。该工具旨在提供一种更准确的方法来对紧凑型AI模型进行基准测试和区分,填补了现有基准测试通常为大型架构设计的空白。
-
研究发现LLM排行榜因配置脆弱项而产生偏差
arXiv上的一篇新论文揭示,现代大型语言模型(LLM)排行榜受到“配置脆弱”项的显著影响,这意味着问题的呈现方式和答案的评估方式会极大地改变模型的感知性能。研究人员通过在3,679个基准项上测试12个LLM的26种不同配置,创建了一个“脆弱性网格”。研究发现,与选项顺序相比,评分方法是影响最大的关键因素,某些模型在特定配置下能获得最高排名,而其他模型的分数差异高达58个百分点。这表明,由于对评估设置的敏感性,当前的排行榜可能无法准确…
-
新的VA-DPO方法实现了语言模型可控情感生成
研究人员开发了一种名为VA-DPO的新方法,使语言模型能够生成具有可控情感的文本。与使用离散标签的先前方法不同,VA-DPO将期望的情感指定为效价-唤醒平面中的一个连续点。该方法通过使用一个固定的效价-唤醒回归器来对生成内容进行评分并构建偏好数据,从而修改了直接偏好优化。实验表明,VA-DPO显著减小了与目标情感的距离并提高了相关性,同时没有对MMLU、HellaSwag和TruthfulQA等基准测试的性能产生负面影响。
-
LLM评估指标'acc'与'acc_norm'详解
一项技术性讨论强调了在评估大型语言模型(LLM)时,“acc vs acc_norm”问题,尤其是在多项选择任务中。标准准确率指标(acc)由于依赖于总对数似然,而总对数似然本身会因答案长度而受到惩罚,因此偏向于较短的答案。归一化准确率指标(acc_norm)试图通过将分数除以续写的字节长度来纠正这一点,旨在实现跨模型和分词器的一致性比较。然而,acc_norm也可能引入偏差,例如偏向于将答案拆分成许多可预测的子词的答案。文章建议报告…
-
新型 Daedalus-150M 模型通过混合架构实现更快的 CPU 推理
研究人员开发了 Daedalus-150M,这是一种针对高效 CPU 推理进行了优化的新型语言模型。该混合模型结合了稀疏注意力和短卷积,使其三分之二的架构能够避免重新读取广泛的上下文缓存。尽管 Daedalus-150M 在比同类模型少得多的数据上进行了训练,但在五任务基准测试中,其表现优于 GPT-2 124M 和 Pythia-160M 等大型模型,得分达到 47.31,目标是 42.20。该模型在解码速度方面也表现出更快的速度,…
-
新的FPO方法无需反向传播即可适应LLM,提高吞吐量
研究人员开发了一种名为前向传播仅(FPO)训练的新方法,该方法无需通过模型层进行反向传播即可适应大型语言模型。与标准微调方法相比,该技术实现了显著更高的吞吐量并使用了更少的内存。FPO在域外基准测试中保持了性能,这是全网络微调不总是能复制的特性。该方法依赖于这样一个观察结果:Transformer中后期层的预测误差可以近似真实梯度,从而无需复杂的自动梯度图构建即可将误差信号直接应用于目标层。
-
Transformer注意力中的谱异常值揭示了主导的学习结构
研究人员应用Marchenko-Pastur随机矩阵理论分析了预训练Transformer的注意力权重,识别出代表主导学习结构的谱异常值。通过将Mistral-7B模型中识别出的这些异常值归零,模型在HellaSwag和MMLU等基准测试上的性能显著下降,接近随机猜测水平。对多个Transformer的分析揭示了重复出现的模式,例如Q投影包含最多的异常值,以及特定的残差流维度在各层中形成带状异常值,这表明可能在参数高效微调和结构化剪枝…
-
研究发现:LLM采样变化并不能揭示模型无知
一篇新研究论文发布在arXiv上,探讨了大型语言模型(LLMs)中随机采样的局限性。该研究题为“随机采样在认知上是肤浅的:LLM中温度变化与模型多样性之间的维度鸿沟”,表明单一代言模型多次运行产生的输出变化并不能有效地揭示模型不知道的内容。研究人员使用MMLU、HellaSwag和GSM8K等基准测试,将单一代言模型运行100次与24个LLM模型的一次运行集合进行了比较。他们的发现表明,虽然自我一致性提供了每个问题的模型不确定性,但它…