MMLU-Redux
PulseAugur coverage of MMLU-Redux — every cluster mentioning MMLU-Redux across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
Draft-KV shows significant MMLU-Redux gains with frozen models
The Draft-KV method demonstrated a 78.04% score on MMLU-Redux when a frozen Qwen2.5-0.5B-Instruct receiver was paired with a Qwen3-8B sharer. This indicates that latent communication via internal KV states can be a powerful mechanism for improving performance on benchmarks like MMLU-Redux, even without fine-tuning the receiver model.
MLCP strategy may improve MMLU-Redux performance
The Mixed-Language Concatenate Prediction (MLCP) strategy aims to improve LLM consistency by concatenating semantically equivalent prompts. Given MMLU-Redux's focus on diverse knowledge domains, MLCP could potentially enhance performance by ensuring more robust understanding and prediction across different prompt formulations.
Adaptive Self-Consistency (ASC) could reduce MMLU-Redux evaluation costs
Adaptive Self-Consistency (ASC) reduces the number of sampling trajectories needed to reach a confident answer by using distribution-valued feedback. If ASC proves effective on complex reasoning tasks like those found in MMLU-Redux, it could significantly lower the computational cost of evaluating LLMs on such benchmarks.
-
新研究质疑角色扮演在LLM中的有效性，提出MLCP策略
一篇新的研究论文探讨了角色扮演提示在大型语言模型（LLM）中的有效性，发现性能提升高度依赖于模型的容量、知识领域和提示的语言。该研究提出了与角色相关的认知对齐假设，认为角色扮演仅在LLM准确理解角色及其相关知识时才有效。为提高一致性，该论文引入了混合语言连接预测（MLCP），这是一种无需训练的提示连接策略，通过聚合语义等价的提示来增强表征线索，在各种LLM上展示了优于标准角色扮演的性能。
-
新的自适应自洽性方法减少了LLM采样需求
研究人员推出了一种新颖的自适应自洽性（ASC）方法，该方法通过利用大型语言模型（LLM）的内部概率分布来提高其效率。与将模型视为黑盒的传统自洽性不同，ASC在“灰盒”设置下运行，利用对数概率以更少的采样轨迹识别最可能的答案。提出的ASC-D算法在保持MMLU-Redux等基准测试的高准确率的同时，展示了轨迹使用量从46.4%到95.6%的显著减少。
-
Draft-KV 实现冻结语言模型之间的潜在通信
研究人员推出了一种名为 Draft-KV 的新方法，该方法能够让语言模型通过其内部状态而非仅通过解码文本来传递有用信息。这种方法允许接收模型直接利用共享模型在起草响应时生成的键值（KV）状态。与以往通信增益可能不依赖于内容的旧方法不同，Draft-KV 促进了基于信息的协作，并显示出显著的改进。一个冻结的 Qwen2.5-0.5B-Instruct 接收模型在与 Qwen3-8B 共享模型配对时，在 MMLU-Redux 上取得了 7…
-
PrismML 的 Bonsai 2 27B 实现大型 AI 模型近乎无损压缩
PrismML 发布了 Bonsai 2 27B，这是阿里巴巴 Qwen3.8-27B 模型的高度压缩版本。该新模型使用三元权重，达到了原始模型基准性能的 98.2%，同时将其大小从 54GB 减少到 5.9GB。与以往会降低推理能力的低比特量化方法不同，据报道 Bonsai 2 27B 在数学和编码基准等复杂任务上保持了强大的性能。
-
新框架使用模型输出分布审计 MCQA 基准测试
研究人员开发了一个新的两部分概率框架来审计选择题问答（MCQA）基准测试。该框架分析模型输出分布，以评估基准测试质量并识别有缺陷的问题。该系统使用最高预测概率和归一化残差熵等指标来表征基准测试级别的概率景观，并在项目级别，它使用噪声注入来标记可能存在问题的题目以供人工审查。这种方法已显示出与 MMLU-Redux 等基准测试上的专家注释一致，为提高 MCQA 数据集完整性提供了一种可扩展的方法。
-
PrismML 发布 Bonsai 27B，使 Qwen3.6-27B 可在笔记本电脑和手机上运行
PrismML 发布了 Bonsai 27B，这是 Qwen3.6-27B 的高度压缩版本，有 1 位和三元变体。这些模型旨在在笔记本电脑和手机等消费级硬件上运行，其中 1 位版本仅需 3.9GB，三元版本需要 5.9GB。尽管经过了激进的压缩，三元模型仍保留了原始 FP16 模型约 94.6% 的性能，而 1 位版本则保留了 89.5%，使其适用于需要大上下文窗口和高效内存使用的应用程序。