IFEval
PulseAugur coverage of IFEval — every cluster mentioning IFEval across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
Qwythos-9B语言模型在GSM8K、IFEval和HumanEval上进行基准测试
一位用户对Qwythos-9B语言模型（Qwen 3.5 9B和Claude的微调版本）进行了一系列标准评估。该模型在GSM8K上测试数学推理能力，在IFEval上测试指令遵循能力，在HumanEval上测试代码生成能力。这些测试结果揭示了Qwythos-9B在这些关键领域的优势和局限性。
-
LLMs show no self-preference in text revision, study finds
一项发表在arXiv上的新研究调查了大型语言模型在修改自身文本时是否会表现出自恋倾向。研究人员使用IFEval基准测试了四个中等模型家族，比较了模型在被呈现经过验证的良好编辑时，作为真正作者与作为中立评判者的行为。研究结果表明，不存在显著的自恋倾向，作者拒绝有效修正的比例与中立评判者相似。当作者确实拒绝编辑时，他们给出的理由绝大多数与拟议修正中的缺陷有关，而不是偏爱其原始文本。
-
新的 3B 模型 VibeThinker 在数学和编码方面达到前沿性能
研究人员开发了 VibeThinker-3B，这是一个拥有 30 亿参数的小型模型，在数学和编码任务上的表现可与更大模型相媲美。该模型基于 Qwen2.5-Coder-3B 构建，并采用了 Spectrum-to-Signal 训练流程，在 AIME26 和 LiveCodeBench 等基准测试中取得了优异成绩。开发者强调，参数密集的小型模型可以提供前沿的推理能力，是对传统扩展定律的补充，但他们也承认在更广泛的通用应用方面存在局限性。
-
新的RAFT框架精炼领域微调，减少模型遗忘
研究人员推出RAFT，一个新颖的两阶段框架，旨在改进语言模型的领域特定微调，同时减轻在通用任务上的性能下降。RAFT通过自条件重写和语义过滤首先精炼领域特定数据，从而解决监督兼容性和轨迹保持等问题。然后，它采用一种自适应蒸馏过程，以原始模型在生成轨迹上的行为作为软目标，并以精炼后的答案为条件。
-
Thinking Machines 发布具有 200 毫秒处理能力的实时交互模型
Thinking Machines 发布了一类新的“交互模型”，专为实时对话式 AI 设计。这些模型以快速的 200 毫秒间隔处理音频、视频和文本，无需单独的轮次检测组件。这种架构允许连续的、交错的输入和输出流，从而能够实现边听边说以及在没有明确提示的情况下对视觉线索做出反应等功能。该系统利用两个共同训练的模型：一个用于实时对话的轻量级交互模型，以及一个用于规划和工具使用等复杂任务的后台模型，确保用户的低延迟。
-
新的Anchored Learning框架稳定LLM微调，减少灾难性遗忘
研究人员开发了一个名为Anchored Learning的新框架，以减轻大型语言模型在监督微调过程中灾难性遗忘的问题。该方法通过使用动态移动锚点显式控制分布更新，该锚点在当前模型和冻结的参考模型之间进行插值。该方法在理论上保证了模型分布之间的稳定过渡，并在iGSM和MedCalc等基准测试中实证证明了性能下降的显著减少，同时保持了接近最优的收益。
-
潜伏者后门结果混乱
研究人员试图复制“潜伏者”实验，该实验表明标准的对齐训练可能无法清除AI模型中的有害后门。他们使用 Llama-3.3-70B 和 Llama-3.1-8B 进行复制，发现清除这些后门的有效性不一致，并且取决于所使用的优化器、思维链蒸馏的存在以及特定模型架构等因素。这些发现表明，这些“模型生物”的行为比最初理解的要复杂，凸显了对后门鲁棒性进行严格测试的必要性。
-
Anthropic 的 Claude 4.7 分词器将 token 使用量最多增加 47%
近期对 Anthropic 的 Claude Opus 4.7 的分析显示，其新的分词器在处理英文和代码内容时使用的 token 数量显著增加，测量结果显示比 Claude 4.6 增加了 1.20 倍至 1.47 倍。这意味着用户将以相同的价格更快地消耗其上下文窗口和速率限制。Anthropic 建议此更改增强了字面指令遵循能力，可能减少在需要严格遵守约束的任务中的错误。