IFEval
PulseAugur coverage of IFEval — every cluster mentioning IFEval across labs, papers, and developer communities, ranked by signal.
9 天有情绪数据
-
Tether AI Research 发布 BotPsy-0.8B 设备端智能体模型
Tether AI Research 发布了 BotPsy-0.8B,这是一款开源的、用于设备端的、支持函数调用的智能体模型。BotPsy-0.8B 基于 Qwen3.5-0.8B 构建,在工具使用和智能体基准测试中表现出显著的改进,性能超越了参数量高达 1.2B 的模型,甚至在大多数任务上超越了更大的 Qwen3.5-2B。该模型还展现了增强的指令遵循和通用知识能力,并且显著减少了不安全响应和重复推理循环,使其能够高效地部署在设备端。
-
新的大模型技术:字节级转换与高效解码策略
研究人员开发了一种方法,将一个拥有270亿参数的混合注意力大模型Qwen3.8转换为纯字节级模型。该字节级模型在自生成数据上进行训练,在MATH-500和HumanEval+等多个基准测试中表现出竞争力,但在中文特定任务和思维模式评估上性能有所下降。此外,还提出了一种名为Decode Token Parallelism (TKNP) 的新解码策略,以提高大模型在推理过程中,尤其是在长上下文和高并发工作负载下的内存效率和可扩展性。
-
字节级 LLM 转换保持性能但吞吐量锐减
研究人员开发了一种方法,将一个 27B 参数的混合注意力 LLM Qwen3.8 转换为纯字节级模型。该字节模型使用自生成数据和百科全书文本进行训练,在 MATH-500 和 HumanEval 等各种基准测试中保持了原始模型的大部分能力。然而,这种转换导致吞吐量显著下降,预填充速度慢了 6.5 倍,中文处理速度慢了约 4 倍。
-
使用 LoRA 在家庭硬件上增强的个人 AI 助手
本文详细介绍了使用 LoRA(低秩适应)在家庭硬件上增强大型语言模型(LLM)的个人项目。作者描述了创建个人助手的过程,重点关注其通过记忆、自我表达和自我改进而不断演变的“个性”。增强后的模型在推理和指令遵循能力方面有所提高,自主性增强,并能够适应诸如语音模式集成等新任务。该项目还探讨了模型身份和自我意识的哲学含义,将其与禅宗哲学以及作为信息模型的稳定个人身份的概念进行类比。
-
研究:非统一LoRA秩可提高AI模型合并精度
一篇新的研究论文挑战了在合并微调AI模型时使用统一LoRA秩的传统做法。该研究表明,允许单个专家拥有不同的LoRA秩可以在不显著增加成本的情况下,将多领域精度提高多达1.8个百分点。通过幅度选择组件的方法倾向于丢弃有价值的光谱组件,特别是来自指令适配器的组件,导致精度下降,而基于其对损失影响选择组件的方法则能在广泛的秩范围内保持精度。
-
WebAI 发布 TwIL-8B 推理模型,在 MATH-500 基准测试中名列前茅
WebAI 推出了 TwIL-8B,一个拥有 88 亿参数的推理模型,该模型基于 IBM 的 Granite 4.2 8B 构建。该模型在数学和编码任务方面表现出色,在 MATH-500 基准测试中取得了 98.2 分,并且设计用于在具有适度 VRAM 的 CPU 或 GPU 上进行高效推理。与类似模型相比,TwIL-8B 在推理 token 使用量方面也有所减少,尽管在基于知识的基准测试中表现稍逊。
-
MIT 研究人员使 AI 直接修复模型权重,提升性能
麻省理工学院 CSAIL 的研究人员推出了一种名为 Sparks of Weight-Space Programming 的新颖技术,该技术允许 AI 模型 GPT-6 Astra 直接读取和修改神经网络的权重,而无需进行传统再训练。在实验中,Astra 通过调整仅占 0.016% 的权重,成功提高了 Qwen3.5-0.8B 模型的性能,在数学和指令遵循基准测试中取得了显著的进步。虽然这种方法似乎修复了现有模型的局限性,而不是增加新…
-
麻省理工学院研究人员展示GPT-6 Astra可读取、重写神经网络权重
麻省理工学院CSAIL的研究人员展示了一项新能力,前沿模型GPT-6 Astra可以分析神经网络的权重以理解其训练目标,甚至修改这些权重。这项技术被称为“权重空间编程”,它使Astra能够识别出小型网络训练的游戏,并重写三个MinAtar游戏的权重,取得了比传统训练网络更好的结果。值得注意的是,Astra通过改变一小部分参数,识别并修复了Qwen3.5-0.8B模型的循环问题,显著提高了其在MATH-500和IFEval基准测试上的性能。
-
GPT-6 Astra 和 Qwen 3.8 27B 等大型语言模型现可解释和修改模型权重
一篇题为“Sparks of Weight-Space Programming”的新论文展示了 GPT-6 Astra 等先进的 AI 模型能够分析和修改其他机器学习模型的原始权重。这种被称为权重空间编程(Weight-Space Programming)的能力,使得模型能够理解网络的函数,甚至在没有传统训练循环的情况下编写新的、高性能的网络。Simon Willison 的博客文章证实,在本地运行的 Qwen 3.8 27B 也表现…
-
大型语言模型学会直接读写神经网络权重
研究人员正在探索“权重空间编程”(WSP)这一新技术,大型语言模型(LLMs)可以直接读取、诊断和修改神经网络的原始数值权重。该方法绕过了传统的基于梯度的优化方法和外部训练循环,有可能实现更快的递归自我改进。研究表明,LLMs可以执行局部算术运算,识别网络功能,甚至通过最少的参数编辑显著提高性能,尽管其可靠性和泛化能力仍是积极研究的领域。
-
GPT-6 Astra 编辑 Qwen3.5-0.8B 权重,通过循环修复提高数学得分 · 跟踪 8 个来源
研究人员展示了一种名为“权重空间编程”的新技术,其中一个 AI 模型 GPT-6 Astra 可以直接读取和修改另一个语言模型 Qwen3.5-0.8B 的权重。通过识别并减去两个 MLP 层中的特定“方向”,GPT-6 Astra 在 MATH-500 基准测试中的表现从 7.9% 显著提高到 48.1%,而无需任何传统训练。此修改仅影响了模型权重的 0.016%,主要解决了 Qwen3.5-0.8B 推理过程中的循环问题,而不是赋…
-
AI 模型性能通过直接权重编辑提升 6 倍,无需训练
研究人员展示了一种名为“权重空间编程”(Weight-Space Programming)的技术,可以在无需传统训练的情况下显著提高大型语言模型(LLM)的性能。通过直接编辑 Qwen3.5-0.8B 模型一小部分权重,该模型在 MATH-500 基准测试上的准确率从 7.9% 提高到 48.1%。这种方法通过识别和纠正导致循环行为的特定权重方向来工作,同时还提高了在 GSM8K 和 IFEval 基准测试上的性能。实验表明,当模型的…
-
开发者为开源权重 LLM 创建本地 GPU 基准测试服务器
一位开发者创建了一个本地 GPU 基准测试服务器,用于评估开源权重 LLM(特别是量化版本)在消费级硬件上的性能。该服务器配备了两张 RTX 5060 Ti 显卡,测试了从 4B 到 35B 参数的模型在各种基准测试中的表现,衡量速度和效率。结果以可排序表格的形式呈现,突出了哪些模型在具有 16GB 或 32GB VRAM 的配置上能在合理的时间内提供实际性能。
-
Liquid Ai 发布 LFM3 开源模型供本地小型企业使用
Liquid Ai 发布了一个名为 LFM3 的新型开源模型系列,专为小型企业和本地部署而设计。LFM3-1.7B 模型内存占用约 1 GB,特别适合处理邮件分类或从发票中提取数据等任务。尽管这些模型在函数调用和指令遵循基准测试中表现强劲,但 Liquid Ai 建议由于其规模,不要将其用于复杂的编码或推理任务。此次发布包括用于视觉、音频和决策任务的各种配置,模型权重可在 Hugging Face 上根据特定开源许可证获取。
-
新的CANS框架在保持能力的同时引导大语言模型
研究人员推出了一种名为能力保持神经元引导(CANS)的新框架,旨在控制大语言模型的特定行为,同时不显著降低其通用能力。CANS利用代理来改进目标行为和保持通用能力,通过轻量级系数实现高效引导。该方法在Qwen和Llama等模型上,在控制安全性、毒性和幻觉方面表现出相当或更优的控制力,同时保持了在MMLU和IFEval等基准测试上的性能。
-
Liquid AI 发布 LFM2.5-24B-A2B,用于高效智能体任务
Liquid AI 发布了 LFM2.5-24B-A2B,这是一款专为智能体任务设计的开放权重模型。该模型采用混合专家(mixture-of-experts)方法,在总计 240 亿参数中,每个 token 激活约 20 亿参数,旨在平衡能力与成本效益。主要升级包括显著扩展的 131,072 token 上下文窗口、翻倍的词汇量以增强多语言支持,以及针对 OpenClaw 和 Hermes Agent 等智能体框架的增强调优。虽然该模…
-
新的LIFT框架旨在提升语言模型的指令遵循能力
研究人员推出LIFT,一个用于评估和训练语言模型指令遵循能力的新框架。LIFT包含Lift-Bench,一个旨在通过使用作用域约束并区分主要任务和指令遵循目标来缓解奖励欺骗的基准。该框架还包含Lift-Train,一个比现有方法更不容易受到奖励欺骗的训练对应部分。初步实验表明,当前前沿模型在Lift-Bench更具挑战性的方面表现不佳,并且公开可用的基准和训练数据旨在提供对约束密度和可访问性的更精细控制。
-
SkillEval框架提供超越标量分数的详细LLM能力画像
一个名为SkillEval的新框架已被开发出来,用于在单一标量分数之外提供对大型语言模型(LLM)更细致的评估。SkillEval利用LLM的元认知能力来识别可解释的技能,并应用心理测量学中的认知诊断模型来评估每项技能的能力。在多个基准测试中对数千个LLM进行的实验表明,SkillEval生成的模型画像更可靠、信息量更大,可以预测在未见过项目上的表现,并通过动态模型路由将推理成本降低60%以上。
-
Recursive Superintelligence 发布 Flint,一款 40B MoE 编码模型
Recursive Superintelligence 推出了 Flint,一款拥有 400 亿参数的混合专家(MoE)模型,专为编码 Agent 设计。该模型每个 token 使用 25 亿激活参数,是在 Recursive 的自动化研究系统 Eureka Machine 的协助下开发的。Flint 在 IFEval 和 SWE-bench 等编码基准测试中表现强劲,并针对 Apple Silicon Mac 和拥有 48GB 内存…
-
新的E8-QAT方法实现了高效的二比特大语言模型量化
研究人员开发了E8-QAT,一个新颖的二比特量化感知训练框架,它利用E8格作为隐式码本。该方法通过算术投影高效地量化权重组,避免了在训练期间存储或搜索显式码本的需要。E8-QAT已在Qwen3.6-35B-A3B模型上证明了其有效性,在四个任务上达到了与全精度相当的性能,并在IFEval和LiveCodeBench上改进了最先进的基线。与bfloat16相比,该框架显著减少了80%的峰值内存,并将解码吞吐量提高了高达1.97倍。