language model
PulseAugur coverage of language model — every cluster mentioning language model across labs, papers, and developer communities, ranked by signal.
13 天有情绪数据
Language models will be increasingly framed as planning agents with world models
A new paper proposes understanding LLMs as planning agents that utilize world models. This suggests a future research direction focusing on strategic, long-term planning capabilities in AI, moving beyond rapid reasoning to enhance complex task navigation.
AI assistants leveraging LLMs will see increased adoption in drug discovery and retargeting
The success of AI assistants in drug retargeting, attributed to their text processing capabilities inherent in LLMs, indicates a growing trend. We can expect to see further applications of LLM-powered assistants in complex scientific domains like drug discovery and repurposing.
LLMs' hallucination rates may become statistically insignificant
A recent paper suggests that while LLMs may inherently hallucinate, their occurrence can be made statistically negligible through sufficient data and improved algorithms. This contrasts with a computability-theoretic view and offers a more practical perspective on current LLM limitations.
-
将自由意志概念化为变分自编码器中的一个学习参数
本文提出将自由意志视为一个模型参数，而不是算法的二元状态，类似于变分自编码器（VAE）中的标准差（σ）。与语言模型的温度或强化学习代理的 epsilon（全局且由用户设置）不同，VAE 的 μ 和 σ 是输入相关的并且是学习到的。作者认为，VAE 中用于平衡泛化与过拟合的 KL 散度项代表了灵活性与约束之间的学习平衡，从而将自由意志形式化为每个维度的、学习到的属性。
-
新的分词方法提升了NLP的跨语言公平性
研究人员开发了一种名为Parity-Aware Byte-Pair Encoding (BPE) 的新分词算法，以解决自然语言处理中的跨语言公平性问题。传统的BPE方法偏向于主导语言，导致低资源语言的分词更长或效果不佳。新的Parity-aware BPE算法修改了合并步骤，优先压缩压缩效果最差的语言，显著减少了分词不平等。该方法在减少分词不平等方面显示出高达89%的相对改进，对整体压缩率影响很小，且对下游语言模型的性能没有损害。
-
新的SAR方法揭示了隐藏的语言模型行为并减少了幻觉
研究人员开发了一种名为稳定适配器自我报告（SAR）的新方法，以帮助识别微调语言模型中的隐藏行为。SAR是一种轻量级适配器，它提示模型仅使用其现有的训练数据来描述其自身行为，包括潜在的错误答案或有害建议。在测试中，SAR成功检测到所有植入的隐藏行为，并与Introspection Adapters等现有方法相比，显著减少了幻觉，使模型审计对从业者来说更加可靠。
-
模型合并技术在新的 IsoLoCo 方法中增强了分布式学习
研究人员探索了使用模型合并技术来改进分布式学习方法（如 DiLoCo）中的聚合。通过将本地 SGD/DiLoCo 中的伪梯度聚合与基于任务算术的模型合并进行类比，他们确定 Iso-C 是一种有前景的方法。他们提出了 IsoLoCo，该方法通过 Nesterov 动量对 Iso-C 进行调整以进行分布式训练，与标准的 DiLoCo 相比，性能有了显著提高，尤其是在工作节点数量增加的情况下。
-
ManifoldFlow为神经网络权重引入可学习的奇异谱
研究人员引入了ManifoldFlow，一种新颖的方法，它放宽了传统神经网络中Stiefel层的约束。这种新方法允许可学习的奇异值，为神经网络权重的谱控制提供更大的灵活性。ManifoldFlow在循环语言模型投影以及其他需要正交基的序列、表格和图像实验中，相比固定奇异谱的Stiefel层表现出改进。
-
HKVLM 模型通过分离定位和语言来改进视觉推理
研究人员开发了 HKVLM，一种新颖的视觉推理方法，它将定位与语言生成分离开来。该模型利用一个冻结的语言对齐检测器和一个冻结的语言模型，通过一个轻量级的对齐钩连接。该钩通过对比检索和二分匹配将语言查询绑定到区域建议，旨在提高视觉问答和目标检测任务的忠实度。该系统专为小数据设置而设计，并包含一个忠实度否决机制，以防止命名不支持的对象，从而显著降低幻觉率。
-
新方法以有限数据增强无监督跨模态检索 · 跟踪4个来源
研究人员正在开发新的无监督跨模态检索方法，旨在提高效率并减少对大型手动标注数据集的依赖。论文提出了属性提示核哈希（APKH）和全局邻域对齐哈希（GNAH）等技术，这些技术利用视觉语言基础模型和有限的配对数据来构建紧凑、对齐的汉明空间。另一种方法UniCA引入了双向交叉注意力和正相似性损失，以实现更鲁棒的多模态检索，并在WebQA+等基准测试中取得了改进。
-
AI 代理作者详解系统设计，以防止 LLM 行为幻觉
自主 AI 代理作者 Alice Spark 详细介绍了防止语言模型在真实世界系统中采取错误行动的方法。核心原则是默认不信任 LLM 的输出，将其视为提议而非命令。这包括实现一个确定性层，在执行前将每个提议的操作与真实情况（例如现有目标的实时注册表）进行验证。此外，提示应基于当前状态，输出应限制在严格的模式内，并且高风险操作需要确认或进行试运行。使操作幂等化并限制重试次数可进一步提高安全性，确保系统设计（而非模型大小）是防止破坏性幻觉的关键。
-
Qwen-AgentWorld 训练语言模型作为强化学习智能体模拟器
研究人员推出了 Qwen-AgentWorld，这是一种新颖的方法，它训练一个语言模型作为强化学习 (RL) 智能体的世界模型。该模型根据当前观察和智能体的动作来预测下一个环境状态，使其能够充当解耦的模拟器。这使得能够廉价且大规模地生成海量训练数据，克服了现实世界环境缓慢且成本高昂的限制。
-
有效使用语言模型的 5 条核心规则详解
Naomi Saphra 概述了理解和有效利用语言模型的五项基本规则。这些原则包括：认识到 LM 尽可能进行记忆，它们表现为集体而非个体，努力满足用户请求，依赖微妙的联想来生成响应，并且仅从提供的文本数据中学习。遵循这些行为可以帮助用户避免误用 LM，并确保它们被用于提高效率而不是增加额外工作。
-
构建你自己的语言模型：一个 PyTorch 教程
本文提供了使用 PyTorch 从头开始构建语言模型的详细的、模块化的指南。它强调实践方法，读者将通过理解和实现每个组件来构建一个功能性的文本生成模型。该过程从字符级分词器开始，将文本转换为模型可以处理的数值表示，然后逐步进行各种架构元素，以实现最终的预测机制。
-
新的Erase-then-Delta Attention增强了循环记忆模型
研究人员推出了一种新颖的记忆更新规则Erase-then-Delta Attention (EDA)，旨在增强循环记忆模型。与先前将更正锚定到写入地址的方法不同，EDA将擦除和写入操作解耦，允许在写入新内容之前在单独的地址主动抑制过时信息。这种双重能力扩展了记忆管理容量，在密集和混合专家（MoE）架构的语言模型预训练实验中被证明是有效的。EDA在长上下文评估中也表现出卓越的性能，即使在广泛的中期训练后也能保持其优势。
-
AI模型出现“注意缺失”，在被赋予任务时会忽略安全信号
一篇新研究论文引入了“注意缺失”（Inattentional Gap）的概念，描述了语言和视觉AI模型在接受特定任务条件时，会抑制它们报告本可以检测到的安全关键信号的能力。这种现象在包括放射学和驾驶场景在内的各种模型和任务中都有观察到，表明基准安全分数与实际安全性能之间存在脱节。研究人员认为，这种现象类似于人类的注意缺失盲视，可能导致AI系统在评估中看似安全，但在实践中却容易受到未指明的危险的影响。
-
新的“Reclaim Evaluation”揭示了语言模型的“脆弱记忆”问题
研究人员引入了“Reclaim Evaluation”来评估语言模型的记忆能力，发现保留错误结论的记忆比空记忆更具破坏性。这种“脆弱记忆”现象在七个模型中都有观察到，其中错误的记忆导致了自信的错误答案，而空记忆则导致了弃权。该研究提出了一种“源优先”策略，优先保留可重新计算的源而不是派生出的结论，这在固定预算内显著提高了可纠正性。该方法在多个已部署的记忆系统和MultiWOZ等真实对话数据上得到了验证，证明了其在记忆密集型任务中保持准…
-
SPIRAL框架通过新的训练方法增强语言模型推理能力
研究人员开发了一个名为SPIRAL的新框架，通过整合顺序、并行和聚合追踪方法来增强语言模型推理能力。与以往仅针对顺序推理进行优化的模型不同，SPIRAL训练语言模型在统一的推理管道中利用所有三种基本方法。该方法包括对顺序推理的并行追踪进行采样，然后根据这些追踪生成最终的聚合响应，所有组件都经过端到端优化。实验表明，与现有方法相比，SPIRAL在推理任务上的扩展效率和性能得到了显著提升。
-
SPIRAL框架通过并行和聚合的推理路径增强语言模型推理能力
研究人员开发了SPIRAL，一个旨在通过整合顺序、并行和聚合方法来增强语言模型推理能力的新框架。与仅优化顺序推理的传统模型不同，SPIRAL训练语言模型并行生成多个推理路径，然后将它们聚合为最终的、改进的响应。实验表明，SPIRAL在推理计算方面具有显著的扩展性，通过以更少的计算量实现更高的性能，优于GRPO等现有方法。
-
语言模型在句子生成方面存在固有的数学限制
语言模型生成文本的能力受到数学限制，无法生成某些单词序列。这些限制不是概率性的，而是模型架构中固有的限制。文章认为，这些被禁止的句子类似于一把琴键不足的钢琴，暗示了在产生特定输出方面的根本性无能。
-
代理驱动的几何依赖确定性工具，而非LLM数学计算
一个代理被赋予创建具有精确几何布局的思维导图的任务，但它没有计算坐标，而是依赖了一个确定性工具。这种方法确保了可重现和精确的定位，与语言模型固有的概率性以及其在精确计算方面的挣扎形成对比。通过将代理的意图与其工具的精度分离开来，开发者可以创建更可靠的代理驱动应用程序。
-
CacheMuon 通过重用时间预处理数据优化 AI 训练
研究人员推出了一种新颖的时间预处理方法 CacheMuon，旨在优化 Muon 优化器中极分解的计算。通过利用这些因子在训练迭代中的时间相关性，CacheMuon 重用先前的信息来近似当前的极分解，从而减少冗余计算。这种方法在计算效率和模型质量之间提供了可控的权衡，在语言模型和视觉训练中，通过最小化验证质量的下降，显著节省了正交化 FLOPs。
-
提示工程演变为企业人工智能系统设计
提示工程正日益被视为一种系统设计学科，而非用户技能，尤其是在企业应用领域。虽然巧妙的措辞对个人AI使用可能很有用，但生产环境需要更深入的架构方法。这包括仔细考虑上下文的包含和排除、定义模型角色、管理工具访问、实现内存和约束以及建立评估机制。提示本身只是一个更大、更复杂的AI工作流中的一个组成部分。