small language model
PulseAugur coverage of small language model — every cluster mentioning small language model across labs, papers, and developer communities, ranked by signal.
11 天有情绪数据
-
研究探讨语言模型对不同脚本的认知
一项新的研究论文探讨了语言模型是否具备对不同脚本的认知，这是与语言选择相比研究较少的理解维度。该研究测试了小型语言模型（SLMs）和大型语言模型（LLMs）在多脚本语言上的表现，以观察它们是否能调整输出脚本以匹配输入，并遵循明确的脚本生成指令。研究结果表明，这些模型展现出相当程度的脚本认知，在拉丁脚本方面表现出高保真度，并且经常遵守指定的脚本指令，尽管LLMs的表现普遍优于SLMs。
-
Turnslide框架为小型语言模型合成多轮数据
研究人员开发了Turnslide，一个用于合成多轮对话数据以改进小型语言模型（SLMs）工具调用能力的新颖框架。该自动化系统将API建模为有限状态机，通过单次LLM调用生成状态有效的工具序列。在Turnslide生成的数据上微调SLMs，与基线相比显著提高了下游准确性，以更少的token实现了更高的完整准确性。
-
加州大学圣克鲁兹分校教授讨论本地 SLM 和开源 AI
加州大学圣克鲁兹分校的 Adam Smith 讨论了本地小型语言模型 (SLM) 和开源 AI 工作流的细微差别。对话探讨了这些更小、更易于访问的 AI 模型的实际应用和开发。
-
新的RLVR框架在预算限制下增强了SLM-LLM协作
研究人员开发了一个名为RLVR的新框架，以改善小型语言模型（SLM）和大型语言模型（LLM）之间的协作。SLM不再仅仅分配任务，而是充当主要推理者，仅在必要时策略性地查询LLM顾问，从而优化成本和效率。这种方法在新的arXiv论文中有详细介绍，包括学习何时调用顾问、如何制定有效的查询以及如何将LLM的响应整合到SLM的推理过程中。RLVR框架在数学和编码任务上展示了改进的性能-成本权衡，在某些场景下甚至可以媲美神谕路由，并证明了其对其…
-
新架构管理智能无人机群的上下文和通信
一篇新研究论文提出了一种用于智能无人机群的分布式架构，该架构利用小型语言模型（SLM）进行推理。该系统通过将运行时知识组织成结构化笔记并采用面向兴趣的流言引擎进行选择性传播来解决信息管理挑战。这种方法旨在提高不确定环境中的通信效率和推理上下文，如在模拟的搜救任务中所展示的。
-
新的AI路由方法增强推理和效率 · 跟踪4个来源
研究人员开发了T-Router，一种参数高效的强化学习方法，通过选择性地重用预训练模型的计算来显著提高推理能力。该方法在最近的arXiv论文中有所详细介绍，仅分配了0.466%的一小部分参数，但在GSM8K和AIME等基准测试上取得了比全参数方法和LoRA更优越的性能。另一篇论文探讨了用于边缘设备的神经符号路由，将查询分类以使用确定性求解器或小型语言模型，在资源受限的硬件上实现了高精度和高效率。第三项研究调查了组合优化问题的神经路由求…
-
小型语言模型修复大型模型生成的代码错误
研究人员开发了一种名为 SLMFix 的新方法，该方法使用通过强化学习微调的小型语言模型 (SLM) 来纠正大型语言模型 (LLM) 生成的代码中的语法错误。这种方法对于资源稀缺的编程语言 (LRPL) 和领域特定语言 (DSL) 尤其有益，因为 LLM 在这些语言上常常表现不佳，并且微调的计算成本很高。SLMFix 已显示出显著的改进，将 LRPL 的验证器通过率提高了 40%，并将高资源 DSL 中的语法错误减少了 50% 以上，…
-
新的“可检查性”指标指导本地 LLM 用于网络自动化
研究人员引入了“可检查性”作为一项指标，用于确定任务是否适合使用小型语言模型（SLM）进行本地推理。这种方法通过一个名为 Touchstone 的管道进行演示，包括使用 SLM 生成候选响应，然后使用特定于任务的内在检查来拒绝违反正确性条件的输出。对于冲突检测和意图翻译等任务，Touchstone 在仅将一小部分输入升级到前沿 LLM 的情况下实现了高准确率。研究结果表明，一种部署策略是，对具有精确、低成本检查的任务使用本地推理，而将…
-
新框架应对人工智能隐藏的水足迹
一个名为SustainAI的新框架已被开发出来，以解决人工智能通常被忽视的环境影响，特别是其水消耗。该框架整合了实时水计量、一个对幻觉敏感的惩罚模型和一个有水意识的路由算法，以考虑区域水资源压力。使用小型语言模型的评估显示，数据中心的水足迹存在十一倍的差异，突显了在不准确的人工智能响应上花费了大量的资源。该方法还强调了人工智能基础设施设计中的伦理考量、区域公平和生态管理。
-
新的PTC-Decoder框架提高了边缘设备上SLM的可靠性
研究人员开发了PTC-Decoder，一个旨在增强资源受限边缘设备上小型语言模型（SLM）推理能力的新型框架。这种无需训练的方法通过在推理过程中约束输出词汇表来强制执行计划遵循，确保SLM能够可靠地执行多步代理任务。在遥感卫星任务上的评估显示，总体得分有统计学上的显著提高，凸显了PTC-Decoder在提高步骤级可靠性方面的有效性。
-
为训练小型语言模型开发发票数据管道
本文详细介绍了一种准备发票数据以训练小型语言模型（SLM）的方法。该过程侧重于将数百万的发票行项目转换为适合SLM的格式，使其能够解释和处理混乱的产品描述并建议适当的税务分类。
-
AI研究在复杂交互中推进对话记忆系统
研究人员正在开发先进的对话AI记忆系统，以便在延长的交互中更好地回忆信息。Madeleine通过模拟人类生活来学习关联记忆，从而无需大量调用LLM即可高效回忆。AMU专注于写作过程中的结构化记忆控制，使用小型语言模型来过滤和管理个性化助手的记忆条目。VoxPolyMem通过整合交互感知和记忆层次结构来解决多方口语对话问题，在VoxPolyBench等基准测试中取得了高分。SpeakerMem-R1通过一个双轨记忆系统来应对类似的多方对…
-
新的单Token评分方法改进了LLM候选人排名
研究人员开发了一种名为单Token期望值评分的新方法，用于对求职者进行排名，尤其适用于交互数据有限的平台。该技术将候选人-职位相关性视为一个序数分类问题，使用经过微调的小型语言模型（SLM）和混合损失函数。该方法在低延迟下提供确定性分数，并在离线模拟和在线实时实验中显示出显著的改进，降低了低相关性率并提高了雇主保留率。
-
地理空间元数据提升数据集可发现性和跨学科联系
一篇新发表在arXiv上的研究提出，地理空间元数据可以显著提高研究数据集的可发现性和互操作性。该研究分析了来自Harvard Dataverse的数据，发现具有更完整元数据（尤其是地理空间信息）的数据集能获得更多的下游引用，并在跨科学学科之间建立更多的联系。研究强调，地理元数据比通常是学科特定的关键词更能有效地促进跨学科联系。通过用地理空间信息丰富元数据，研究表明跨不同领域连接的数据集比例有所增加。
-
新的上下文分割提升了SLM在网络安全CTF任务中的表现
研究人员引入了一个新颖的上下文分割框架，旨在提高小型语言模型（SLM）在复杂、长周期任务（如网络安全夺旗赛（CTF）挑战）上的性能。这种两级代理方法将复杂的利用任务划分为更小、上下文隔离的子问题，从而缓解了上下文膨胀和认知退化的问题。在使用内存受限的Gemma 4模型对picoCTF数据集进行评估时，发现该策略，特别是使用E4B模型，与标准方法相比，取得了具有竞争力的奖励和更高的令牌效率。该框架成功解决了传统代理执行未能完成的18.5…
-
人工智能预测3D打印牙科零件的最佳构建方向
研究人员开发了一种机器学习方法，用于预测使用选择性激光熔化（SLM）制造的牙科零件的最佳构建方向。通过对大约2400个患者特异性牙科零件进行模型训练，他们比较了包括经典SO(3)参数化和直接S2表示在内的各种旋转表示的有效性。研究发现，测试时增强显著提高了大多数表示的准确性，将平均角度误差降低了31-73%。虽然直接S2表示显示出有希望的结果，但性能最佳的表示被发现是骨干依赖的。
-
新研究探讨LLM的效率、安全性和多语言能力
研究人员正在探索各种方法来提高大型语言模型（LLM）的效率和能力。Apple Inc. 发布了关于通过增强语言辨别能力来改进多语言语音模型的研究。其他研究侧重于参数高效微调技术，如DyPAM和GRADE；理解模型内部机制的方法，如Massive Activation Gating Channel (MAGC)和COMPASS；以及高效推理策略，如VALSE和Hybrid Latent Attention (HLA)。此外，正在开发像S…
-
新方法通过推测性解码提升大语言模型推理速度
研究人员正在开发用于加速大语言模型（LLM）推理的先进推测性解码技术。一种名为 X-CoSD 的方法，通过处理词汇差异和最小化数据传输，专注于设备上小型模型与大型服务器模型之间的有效通信。另一种名为 Osprey 的方法，利用预训练的小型语言模型作为草稿生成器，通过轻量级过程将其适配到各种目标模型，以提高接受率和令牌生成速度。此外，正在探索一种名为在线草稿协同训练（Online Draft Co-Training）的技术，通过优化注意…
-
小型语言模型仍有高昂的推理成本
由于部分加载和 KV 缓存等因素，运行小型语言模型 (SLM) 的推理成本仍然可能很高。理解底层 Transformer 架构是优化这些成本的关键。本文提供了一个心智模型，帮助开发者掌握这些概念并更有效地管理推理费用。
-
微调小型语言模型以对抗提示注入
本文详细介绍了微调小型语言模型（SLM）以防御提示注入攻击的过程。作者概述了创建更强大的模型以识别和缓解恶意输入的挑战和步骤。