small language model
PulseAugur coverage of small language model — every cluster mentioning small language model across labs, papers, and developer communities, ranked by signal.
11 天有情绪数据
-
Microsoft 推出七款 AI 模型挑战 OpenAI
Microsoft 推出了七款旨在与 OpenAI 产品竞争的新型 AI 模型,特别针对小型语言模型(SLM)市场。这些模型,包括 Phi 3 系列,正被整合到 Microsoft 的 Azure 和 GitHub Copilot 服务中。尽管头条上的性能数据令人印象深刻,但文章建议在广泛采用之前,需要仔细审视其功能和局限性。
-
多智能体系统使用本地SLM和搜索
一个演示展示了一个结合了小型语言模型(SLM)和搜索功能的多智能体系统。该实验突出了这些本地化SLM在复杂任务中的潜力。
-
llama.cpp 添加 Vulkan Intel FA 着色器以提高 LLM 性能
llama.cpp 项目发布了一个更新 (b12331),为使用 Vulkan 的 Intel GPU 带来了显著改进。此更新包含一个专门用于预填充操作的定制 FA 着色器,提高了性能和准确性。主要增强功能包括对 m16n16k16/SIMD32 的支持、改进的缓冲区访问以及针对处理各种边缘情况和大头尺寸的优化。这些更改还侧重于在 Intel FA 内核的 48 KiB 限制内管理共享本地内存 (SLM) 的使用,确保跨不同 Inte…
-
共享误差限制了费米估算中小语言模型的聚合
一篇新的研究论文探讨了在费米估算任务的多智能体系统中,小型语言模型(SLMs)的聚合问题。研究发现,尽管平均独立误差可以减少总体误差,但SLMs中很大一部分误差是特定于项的,并且在模型之间是共有的。这种共享误差限制了聚合的有效性,三十个模型的团队仅将误差减少了中位数1.7%,远低于无偏独立误差理论上预期的74-79%的减少量。研究还指出,模型倾向于将估计值压缩到特定值,这导致了这种项级误差。
-
从头训练的7.57亿参数大语言模型不敌微调后的Qwen模型
一位用户从头开始训练了一个拥有7.57亿参数的大语言模型,并将其性能与微调后的Qwen2.5-0.5B-Instruct模型进行了比较。作者详细介绍了整个过程,包括数据准备、Transformer架构以及QLoRA等技术的应用。最终,更小的、经过微调的Qwen模型表现优于那个从头训练的、参数量更大的模型。作者解释说,这个结果并不奇怪,而是利用预训练基础模型的必然结果。
-
Mobile AI Factory 自动化创建适用于手机的专用小型语言模型
研究人员开发了一个名为 Mobile AI Factory 的代理系统,该系统可自动为移动设备创建专用的、量化的语言模型(SLM)。该系统使用一个编排 LLM 和真实设备测量来微调 SLM,旨在匹配或超越大型模型的性能,同时显著减少 GPU 计算时间。在各种任务和 Android 手机上的评估表明,这些定制构建的 SLM 可以超越前沿模型,并强调了设备特定测量对于最佳配置的重要性。
-
小型语言模型提高税码预测准确性
研究人员开发了一种具有编码器-解码器架构的领域自适应小型语言模型(SLM),专门用于预测结构化税码。该方法旨在通过捕获协调制度(HSN)和联合国标准产品和服务代码(UNSPSC)等代码中的层级依赖关系,来提高跨国公司税码确定的准确性。实验表明,SLM 在此专业序列生成任务上优于扁平分类器和其他编码器-解码器架构。
-
新的TGR方法增强了小语言模型的外壳输出仿真能力
研究人员开发了一种名为模板间隙重建(TGR)的新方法,以提高小语言模型在仿真外壳输出方面的准确性和效率。TGR通过使用可重用的输出模板并插入变量内容的占位符来工作,使模型能够更有效地预测重复结构。与全输出解码相比,这种方法在输出编辑相似性方面表现出改进,尤其是在较短的序列和模板覆盖大部分输出的情况下。TGR还减少了生成的令牌数量,使其成为小型外壳仿真器的实用设计选择。
-
使用量化技术在 4GB RAM 上本地运行强大的 LLM
本教程详细介绍了如何在内存仅为 4GB 的系统上本地运行功能强大的小型语言模型 (SLM)。它通过建议使用 Llama 3.2 3B 或 Microsoft Phi-3.5/Phi-4 Mini 等优化 SLM,解决了 LLM 高内存需求的常见挑战。该指南解释了如何使用 GGUF 等格式将模型权重量化到 4 位精度,从而在不显著降低性能的情况下大幅减小内存占用。它提供了使用 Ollama 和 llama.cpp 等工具进行配置和高效运…
-
LLM 增强学术论文中的知识实体关系抽取 · 跟踪 3 个来源
一篇新研究论文探讨了使用大型语言模型 (LLM) 改进学术文章中知识实体关系抽取 (KERE) 的各种策略。该研究评估了多种方法,包括闭源 LLM 提示、LoRA 适配的开源 LLM 以及 LLM 增强的小型语言模型 (SLM)。实验结果表明,LoRA 适配的 T5 模型在摘要和全文数据集上均取得了最高的性能,宏观 F1 分数分别为 0.7408 和 0.7013。研究还强调,LLM 有助于减轻 SLM 中的错误,其有效性因错误类型而异。
-
小语言模型通过新的SMC技术实现高级语法控制
研究人员开发了一种使用序列蒙特卡洛(SMC)的方法,以提高小语言模型在语言学习应用中的语法控制能力。该方法引导模型生成特定的语法结构,使其表现能够与更大规模的前沿语言模型相媲美。该技术还利用与前沿模型的代码合成来扩展语法控制的技能范围,而无需额外的训练数据。
-
KV 缓存创新和 Rust 重写彻底改变 LLM 服务经济性 · 跟踪 1 个来源
最近的研究和工程进展正在显著改善 LLM 的服务经济性。创新包括通过压缩和量化优化 KV 缓存管理,以及采用新的方法,如针对特定模型架构的感知角色量化和激活补偿技术,以在较低的比特宽度下保持准确性。此外,新的服务策略正在涌现,例如分离模型组件以降低 CPU 成本,以及开发用于分布式推理的通信高效投机解码,所有这些都有助于更高效、可扩展的 LLM 部署。
-
新的训练数据提升了AI呼叫筛选的小型语言模型性能
研究人员通过创建一个质量控制数据集,开发了一种改进AI呼叫筛选代理的小型语言模型(SLM)的方法。该数据集包含3,395个合成通话,专注于生成可靠的回复和摘要。使用LoRA适配器在该数据上训练SLM,显著提升了其在回复合格率(从21-54%提升到94-97%)和摘要合格率(从0-6%提升到43-72%)方面的性能。虽然连贯性和自然度问题在很大程度上得到了解决,但在确保模型准确跟踪对话细节方面仍存在挑战。
-
新的SLM架构提高了行为预测准确性
研究人员开发了一种名为证据驱动的局部行为预测(ELBP)的新型架构,专为小型语言模型(SLMs)预测用户辅助需求而设计。该四层系统处理交互数据,使用双视图表示,并结合了基于SLM的预测和证据验证。在参数量小于3B的SLMs上的实验表明,Qwen2.5-3B模型与ELBP集成后,在预测准确性方面取得了显著提高,优于原始事件提示和XGBoost。
-
本地优先应用和设备端 SLM 提供隐私和更低延迟
Rachel Lee Nabors 在最近的 InfoQ 播客中讨论了本地优先应用程序和设备端小型语言模型 (SLM) 的优势。这些方法通过摆脱对云端 LLM 的依赖,可以增强用户隐私、降低延迟并减少运营成本。
-
VocabX 通过专业分词器将 SLM 推理成本降低 77%
研究人员开发了一种名为 VocabX 的方法来专门化小型语言模型(SLM)的词汇,有可能降低推理成本。通过将分词器专注于特定领域的术语而非通用语言,他们在基于 Qwen3-4B 构建的葡萄牙语作文评分器中实现了 77% 的推理成本降低。这种专门化解决了代币碎片化和词汇过多的问题,这些问题是成本的主要驱动因素,尤其对于处理特定任务的小型模型而言。
-
可边缘部署的AI使用小型语言模型构建放射学报告
研究人员开发了MedPAO-Assist,这是一个代理AI框架,旨在直接从放射科医生的口述中构建放射学报告。该系统因其边缘部署能力而备受关注,仅需最少的资源(3.3 GB RAM),即可在标准笔记本电脑CPU上离线运行,平均延迟为31秒。它支持多种成像模态,并使用了一个约0.6亿参数的小型语言模型(SLM),使其成为临床环境中一个潜在的易于使用的解决方案。
-
进度感知蒸馏解决了小型语言模型代理的停滞问题
研究人员开发了一种名为进度感知蒸馏(ProD)的新技术,以解决小型语言模型(SLM)代理中的停滞问题。该方法检测并惩罚代理推理过程中重复、无益的循环,这是阻碍其有效性的常见问题。通过将学生代理和教师代理进度之间的差距纳入训练目标,ProD 有助于 SLM 更有效地逼近大型模型的能力。使用八个 SLM 进行的实验表明,ProD 显著提高了这些代理的任务完成成功率和速度。
-
决策模型增强边缘SLM以供企业使用,降低成本
Logic42 Lab开发的一种名为预生成决策路由的新方法,旨在使小型语言模型(SLM)适用于企业使用。该方法在开始生成令牌之前评估语义意图、紧急程度和输出预算,解决了传统检索增强生成(RAG)系统中存在的令牌膨胀和延迟问题。使用TypeSafe AI Jev进行的实证基准测试表明,该技术可以将紧凑型SLM转变为生产级边缘工作负载,从而显著降低云支出。
-
新架构提升小型语言模型在敏感数据分析中的准确性
研究人员开发了CARE-SD,这是一种新颖的架构,旨在提高小型语言模型(SLM)在文本数据中分析自我披露的准确性和可靠性,尤其是在网络安全访谈中。该四模块系统集成了上下文自适应处理、分层推理和解释验证,以增强本地部署的SLM的功能,这对于维护数据隐私至关重要。使用Llama 1B、Qwen 1.5B和Llama 3B模型对带注释的网络安全访谈进行的评估表明,CARE-SD显著提升了性能,将Llama 3B的Macro-F1分数从0.8…