Few-shot learning
PulseAugur coverage of Few-shot learning — every cluster mentioning Few-shot learning across labs, papers, and developer communities, ranked by signal.
13 天有情绪数据
New theoretical frameworks will emerge to unify in-context learning with probabilistic and meta-learning concepts.
One cluster explicitly links in-context learning (ICL) to Bayesian inference and meta-learning, proposing a statistical theory to explain its mechanisms. This indicates a growing research effort to provide a more rigorous mathematical understanding of ICL, moving beyond empirical observations.
Few-shot learning frameworks will increasingly leverage LLM-generated synthetic data for training and evaluation.
Multiple recent clusters highlight the use of LLMs and in-context learning (ICL) to generate synthetic ground truth data for tasks like emotion classification and to improve grammatical error correction. This suggests a trend towards using LLMs not just for inference but also for data augmentation in few-shot learning scenarios, reducing reliance on expensive human labeling.
In-context learning is being adapted for complex model migration and cross-framework adaptation tasks.
A recent cluster details an agentic framework using ICL to automate the migration of deep learning models from PyTorch to JAX, achieving high numerical equivalence. This demonstrates that ICL is being applied to more complex engineering challenges beyond simple task adaptation, such as cross-framework compatibility.
-
对抗性训练使线性 Transformer 具备鲁棒的上下文内学习能力
一篇新的研究论文探讨了对抗性训练在大型语言模型中实现鲁棒的上下文内学习的有效性。研究表明，在广泛任务上经过对抗性预训练的模型，可以通过上下文内学习在新的、未见过任务上实现最佳鲁棒性，而无需进一步进行特定任务的对抗性训练。这与标准训练的模型形成对比，后者无法在新的任务上达到相同的鲁棒性水平。该研究分析了收敛特性、准确性-鲁棒性权衡以及有效上下文内学习所需的演示复杂度。
-
上下文学习：通过提示调整大型语言模型，无需权重更新
上下文学习（ICL）是一种允许大型语言模型（LLMs）通过提示中提供的少量示例来学习新任务的方法，而无需更新模型权重。该技术与需要修改模型参数的传统微调形成对比。ICL 利用模型现有的知识和架构，例如 Transformer 中的注意力机制，来适应提示中呈现的新指令和数据格式。
-
新研究解决时间序列AI模型的上下文学习问题
研究人员正在探索改进时间序列基础模型（TSFMs）的上下文学习能力的方法。一篇新论文研究了Chronos-2、TimesFM-2.5和TabPFN-TS等模型如何处理反事实输入，发现一些模型是无记忆的或会削弱动态，导致预测不准确。该研究提出在合成数据上对这些模型进行微调，以增强它们表示和预测系统动态的能力，在某些任务上显示出更高的敏感性和性能，尽管在单变量预测能力上有所权衡。
-
新理论解释了Transformer神经量子态的泛化
研究人员开发了一个理论框架，以理解基于Transformer的神经量子态在上下文学习中的泛化能力。该研究建立了泛化误差界限，表明预测误差随着上下文示例的增多和Transformer深度的增加而减小。这种深度要求与量子系统的大小成线性关系，数值模拟支持了这些发现。
-
分组注意力机制分析揭示预测中的混合表现
研究人员分析了最初为Chronos-2预测模型开发的分组注意力机制，以了解其在多变量和上下文学习场景中的有效性。他们的发现表明，依赖于分组的加权摘要而无需学习加权的均匀池化，通常可以提高各种配置下的预测性能。相反，注意力机制的学习加权组件（决定这些权重）可能会严重损害上下文学习任务的性能，有时甚至比单变量推理的表现更差。
-
新研究比较了非线性上下文学习中的核学习器和特征学习器
研究人员通过比较两个单层注意力架构：核学习器和特征学习器，分析了非线性上下文学习（ICL）。利用副本方法，他们推导出了记忆和泛化误差的预测，并考虑了预训练大小、任务多样性和上下文长度。该分析产生了相图，指示了基于这些因素的每种架构何时更有优势，并确定了两种学习器不同的上下文长度缩放。
-
语言结构影响大型语言模型的上下文学习效果
一篇新的研究论文探讨了语言结构如何影响大型语言模型（LLM）的上下文学习（ICL）的有效性。研究发现，某些语言操作，如前向屈折，可以有效地分摊到潜在的任务表征中，从而实现超越传统ICL的零样本推理。然而，其他操作，如反义词等任意配对，则无法从这种摊销中受益，表现不佳。研究强调，生成性规则比记忆性配对更能有效地编码到潜在表征中，这表明对语言属性的更深入理解是优化LLM性能的关键。
-
研究发现AI模型难以进行隐藏推理
一篇新的研究论文探讨了大语言模型（LLMs）中的隐写推理概念，即模型可能在其看似无害的文本中隐藏其真实的推理过程。研究发现，虽然模型可以轻松学习隐写信息和编码推理，但它们难以学习隐写推理本身，通常需要显著更多的训练数据和努力。然而，当一项任务被专门设计用于促进信息隐藏时，模型可以在各种训练方法中学习隐写推理，这表明它虽然比相关能力更难实现，但仍是可行的。
-
新研究探讨 Transformer 在上下文学习中的几何自适应性
一篇新研究论文深入探讨了 Transformer 架构在非参数上下文学习中的能力，特别是在大型语言模型方面。该研究通过提出一种能适应局部几何结构的新型估计器，来解决理解 Transformer 如何处理几何上复杂且异构数据的问题。该方法旨在实现 minimax 最优性，并证明了专门的 softmax Transformer 可以有效地利用局部几何结构。
-
新研究探索上下文学习动态和机器人应用
两篇新的arXiv论文探讨了上下文学习（ICL）的细微差别。第一篇论文介绍了“任务算子”（TO），一种分析注意力头转换以提高ICL效率和各种任务性能的方法，表明知识集中在特定的电路中。第二篇论文回顾了ICL在机器人领域的应用，根据上下文证据与执行的联系方式对方法进行分类，并强调了迁移学习和物理递归自我改进中的挑战。
-
LLM智能体在战略任务中可能依赖统计外推而非推理
一项新的研究论文探讨了大型语言模型（LLM）智能体是通过真正的推理来改进决策，还是通过从交互历史中外推统计模式来改进决策。该研究使用了具有操纵过的历史反馈的多智能体游戏，以理性预期均衡基准来测试LLM智能体。研究结果表明，当历史中的统计模式被破坏时，上下文学习的好处会显著减弱，这表明在这些战略环境中，LLM智能体主要依赖统计外推而不是复杂的推理。
-
研究：LLM 中的少样本退化与任务相关，新指标显示
一篇新的研究论文调查了语言模型中“少样本退化”的现象，即提供示例有时会损害性能而不是提高性能。该研究在乌克兰新闻分类和法律案件结果预测任务上测试了 12 个开源模型，发现退化效应高度依赖于特定任务。研究人员开发了一种名为“内容增量”的新指标，用于将演示内容的影响与提示长度分离开来，结果表明，模型表示因演示内容而非提示长度而发生的变化是少样本性能的关键预测因子。
-
研究发现：门控机制阻碍状态空间模型的上下文学习
一篇新发表在arXiv上的研究论文探讨了状态空间模型（SSMs）中门控机制的作用，SSMs正作为Transformer在序列建模方面的替代方案而兴起。研究表明，这些门控机制可能导致SSMs优先考虑记忆而非上下文学习，从而可能阻碍它们在需要精确检索的任务上的表现。虽然门控可以提高长序列的泛化能力，但它对训练动态和有效上下文学习解决方案收敛的影响是线性时间模型改进的关键领域。
-
新的V-ICAL基准揭示了多模态智能体基于视频学习的显著局限性
引入了一个名为V-ICAL的新基准，用于评估多模态智能体在交互式环境中从视频演示中学习的能力。该基准包含37个环境中的342个任务，评估智能体将视频示例转化为可执行策略以及适应新情况的能力。包括Seed-2.1-Pro、Gemini-3.1-Pro和GPT-5.6在内的当前最先进的智能体显示出显著的局限性，表现最佳的智能体得分仅为54.4，表明这些智能体在基于视频的上下文学习能力方面存在重大差距。
-
研究发现上下文学习跨越多种AI模态涌现
一篇新研究论文提出了汇聚式涌现假说，认为在大型语言模型中观察到的少样本上下文学习（ICL）能力可能广泛地出现在不同的数据模态中。该研究开发了一个框架来测试这一假说，将任务应用于六种模态：语言、基因组、整数序列、时间序列、图像和蛋白质。结果表明，ICL出现在这些模态中，并且在大多数模态中显示出相关的难度剖面，在某些领域支持了该假说。
-
少样本学习的评估协议可能高估模型性能
一篇新论文批判性地审视了少样本学习评估背后的假设，特别是预训练模型在大型辅助数据集上的常见做法。研究人员发现，即使在目标样本类别不重叠但属于同一视觉域的情况下进行预训练，也会显著高估性能。研究表明，对于稀缺的目标域数据，域外预训练更为现实，并且令人惊讶的是，无标签增强策略可以取得与监督域外预训练相当的结果。该论文主张放弃将域内预训练作为默认评估协议，以更好地反映现实世界场景。
-
新框架使多模态大语言模型超越模仿，对齐推理路径
研究人员开发了一个新的多模态上下文学习（ICL）框架，旨在提高大语言模型（LLMs）如何将其响应与复杂多模态输入所需的推理过程对齐。该方法通过重新构建示例，明确对比次优响应和更优响应，突出推理路径以进行改进，从而超越了简单的模仿。响应条件检索机制通过选择推理与当前响应最相关的示例来进一步增强这一点，从而在视觉问答任务中带来显著的性能提升。
-
DearICL框架通过新颖的样本选择增强LLM上下文学习
研究人员开发了DearICL，这是一个用于在大型语言模型（LLM）的上下文学习（ICL）中选择最佳演示示例的新颖框架。与静态、离线选择方法不同，DearICL将样本选择视为一个子集排序问题，采用非线性代理和间隙指数老虎机算法。这种方法可以对有效和边界示例进行细粒度分离，从而实现实例级别的子集排序。在开源LLM上的实验表明，DearICL在低样本复杂度下，相比现有的线性老虎机基线，准确率提高了8.08%至15.9%。
-
新的人工智能方法提高了工业4.0资产数据的信息提取能力
研究人员开发了AAS-RAIL，一种新颖的检索增强上下文学习方法，用于改进从PDF产品数据表中提取资产管理壳（AAS）信息。该方法动态选择公司特定的AAS示例来指导大型语言模型，使其能够适应独特的命名约定和格式，而无需进行微调。评估表明，AAS-RAIL显著提高了提取质量，与传统的少样本提示相比，改进幅度在30.4%到52.4%之间，使其成为生成公司特定AAS实例的有效工具。
-
新论文通过贝叶斯视角统一LLM训练方法
一篇新论文提出了一个统一的贝叶斯框架，用于理解各种大型语言模型（LLM）的训练和评估范式，包括监督微调（SFT）、上下文学习（ICL）和KL正则化强化学习（RLHF/RLVR）。所提出的方法将这些方法视为对广义贝叶斯或Gibbs后验的不同类型的投影，区分了权重空间和上下文内投影。这种视角旨在阐明令人费解的经验结果，并为现代推理管道（如DeepSeek-R1和o1风格模型中使用的管道）提供见解。