PulseAugur
中
实时 19:04:39
实体 Chain Of Thought

Chain Of Thought

PulseAugur coverage of Chain Of Thought — every cluster mentioning Chain Of Thought across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
14
90 天内 111
发布 · 30天
0
90 天内 0
论文 · 30天
14
90 天内 107
层级分布 · 90 天
主题
关系
情绪 · 30 天

6 天有情绪数据

最近 · 第 1/7 页 · 共 121 条
  1. TOOL · CL_361469 ·

    AI训练:类似CoT的表面 vs. 直接CoT方法

    一篇最近的LessWrong帖子探讨了针对类似思维链(CoT)的表面进行训练与直接针对CoT进行训练之间的潜在相似性。作者Ezra Newman认为,这两种训练方法在模型性能和行为方面可能产生可比的结果。这一观点为人工智能模型如何学习以及如何通过训练有效引导其推理过程提供了细致的视角。

  2. TOOL · CL_360131 ·

    新的NLS深度指标衡量AI模型的不透明认知

    研究人员开发了一种名为NLS深度的新指标,用于量化AI模型的“不透明串行深度”,它代表了未言语化的认知过程的程度。该指标旨在在训练前进行评估,并且独立于提示等训练后修改。研究发现,NLS深度通常与开放权重模型中的层数相关,尽管某些架构存在例外。研究人员建议,AI开发人员应在直接测量思维链可监控性的同时,跟踪和报告NLS深度。

  3. COMMENTARY · CL_351567 ·

    Google DeepMind 使用链式思考数据的行为尚不明确

    Google DeepMind (GDM) 的训练数据性质,特别是关于链式思考 (CoT) 推理方面,仍然不清楚。目前尚不清楚 GDM 是否有意将 CoT 数据纳入其训练过程。尽管 CoT 对于高级人工智能推理能力至关重要,但这种模糊性依然存在。

  4. TOOL · CL_340191 ·

    新的MicroMouse框架掩盖了大型语言模型推理中的有害监督

    研究人员开发了一个名为MicroMouse的新框架,通过识别和掩盖长链式思考(CoT)推理过程中的“有害监督”来改进大型语言模型(LLMs)的训练。MicroMouse受解迷宫的启发,使用“相对势能”(REP)指标来衡量每个推理步骤与正确答案的接近程度,并将其与一个看似正确的错误答案进行对比。这种方法有助于在监督微调(SFT)过程中过滤掉冗余或错误的步骤,从而提高LLM推理的准确性和效率。

  5. RESEARCH · CL_340160 ·

    TAC-CoT框架通过减少计算来提升LLM代理推理能力

    研究人员推出TAC-CoT,一个旨在提高大型语言模型(LLM)代理系统效率和准确性的新框架。TAC-CoT通过用紧凑的潜在片段替换显式的中间推理步骤来优化思维链(CoT)推理,同时仅保留用于工具调用和最终输出的文本标记。这种方法显著降低了计算开销,实验表明在模型前向传播次数上最多可减少6.8倍,在数学和问答基准测试上的准确率最多可提高8.8个百分点。该框架在单工具和多工具场景下都展示了增强的工具使用质量。

  6. TOOL · CL_327475 ·

    新的Refiner框架通过潜在残差推理增强生成式推荐

    研究人员开发了一个名为Refiner的新框架,用于生成式推荐系统,旨在通过潜在残差推理提高排名质量。该方法引入了一种通过累积加法校正来逐步精炼排名分数,利用精炼的用户行为表示进行候选特定推理,并采用LoRA模块进行参数高效微调的机制。在公开基准、工业数据集和在线A/B测试上的实验表明,Refiner的性能持续优于直接预测方法,证明了其有效性和实用性。

  7. TOOL · CL_324626 ·

    新模型SAYO增强了多模态大语言模型的视觉注意力

    研究人员推出了一种新颖的视觉推理模型SAYO,旨在增强多模态大语言模型(MLLMs)的注意力能力。当前的MLLMs在稳定的视觉注意力方面存在困难,常常无法纠正早期的视觉错位,从而导致级联错误。SAYO通过采用强化学习框架来解决这个问题,该框架包含一个基于区域级别视觉注意力的奖励,明确指导模型学习更可靠的注意力行为。在各种多模态基准测试上的实验表明,SAYO显著提高了推理和感知任务的性能。

  8. TOOL · CL_321852 ·

    新的TAME框架解决了VLM推理混淆问题

    研究人员开发了一个名为TAME的新框架,以解决视觉语言模型(VLM)中的思维链(CoT)混淆问题。这种混淆发生在模型达到高准确率,但产生的推理过程不够透明且难以监控时。TAME在强化学习训练过程中利用稀疏自动编码器(SAE)来规范VLM的内部特征,具体方法是惩罚模板激活同时保留视觉证据。在VIRL-39k和SPA-VL基准上的实验表明,TAME在不显著影响任务准确性的情况下,提高了CoT推理的可监控性。

  9. TOOL · CL_307910 ·

    新VERITAS方法将AI计算过程言语化,以检测推理错误

    研究人员开发了VERITAS,一种通过言语化模型内部计算来检测思维链(CoT)推理中不忠实的新方法。与分析输出或静态激活的现有方法不同,VERITAS使用层级雅可比投影来追踪每个生成token的推理演变过程。这种方法提供了对推理错误如何以及在何处发生的更具可解释性的理解。在四个数据集上的实验表明,VERITAS的平衡准确率显著优于LLM-as-a-Judge和激活探测方法,提高了28.4%。

  10. TOOL · CL_299759 ·

    受思维链监督的单个神经元显示出惊人的计算能力

    研究人员已经证明,当单个神经元接受自回归思维链(CoT)监督训练时,它可以模拟具有相同激活函数的任何前馈电路。这一发现表明,即使是简单的神经网络结构也能实现强大的计算能力。这项研究与加法组合学中的Sidon集有关,表明自回归阈值神经元可以模拟多项式时间图灵机,并且易于学习。作为实际演示,一个自回归ReLU神经元被训练以相当高的准确度模仿CIFAR-10数据集上的神经网络。

  11. TOOL · CL_294454 ·

    新的CORE-Seg框架整合推理能力用于复杂医学病灶分割

    研究人员开发了CORE-Seg,一个通过整合推理与分割来分割复杂医学病灶的新框架。该方法利用了语义引导提示适配器(Semantic-Guided Prompt Adapter)和渐进式训练策略,从监督微调(supervised fine-tuning)过渡到具有自适应双粒度奖励机制(adaptive dual-granularity reward mechanism)的GRPO。该方法旨在通过整合针对病灶的专业视觉推理(不同于通用的M…

  12. TOOL · CL_294443 ·

    新的基准测试ReasoningShield改进了大型语言模型推理轨迹的安全检测

    研究人员开发了ReasoningShield,这是一个新的基准测试和模型套件,旨在改进大型推理模型(LRMs)中推理轨迹的安全检测。现有的审核工具难以处理思维链(CoT)推理,表现出显著的性能下降。ReasoningShield通过提供一个包含9.2K个带注释的CoT对的数据集和轻量级模型来解决这个问题,这些模型达到了91.8%的F1分数,优于LlamaGuard-4和GPT-4o等当前领先的工具。

  13. TOOL · CL_282898 ·

    新的VERA框架审计LLM漏洞推理中的虚假声明

    一个名为漏洞解释推理审计器(Vulnerability Explanation Reasoning Auditor, VERA)的新框架已被开发出来,以解决大型语言模型(LLMs)在软件漏洞分析中提供看似合理但存在缺陷的推理问题。目前使用思维链(Chain-of-Thought)提示的方法常常导致LLMs捏造或掩盖逻辑错误。VERA引入了结构化推理记录(Structured Reasoning Record, SRR),要求LLMs输…

  14. TOOL · CL_273353 ·

    新型分层推理模型实现高级人工智能能力

    研究人员推出了一种新颖的循环神经网络架构——分层推理模型(HRM),旨在增强人工智能的推理能力。与传统的思维链方法不同,HRM采用一个由抽象规划和详细计算组成的双模块系统,能够在没有明确中间监督的情况下,通过单次前向传播执行复杂任务。该模型仅有2700万个参数,在数独和迷宫导航等任务上表现出色,并在抽象与推理语料库(ARC)基准测试中超越了更大的模型,预示着通用推理系统取得了重大进展。

  15. RESEARCH · CL_273272 ·

    LLM用于抑郁严重程度的标准提取结果喜忧参半

    一项新的研究论文评估了大型语言模型(LLM)如何从社交媒体帖子中提取抑郁严重程度的标准。该研究比较了直接评分与标记特定临床标准的方法,发现虽然标准提取更具可审计性,但其性能并不显著优于思维链提示,尤其是在阈值未预先拟合的情况下。即使经过重新校准,更高的同意度也未必能更好地检测到严重病例,标准提取有时会遗漏更严重的帖子。

  16. RESEARCH · CL_254217 ·

    新框架通过改进信用分配和效率来增强LVLM推理能力

    两篇新研究论文提出了一种增强大型视觉语言模型(LVLM)推理能力的新型框架。第一篇论文PIVOT引入了一个双层学习框架,该框架使用自校准经验回放和视觉引导的优势分配来加强关键的视觉推理步骤。第二篇论文ReWAM专注于通用多模态嵌入的检索式推理,采用检索感知自蒸馏和检索自适应推理来提高准确性和效率。这两个框架都旨在使LVLM在大型部署中更有效、更实用。

  17. TOOL · CL_245161 ·

    新的 GRPO 方法在无需人类标签的情况下训练 NLI 模型

    研究人员开发了一种使用群体相对策略优化 (GRPO)(一种强化学习方法)来训练自然语言推断 (NLI) 模型的新方法。该技术消除了对人类标注理由的需求,允许在 ANLI 等具有挑战性的数据集上训练模型。当使用 LoRA 和 QLoRA 等参数高效方法应用于 7B、14B 和 32B 语言模型时,GRPO 训练的模型在标准和对抗性 NLI 基准测试中表现出强大的性能。值得注意的是,32B 模型在对抗性数据集上的泛化能力优于监督基线,并且…

  18. RESEARCH · CL_233405 ·

    新研究表明,大型语言模型代理在市场行为方面不如人类高效

    一项新的研究论文通过用大型语言模型(LLM)代理取代人类参与者来复制经济学实验,探讨了大型语言模型的市场行为。研究发现,与人类驱动的市场相比,由LLM代理组成市场向均衡收敛的速度较慢或根本不收敛,导致资源配置效率低下。对交易决策的分析揭示了不同模型家族和角色之间存在显著差异,在执行交易时,从战略调整转向紧迫性,这可以通过思维链(Chain-of-Thought)追踪来体现。

  19. TOOL · CL_229151 ·

    新的MIST方法使用内部Token显著性压缩LLM推理痕迹

    研究人员开发了一种名为MIST(Model-Internal Saliency for Token-level CoT compression)的新方法,以降低大型语言模型(LLM)思维链(CoT)推理的计算成本。MIST通过分析其对模型内部“思想流”的影响,来识别和修剪不太重要的推理Token。它根据“必要性”(移除Token的贡献后答案质量下降的程度)和“充分性”(仅提供该Token的贡献后答案质量提高的程度)来衡量Token的重…

  20. TOOL · CL_228622 ·

    新的SHAPE框架解码大语言模型数学推理策略

    研究人员开发了一个名为SHAPE的新框架,用于分析大语言模型(LLMs)在数学任务中的思维链(CoT)推理过程。SHAPE检查模型如何语义化地解释问题以及它们采用的具体数学启发式方法。该框架发现,模型使用的启发式方法比一般的CoT特征更能指示正确答案,并且将推理集中在更少的语义空间内可以带来更好的结果,这与人类行为相似。此外,SHAPE揭示了强化学习会鼓励特定的启发式方法使用,而一种促进多样化启发式方法的训练后方法提高了LLM的准确性。