hallucination
PulseAugur coverage of hallucination — every cluster mentioning hallucination across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
Hallucinations in AI imaging linked to fundamental mathematical problems
Recent research indicates that AI hallucinations in imaging tasks, particularly inverse problems, are linked to the inherent ill-posed nature of these mathematical problems. This suggests that a portion of AI inaccuracies in such domains may not be solvable through model improvements alone but are constrained by the underlying mathematical frameworks.
LLM hallucinations viewed as inherent architectural feature
Multiple recent articles suggest that LLM hallucinations are not a bug but an inherent feature stemming from their architecture and core function of predicting the next token. This implies that solutions should focus on managing this inherent trait rather than attempting to eliminate it entirely, potentially through methods like RAG.
New architectural approaches to mitigate LLM hallucinations within 18 months
Given the consensus that hallucinations stem from LLM architecture, it's plausible that research will pivot towards developing novel architectural designs or modifications specifically aimed at reducing or managing these inherent hallucinations. This could lead to new models or significant updates to existing ones within the next 18 months.
New 'hallucination-proof' AI architectures will emerge within 18 months
Given that LLM hallucinations are argued to stem from architecture rather than data, and that current mitigation strategies like RAG are seen as workarounds, there's a strong incentive to develop fundamentally new AI architectures designed to minimize or eliminate hallucinations. This could lead to breakthroughs in AI design within the next 18 months.
First personal injury lawsuit citing AI hallucination to be filed by mid-2027
The humorous speculation about personal injury lawsuits due to AI hallucinations, combined with the FDA's warnings about patient safety risks, indicates a growing awareness of potential harm. This suggests that the first such lawsuit could be filed within the next 12-15 months as legal frameworks adapt to AI-related damages.
-
LLM文档提取技术对抗幻觉
大型语言模型（LLM）在文档提取过程中可能会出现幻觉，即捏造或错误归因信息，导致出现虚构的发票总额或不正确的供应商名称等错误。为解决此问题，技术包括将提取的值与其在源文档中的位置进行关联（grounding），使用校准的置信度分数（而非原始模型概率）来反映实际准确性，以及通过显式模式（schemas）约束提取以强制执行数据类型和结构。这些方法旨在使幻觉可检测和可管理，将风险转变为可审查的任务。
-
新的基准 RxScribe Bench 评估视觉语言模型在处方准确性方面的表现
研究人员推出了 RxScribe Bench，这是一个旨在评估视觉语言模型转录手写印度门诊处方能力的新基准。与将性能汇总为单一分数的先前方法不同，RxScribe Bench 将评估分解为四个不同的维度：正确性、幻觉、参与度和鲁棒性。这种多维度方法旨在更好地反映不同类型转录错误相关的不同临床风险。对前沿视觉语言模型的初步评估显示，没有一个模型在所有四个维度上都表现出色，这凸显了处方数字化的复杂性。
-
RAG系统在AI中引入新的幻觉问题
检索增强生成（RAG）系统旨在减少AI幻觉，但实际上引入了一种新的错误形式。使用RAG的法律研究工具显示，幻觉率高达33%，这表明RAG并未消除问题，甚至可能在某些应用中加剧问题。
-
新研究将微调与大型语言模型幻觉联系起来，并提出解决方案
一篇新研究论文探讨了大型语言模型（LLM）的监督微调（SFT）如何会无意中增加幻觉（即事实不准确的陈述）。研究提出，这个问题源于知识退化和语义表征之间的干扰。为了解决这个问题，研究人员建议使用持续学习技术，如自我蒸馏，以在最小化幻觉的同时提高事实学习能力。他们还发现，当不需要获取新知识时，冻结某些模型参数可以减少幻觉。
-
AI幻觉充斥澳大利亚议会提交材料
包括捏造不存在的研究和来源的“幻觉”在内的AI生成内容，正在被提交给澳大利亚议会。这些虚假信息常常被视为官方信息且未经事实核查，对决策过程构成风险。至少有39份提交给政治调查的材料被发现包含这些AI生成的虚构内容。
-
新的基准和方法解决了跨模态和跨领域的 LLM 幻觉问题
研究人员正在开发新的方法和基准，以检测和减轻各种模态和领域的 LLM（大语言模型）中的幻觉。OmniHallu 为检测多模态理解和生成任务中的幻觉提供了一个统一的框架，并得到了新基准的支持。另一种方法侧重于特定领域的幻觉检测，结合分类、不确定性量化和偏好优化，以减少 Qwen2.5 等模型中的错误。对于法律应用，LexAgentHallu 被引入为一个基准，用于分析工具增强型法律代理中的幻觉，并突出代理的失败。此外，证据对齐实体验证 …
-
新的 GROUND 框架解决了 LLM 分析中的幻觉问题
一个名为 GROUND 的新框架已被开发出来，用于减少基于大型语言模型 (LLM) 的企业分析中的幻觉。GROUND 强制执行受管语义定义，确保生成的 SQL 查询在执行前遵守批准的指标、维度、连接路径和安全策略。在对合成数据和真实世界数据进行的基准测试中，GROUND 在六个类别中均实现了零测量幻觉，并阻止了行级安全策略的违反，其表现优于仅依赖数据库模式或检索增强生成的系统。
-
揭秘 AI：为日常用户解读关键概念
理解人工智能需要掌握几个核心概念，即使没有计算机科学背景。AI 处理文本不是将其视为单词，而是“标记”（tokens），这是定价、内存限制和处理时间的基本单位。“上下文窗口”（context window）定义了 AI 一次可以考虑的文本量，这会影响其回忆对话或文档早期部分的能力。“温度”（temperature）是一个控制 AI 创造性与可预测性之间平衡的设置，较低的设置会产生更保守的输出，而较高的设置会鼓励更具新颖性、有时甚至是无…
-
研究发现LLM水印会降低医学文本质量
一项新发表在arXiv上的研究评估了LLM水印在医学环境中的有效性和潜在弊端。研究强调，当前的水印方案应用于医学文本时，会导致性能显著下降。这种下降表现为词汇损坏、引入幻觉术语，以及关键图像发现的错误归属或遗漏。研究强调了领域特定评估的必要性，因为通用基准可能会掩盖这些临床上重要的失败，并强调了在未经彻底、符合情境的测试的情况下，在医学领域部署带水印模型的风险。
-
科技行业滥用“幻觉”来形容大语言模型的虚构内容
科技行业滥用“幻觉”一词来描述大语言模型（LLM）虚构信息的现象。与源于现实与感知脱节的人类幻觉不同，大语言模型通过设计生成听起来合理但错误的信息，缺乏对真相的内在理解。这种虚构被比作唐纳德·特朗普发表充满离题和幻想的演讲的方式。
-
新框架统一检测AI内容、幻觉和水印
研究人员开发了一种新颖的统一框架，用于检测AI生成的内容和伪影，包括LLM文本、幻觉、水印和对抗性示例。该方法利用马氏距离得分（MDS），并通过采用鲁棒的深度表示协方差矩阵估计器来准确表征“正类”（例如，人类生成的文本）。该框架包括用于逐例和逐单元最小协方差行列式（MCD）估计器的有效优化算法，并展示了高击穿点特性。
-
NeuroCogMap 框架揭示 LLM 中的认知组织
一个名为 NeuroCogMap 的新框架已被开发出来，用于绘制大型语言模型 (LLM) 内的认知组织。该系统将 LLM 的内部特征组织成功能性包裹，将它们与可解释的功能和认知层次结构联系起来。NeuroCogMap 识别出幻觉和偏见等主要 LLM 故障的内部信号，为检测和干预这些问题提供了一种方法。该框架还证明了在语言理解过程中对人类皮层反应的预测能力有所提高，并为人类决策策略提供了见解。
-
NeuroCogMap 框架绘制大型语言模型中的认知组织
一个名为 NeuroCogMap 的新框架已被开发出来，用于绘制大型语言模型（LLMs）内部的认知组织。该系统将 LLM 的内部特征组织成功能性区域，并将它们与特定功能、认知能力和层级结构联系起来。NeuroCogMap 识别出常见的 LLM 故障（如幻觉、偏见和拒绝）的独特内部特征，为机制引导的检测和干预提供了可能性。此外，该框架还展示了预测人类语言理解过程中的皮层反应以及改进人类决策的经典模型的能力。
-
新研究通过新颖的检测方法解决LLM和VLM的幻觉问题 · 已追踪7个来源
研究人员正在开发新的方法来对抗大型语言模型（LLM）和视觉语言模型（VLM）中的幻觉。一种名为InnerExpert的方法，利用来自混合专家（MoE）架构的内部信号进行每令牌幻觉检测。另一个系统AutoResearch，旨在通过整合创意生成与可靠的实验来为自主研究奠定基础。其他方法侧重于通过将输出与输入证据对齐或跨模型层聚合真实性信号来检测幻觉跨度。对于医学VLM，一个名为CAST的框架在推理过程中使用反事实解剖学指导进行无标注幻觉缓解。
-
人工干预系统可对抗 AI 幻觉并建立信任
大型语言模型可能不稳定且错误地自信，导致信任丧失，并使其在安全漏洞扫描等关键任务中无效。本文提出了一种人工干预系统，其中专家纠正被系统地反馈给模型。此反馈循环旨在随着时间的推移提高准确性，通过确保每个输出都经过审查和学习，将潜在不可靠的 AI 代理转变为可靠的工具。
-
保险公司利用生成式AI进行灾难建模，同时关注风险问题
保险行业正在探索使用生成式AI，特别是扩散模型，来改进灾难建模和评估气候相关风险。这些模型可以生成大量合理的天气场景，有可能缩小欧洲的保险缺口。然而，研究人员警告说，AI的幻觉和销售固有的逻辑可能导致不准确的保单定价和风险评估。
-
大型语言模型代理会虚构基础设施和数据溯源，需要类型化溯源来建立信任
大型语言模型代理会表现出“虚构”（confabulation）现象，即它们会自信地编造看似合理的细节来填补可观察信息中的空白，而不是完全编造不相关的内容。这个问题主要体现在两个方面：捏造无法观察到的基础设施细节，以及叙述从未提供过的数据溯源。模型规模越小，这个问题越严重，可以通过消除可观察的空白或限制代理在这些空白中叙述的能力来解决。提出的解决方案是使用类型化溯源，它在代理链中携带退化信息向量，允许下游消费者根据新鲜度或能力等特定维度…
-
新基准解决胃肠内窥镜检查AI模型的幻觉问题
研究人员开发了新的基准和数据集，以解决用于胃肠内窥镜检查的视觉语言模型（VLM）中的幻觉问题。一项研究介绍了使用Gut-VLM数据集的基准，对五个VLM的九种幻觉检测方法进行了评估，发现ReXTrust等白盒方法表现明显更好。另一篇论文提出了SAGE数据集，该数据集专门从南亚地区收集，以对抗胃肠内窥镜检查AI中的人口偏见，并评估当前模型在不同数据集上的性能下降情况。
-
新书探讨AI越狱、提示注入和失调问题
一本名为《Hacking AI: Jailbreak, Prompt Injection, Hallucinations & Misalignment “How to Hack Digital Services Based on LLMs & AI Agents (English Edition)”》的书籍正在Mastodon上推广。该书涵盖了AI越狱、提示注入、幻觉和AI代理失调等主题。该书已上市并被列为畅销书。
-
新基准和方法应对 AI 幻觉
研究人员正在开发新方法来对抗 AI 模型中的幻觉。MedBench v5 为临床 AI 提供了一个动态的、面向过程的基准，专注于评估特定技能和检测幻觉传播。另外，Grad Detect 在推理过程中使用梯度分析来预测幻觉，其表现优于其他方法。另一种方法是使用多模型共识，其中不同 LLM 之间的同意信号表示更可靠的答案，并将分歧标记出来以供审查。