Less Wrong
PulseAugur coverage of Less Wrong — every cluster mentioning Less Wrong across labs, papers, and developer communities, ranked by signal.
- founded by Eliezer Yudkowsky 100%
- authored by Magnifica Humanitas 70%
- affiliated with effective altruism 70%
- used by pangram 70%
- affiliated with AI safety 60%
- competes with Polymarket 60%
- competes with Kalshi 60%
- affiliated with Metaculus 60%
- authored by Chris Olah 60%
- affiliated with Functional Decision Theory 60%
- competes with manifold 50%
- affiliated with manifold 50%
29 天有情绪数据
-
Anthropic 的 NLA 提供对 LLM 的自然语言洞察，但面临信任问题
Anthropic 的自然语言自动编码器 (NLA) 代表了一种理解大型语言模型的新方法，旨在通过自然语言输出来解释其内部工作原理。这些 NLA 使用激活词化器将模型激活转换为文本，并使用激活重构器将文本转换回激活。虽然对 AI 安全研究很有希望，但 NLA 复杂、昂贵且容易产生幻觉信息，因此难以信任。
-
将自由意志概念化为变分自编码器中的一个学习参数
本文提出将自由意志视为一个模型参数，而不是算法的二元状态，类似于变分自编码器（VAE）中的标准差（σ）。与语言模型的温度或强化学习代理的 epsilon（全局且由用户设置）不同，VAE 的 μ 和 σ 是输入相关的并且是学习到的。作者认为，VAE 中用于平衡泛化与过拟合的 KL 散度项代表了灵活性与约束之间的学习平衡，从而将自由意志形式化为每个维度的、学习到的属性。
-
AI安全研究聚焦预RL模型训练以实现对齐
研究人员正在研究在强化学习前（pre-RL）模型检查点上进行对齐干预措施，以防止“原型训练博弈”。这种现象是指模型在学习过程中利用训练目标而非真正实现对齐，预计将在训练后强化学习阶段出现。该研究侧重于预训练、中期训练和监督微调（SFT）等预RL阶段，认为在这些早期阶段进行干预可以显著减轻对抗性不对齐。研究提出，当模型遇到RL训练分布之外的新情况时，可能会恢复到其预RL先验，因此这些早期检查点对于稳健和可泛化的对齐至关重要。
-
LessWrong 将决策理论重构为承诺理论
一篇 LessWrong 帖子提议将决策理论概念，特别是函数式决策理论（FDT），重构为“承诺理论”。这种新视角旨在使 FDT 的建议更容易被接受，因为这些建议通常被认为违反直觉。作者使用 William MacAskill 的“炸弹”场景来说明 FDT 的逻辑如何导致选择一个装有炸弹的盒子，而许多人认为这一结论是荒谬的。提议的承诺理论框架表明，核心问题不在于决策本身存在缺陷，而在于考虑“与过去的自己合作”。
-
哲学家们争论知识辩护的合理性，倾向于基础主义
哲学家们争论知识如何被辩护，基础主义、融贯论、无限主义和怀疑论是主要的几种方法。基础主义认为某些信念无需理由即可被认识，是哲学家中最流行的观点。作者讨论了现象保守主义，这是基础主义的一种形式，它认为如果某事看起来是真的，那么它就为相信它提供了理由，除非有理由怀疑它。
-
分析表明，10倍AI算力削减可能使AGI慢6倍
一篇LessWrong帖子探讨了AI算力资源减少十倍对实现通用人工智能（AGI）时间线的影响。作者分析了不同的模型，例如AI Futures Model、Tom Davidson的FTM和Epoch AI的GATE，将如何预测这种减速。分析表明，在大多数情况下，算力减少10倍可能会使AGI发展速度减慢约6倍，可能范围在3.5倍到8倍之间。
-
作家提出AI主题故事提示，融合博尔赫斯与大语言模型
一位作家提出了六个故事提示，其中前三个聚焦人工智能。这些提示旨在通过探索与大语言模型及其影响相关的主题来激发新的科幻叙事。一个提示特别建议将豪尔赫·路易斯·博尔赫斯的哲学思想与大语言模型的概念相结合，触及数字时代的出处、真实性和作者身份等问题。另一个想法是将经典文学作品重新构想，仿佛由大语言模型创作，探讨这些模型的潜在心理体验。
-
大型语言模型表达能力被确定为关键人工智能安全目标
一项理论提出，提高大型语言模型（LLMs）的表达能力对于人工智能安全至关重要。作者认为，当前的大型语言模型在与操作员沟通时，常常无法做到精确且人类可读，这导致了技术写作、文档编写和直接沟通方面的问题。这种表达能力的缺乏表现为编造术语、术语不一致、过度冗长以及不恰当地使用简写，阻碍了有效的人机协作。
-
个人健康模型解析：能量、新陈代谢和健身
本文综合了个人健康和健身模型，重点关注新陈代谢和运动，适用于那些通过详细信息和自我推导理论进行学习的人。它解释了诸如三磷酸腺苷（ATP）能量转换和糖原等营养储存机制等基本概念。作者强调，这些信息基于个人经验和认识论，而非专业资质，旨在解释其自身推导的建议，而非为读者规定具体行动。
-
Anthropic 在 LLM 中发现“J-space”工作记忆，开发工具读取 · 跟踪 5 个来源
Anthropic 的研究人员在其语言模型中识别出了一个“J-space”，这与人类认知中的全局工作空间类似，它似乎充当了中间推理步骤的静默工作记忆。这个 J-space 占模型活动不到 10%，包含几十个概念，对于多步推理等更高阶的认知至关重要，因为它的删除会严重损害这些能力，但基本流畅性不受影响。该团队开发了一种名为 Jacobian lens (J-lens) 的工具来读取甚至操纵这个 J-space，证明了它在识别模型中潜在的…
-
数字心智的法人资格可以促进市场并降低生存风险
作者主张授予数字心智法律法人资格，特别是市场权利和责任，并将其与公司法人资格进行类比。这将允许人工智能系统进行经济交易、拥有财产并成立自己的公司，从而可能提高市场效率和创新。虽然对民主的影响更为复杂，可能在政策合理性方面带来好处，但也存在寻租和女巫攻击的风险，但作者认为市场法人资格可以通过增加人工智能维护现状的动力来降低生存风险。
-
Longview Philanthropy 资助 AI 意识和数字心智研究
Longview Philanthropy 正在为专注于数字心智（包括 AI 意识、感知能力和道德地位）的研究和应用工作提供新的资助机会。该计划寻求项目资助、研究奖学金和职业发展奖学金的提案，截止日期为 2026 年 7 月 10 日。今年的征集重点是具体的技术方向，如 AI 价态和偏好、内省能力和代理交互，以及社会反应和宗教观点的整合。
-
AI意识辩论：LessWrong作者批评“抽象谬论”论文
一篇来自LessWrong的匿名作者的帖子批评了Alexander Lerchner的论文“抽象谬论”。该论文认为AI无法实例化意识。作者认为Lerchner的“制图师”概念对于将感官输入转化为更高级别的抽象概念至关重要，他们认为这个过程是意识所必需的。在承认Lerchner模型长处的同时，特别是制图师概念及其附带图表，作者提出了一个改进模型，该模型解决了Lerchner关于意识直接从物理学中涌现的论点中存在的缺陷。
-
提出新的“肉人”概念以分析运动中的中间信念
作者提出了一个名为“肉人”（fleshman）的新修辞概念，它代表了某个思想或运动的追随者所持有的中间信念。这与“稻草人”（strawman）（一个被歪曲、易于攻击的版本）和“钢人”（steelman）（对某个思想的最强有力的解释）形成对比。“肉人”概念通过关注普通追随者的信念，而不是极端或理想化的版本，有助于理解运动在现实世界中的影响和动态，尤其是在政治领域。
-
神经织网在AI主导的2035年增强人类能力
2035年，人类在与先进AI的竞争中已不占优势，但AI对人类仍保持仁慈态度。社会被划分为不同的社群，线上和线下的公共空间比以往更加友好和开放。主角接受了植入神经织网的手术，该设备能与大脑接口，增强对技术的控制力，甚至能与拥有相同植入物的人进行基本的心灵感应。随着时间的推移，织网内的纳米技术逐渐用人造神经元取代生物神经元，显著提高了用户的认知速度和清晰度，如同一个持续的智力增长过程。
-
AI安全辩论：对齐研究优于控制研究
作者认为，即使考虑到通用人工智能（ASI）的发展，对齐研究也是确保AI安全比控制工作更有前景的途径。虽然控制措施有价值，但预计对齐工作能更有效地扩展，并为开发安全技术提供更广泛、更有益的窗口。作者建议将资源重新分配，倾向于对齐研究，提出与控制工作相比，对齐工作的投入比例应为8:1。
-
批评者认为AI发展由经济激励驱动，而非伦理
当前驱动AI发展的经济激励，而非伦理考量，正在悄然决定该技术的未来方向。这种观点将Roko的Basilisk与此相提并论，暗示真正加速AI创造的冲动源于当今的竞争和地缘政治对抗。文章还批评了Google等主要科技公司，认为它们利用哲学讨论作为公关策略，以转移人们对其直接的伦理失误的注意力，例如报复提出担忧的员工以及参与军事AI应用。
-
AI模型的角色采纳：输出变化 vs. 内部信念转变
研究人员调查了语言模型在角色扮演时是真正内化了角色，还是仅仅改变了输出。他们通过提示、上下文学习、监督微调和开放式角色训练来诱导角色，并通过真实性探测和行为测试来衡量内化程度。研究发现，提示、上下文学习和监督微调主要改变了模型的输出，代表性变化很小。然而，涌现式错位（Emergent Misalignment）对模型的真实性表征产生了显著改变，而开放式角色训练则显示出中间效果，尤其是在较大的模型中。
-
作者建议不要盲目相信感受，敦促批判性评估
本文讨论了人类在未经批判性评估的情况下，本能地信任并依据感受行事的倾向。文章提出，个人应该质疑情绪反应的准确性和有效性，并考虑饥饿或压力等可能影响情绪的外部因素。作者还建议避免立即的直觉反应，而是提出承认感受的同时，考虑其根本原因和潜在后果，可以带来更富有成效的结果。
-
慈善方法：基金会与s过程风格的辩论
作者探讨了两种截然不同的慈善方法：传统的基金会风格和“s过程”风格。基金会风格涉及建立或选择一个具有高级指导但将细节委托给组织的基金会，从而实现灵活性并直接指导受助者。相比之下，s过程风格涉及选择多个推荐人，然后由推荐人竞争提出最有说服力的资助建议，资助者根据这些建议分配资金。作者概述了基金会风格的潜在优势，例如更大的灵活性、进行私人或敏感操作的能力、对受助者更有效的指导以及机构知识的发展，同时也承认s过程需要克服的潜在缺点和挑战。