free energy principle
PulseAugur coverage of free energy principle — every cluster mentioning free energy principle across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
引入受神经科学启发的自监督学习框架
研究人员引入了元表征预测编码（MPC），一种受神经科学启发的创新自监督学习框架。该方法旨在通过学习预测并行数据流而非原始输入的表征，来克服传统反向传播和监督学习的局限性。MPC利用自由能原理和主动推理，实现了一种仅编码器的学习方案，通过决策来采样信息性感官数据，从而驱动表征动力学。
-
LLM 个性化框架对用户状态进行建模以改善对话
研究人员开发了一个名为 PUMA（Prospective User-state Modeling for Action selection）的新框架，以增强大型语言模型对话中的个性化。PUMA 利用自由能原理对潜在用户状态及其动态进行建模，从而实现更复杂的对话决策。这种方法超越了简单的记忆回忆，主动预测和影响未来的用户状态，旨在提高长期对话结果和响应质量，尤其是在医疗咨询等敏感领域。
-
AI 代理需要持久的内部状态，而不仅仅是按需处理
当前 AI 代理的范式，即它们像智能计算器一样仅在被提示时激活，是一个重大的局限性。真正的 AI 代理需要持久的内部状态和持续运行，而不仅仅是处理输入和产生输出。像主动推理（Active Inference）这样的架构，专注于维护生成模型并根据预测误差采取行动，为实现用户交互之间存在并不断发展的代理提供了途径。
-
新框架通过主动推理改进U统计量，适用于标签成本高昂的情况
研究人员开发了一种新的U统计量主动推理框架，旨在提高数据标注成本高昂时的估计效率。该方法在固定预算内选择性地查询信息性标签，并以增强的逆概率加权U统计量为基础。该框架还扩展到基于U统计量的经验风险最小化，在实验中显示出显著的效率提升并保持了目标覆盖率。
-
范畴论框架被提议用于定义和比较通用人工智能架构
这篇工作论文提出了一种使用范畴论来比较不同通用人工智能（AGI）架构的正式框架。作者旨在为AGI系统提供一个统一的基础，整合结构、信息组织和智能体交互等方面。该框架旨在阐明各种AGI方法（如强化学习和主动推理）之间的共性和差异，并指导未来的研究。
-
新原理统一贝叶斯推理、博弈论和热力学
一篇新论文提出了博弈论自由能原理，这是一个统一贝叶斯推理、博弈论和热力学的框架。该原理表明，最小化局部自由能的多智能体系统会隐式地实现随机博弈。研究表明，在某些约束条件下，集体自由能的驻点与近似纳什均衡一致。此外，它通过将合作博弈表示为变分问题，建立了贝叶斯推理与策略互动之间的联系。
-
新的MoE架构提升效率和性能
研究人员正在开发先进技术来改进专家混合（MoE）模型，特别关注解决领域转换和推理效率方面的挑战。一种受自由能原理和脉冲神经网络启发的方法，引入了时间记忆和预期路由，以显著增强领域转移期间的专家选择。其他研究则侧重于通过运行时感知调度框架和新颖的内核配置来优化MoE推理，以最大化吞吐量。此外，还在探索新的方法来管理异构专家大小并在微调过程中保留较少使用的专家的知识，旨在提高性能和资源利用率。