von Neumann entropy
PulseAugur coverage of von Neumann entropy — every cluster mentioning von Neumann entropy across labs, papers, and developer communities, ranked by signal.
-
新的Kernel Token Contradiction方法加速了LLM不确定性量化
研究人员开发了一种名为Kernel Token Contradiction (KTC) 的新方法，用于量化大型语言模型 (LLM) 输出的不确定性。KTC使用候选令牌的核表示，整合条件分布和令牌矛盾分数，并通过冯·诺依曼熵测量不确定性。与现有方法相比，该方法实现了显著的加速，与GPU加速技术相比提高了8.2倍，与仅CPU的替代方案相比提高了65倍，同时在各种基准测试和模型上保持了相当或更优的性能。
-
新的Vendi分数量化语言模型集成多样性
一篇新的研究论文介绍了一种名为Vendi分数的量化方法，用于量化多个语言模型输出的语义多样性。该分数衡量模型集成生成的不同表述的有效数量，解决了在没有单一正确答案的情况下评估多样性的挑战。该研究还提出了一种“每模型异议贡献”来识别集成中最具分歧的声音，发现模型身份会影响异议，但并未被标准类别完全捕捉。
-
新研究表明熵平滑凸优化无法加速
arXiv上发表的一篇由Dragomir等人撰写的论文表明，熵平滑凸优化无法加速。该研究证明了该类函数中最小化方法的收敛速率的下界，表明一阶方法在对数因子内是最优的。这一发现尤其值得注意，因为在标准的平滑假设下通常可以使用加速方法，但这项工作表明对于具有有利结构的特定近函数，无法实现加速。
-
量子水库计算的进展在新研究论文中得到探讨
两篇新研究论文探讨了量子水库计算（QRC）领域，这是一种利用量子系统进行计算的技术，它将参数更新与读出分离开来。第一篇论文对QRC进行了全面的调查，详细介绍了其基础、计算特性和各种物理实现，同时强调了建立量子优势所需的标准化基准。第二篇论文介绍了一种新颖的混合量子水库计算（nHQRC）框架，旨在检测非平衡动力学系统中的相变，通过使用固定的横向场伊辛模型和新颖的缩放技术克服了传统变分量子算法的局限性。
-
新框架Code-MUE衡量代码大语言模型的（不）确定性
研究人员开发了Code-MUE，一个旨在衡量代码大语言模型（LLMs）不确定性的新框架。这个纯粹的黑盒系统利用基于执行的语义交互图，通过分析运行时行为和计算解空间的冯·诺依曼熵来评估不确定性。涉及八个最先进大语言模型的实证研究表明，Code-MUE能有效关联功能正确性，在软件工程工作流的风险检测方面优于传统的词汇和基于嵌入的方法。
-
新理论将熵与深度学习极限联系起来，并提出了EGD算法
研究人员引入了一个新的理论框架，该框架将信息论、拓扑学和统计力学联系起来，以理解深度神经网络中可学性的极限。该框架定义了一个“熵可学性视界”（Entropic Learnability Horizon, ELH），这是一个基本定律，规定只有当数据的流形香农熵超过函数决策边界的拓扑熵（由网络权重空间的熵调节）时，网络才能学习目标函数。当目标边界的复杂性超过这个信息视界时，系统就会进入“信息性挫败”（Informational Frust…
-
新型DCQ-GNN模型增强了图神经网络的谱滤波
研究人员推出了一种新颖的谱图神经网络（GNN）DCQ-GNN，该网络利用自适应凸凹二次滤波器。这种方法旨在提高谱选择性和在图结构数据上的性能，同时避免了与高阶滤波器相关的优化挑战。DCQ-GNN在同质图和异质图上均表现出强劲性能，与现有方法相比，在抵抗结构扰动方面显示出更强的鲁棒性。