Gramian matrix
PulseAugur coverage of Gramian matrix — every cluster mentioning Gramian matrix across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
新型量化方法大幅减少混合语言模型的比特数
研究人员开发了一种新颖的混合语言模型循环状态量化方法，使用更少的比特，显著降低了计算和内存需求。通过从可观性Gramian导出失真权重，并采用混合精度比特分配而无需校准数据，他们在负对数似然方面取得了显著改进。四比特平均负载与基线相比，误差最多减少了27.9倍，而六比特负载与FP32状态基线相比，差异极小。
-
新的集成采样方法有望提高机器学习研究的效率和准确性
两篇新研究论文提出了新颖的集成采样技术，以提高机器学习中模型探索的效率和准确性。第一篇论文《具有更小集成的小型线性集成采样》介绍了一种通过监控Gram矩阵的变化来减少集成刷新频率的算法，以更小的集成规模实现了最先进的遗憾界限。第二篇论文《淬灭集成采样》提出了一种将硬能量约束推广到排斥势的方法，从而能够在相变过程中实现更鲁棒的采样，并改进了贝叶斯神经网络和晶格场论中的应用。
-
新的谱聚类算法在二分网络中实现了精确社群恢复
研究人员开发了一种能够精确恢复二分网络中社群的谱聚类算法。该算法基于删除对角线后的Gram矩阵，在温和的条件下，即使在社群规模不平衡或度数异质的情况下，也能提供精确恢复的理论保证。该方法对度数修正的随机共块模型也有效，通过算法的行归一化版本保持了其恢复保证。实验结果证实了理论发现。
-
新理论为量化矩阵乘法误差提供下界
研究人员开发了一个新的理论框架，以最小化量化矩阵乘法的误差。这项发表在arXiv上的研究引入了抖动标量量化的核范数下界，提供了一种优化保乘积变换的方法。该方法旨在通过调整因子范围和网格步长来减少量化误差，而不会改变最终的矩阵乘积。该论文表明，特定的构造，例如与Hadamard矩阵或离散余弦变换对齐的构造，可以达到或接近此下界，为高效矩阵运算提供了实际意义。
-
新研究探讨神经网络泛化理论极限 · 4篇论文
四篇新研究论文深入探讨了神经网络泛化的理论基础。其中一篇论文建立了可证明的组合泛化必要且充分的条件，侧重于结构对齐和无歧义的最小化表示，并在Lean 4中进行了验证。另一篇论文分析了带权重衰减的梯度下降下的泛化动力学，分解了总体误差并界定了预测变化。第三篇论文推导了泛化差距的微分方程，适用于深度网络和光滑损失函数，并在数值实验中显示了其准确性。最后一篇论文引入了一个“规则与事实”模型，用于表征神经网络如何同时学习底层规则和记忆特定例外…
-
新方法无需微调即可纠正LLM对齐溢出
研究人员开发了一种名为“溢出感知多值引导”（Spillover-Aware Multi-Value Steering）的新方法，以解决控制大型语言模型（LLM）行为的局限性。现有技术一次只能引导一个概念，在尝试同时使LLM与多个利益相关者的价值观保持一致时，会导致意想不到的后果。这种新方法通过分析引导方向的几何纠缠，识别并纠正“溢出”（即为一个值设计的效应干扰了其他值）现象。该系统能够自动发现价值维度、提取方向、诊断纠缠并应用纠正措施…
-
新的COEC框架提高了LLM剪枝的准确性
研究人员开发了一个名为COEC（Calibrated Orthogonal-Equivalence Compensation）的新的无训练框架，旨在减轻结构化剪枝后大型语言模型（LLMs）的准确性下降问题。COEC采用交替的左右正交旋转来处理保留的权重，在缩减的Stiefel流形上进行优化，并使用广义交叉验证进行正则化。在Llama-3、Llama-3.1和Qwen2.5模型上的实验表明，与现有的补偿方法相比，COEC在困惑度和零样本…
-
FraQ方法通过高效重压缩改进了用于LLM的联邦LoRA
研究人员推出了一种名为FraQ的新方法，用于大型语言模型联邦低秩自适应（LoRA）的高效坐标空间重压缩。该方法通过重压缩聚合后的因子来解决联邦LoRA中固有的聚合不匹配问题。FraQ通过将堆叠的因子分解为正交基和紧凑的坐标矩阵来实现这一点，然后从Gram矩阵中恢复奇异谱。实验表明，FraQ在保持与未压缩基线相当的准确性的同时，显著降低了下行通信和服务器端重压缩的开销。
-
新的SAKE方法提高了文本扩散模型的多样性
研究人员开发了一种新的无需训练的引导方法SAKE（Semantic-Aware Kernel Entropy），以提高文本扩散模型的多样性。该方法利用Gram矩阵上的Rényi熵来捕捉语义交互和标记位置，动态调整采样分布。实验表明，SAKE在保真度和多样性之间取得了更好的平衡，与现有方法相比，在代码和数学生成等推理任务上表现更好。
-
新研究探讨带偏置项的线性分类器中的良性过拟合
研究人员 Yuta Kondo 和 Hashimoto 等人扩展了对线性回归模型中良性过拟合的分析。他们的工作现在包括带偏置项的分类器，这是先前类似研究中排除的一个特征。发现添加截距项会扰乱噪声的格拉姆矩阵，引入影响泛化能力的新约束。这些约束的影响因噪声的协方差而异，其中标签噪声的影响最强。
-
IBM 硬件上量子核几何存活率测试
研究人员在 IBM 量子硬件上研究了四量子比特量子核内几何信息的存活情况。该研究聚焦于一种特定的冻结 ZZ 特征映射核，并分析了其在三种执行配置下的性能：基线、动力学解耦和门旋转。结果表明，虽然格拉姆矩阵在执行后普遍存活并能在很大程度上保留状态向量几何，但门旋转被证明是最忠实的方法。然而，最忠实配置与目标标签的对齐度最低，这表明在当前的量子机器学习研究中，实现保真度与任务相关性之间存在脱节。
-
新的扩散重建方法提高了数字乳腺断层合成的准确性
研究人员开发了一种新颖的方法，通过强制精确数据一致性和校准不确定性来重建有限角度数字乳腺断层合成（DBT）中的图像。该方法用精确的欧几里得投影取代了标准的扩散采样器步骤，显著加快了过程并使数据残差达到双精度下限。该方法在不牺牲深度分辨率的情况下提高了图像保真度，并将集合散布校准到可靠的误差尺度，优于纯先验方法。这是有限角度DBT首次实现数据一致、不确定性校准的学习重建。
-
新基准显示自监督视觉模型模仿人类物体分组
研究人员开发了一个新的基准来评估自监督视觉模型在多大程度上与人类物体感知相符。这项研究涉及超过1000次人类试验，发现使用DINO自监督目标训练的基于Transformer的模型在预测人类判断方面表现出最强的性能。还提出了一种新颖的度量方法来量化模型表示的物体中心成分，表明更具物体中心性的结构与人类分割行为的更准确预测相关。
-
新方法优化高斯过程回归的量子核估计
研究人员开发了一种新颖的方法，用于优化高斯过程回归的量子核估计中的采样分配。该方法旨在通过根据核条目对下游任务的敏感性来智能地分配采样工作，从而减少实现目标精度所需的计算预算。所提出的方法包含一个统一覆盖底线以减轻敏感性估计中的噪声，在各种基准测试和不同的量子核上均显示出测试均方根误差（RMSE）的显著改进。
-
使用费曼图计算有限宽度神经网络核校正
研究人员开发了一种新颖的方法，使用费曼图来计算神经网络切线核（NTKs）的有限宽度校正。这种方法简化了代数运算，并实现了层级递归关系，用于预测前导阶的训练动态。该框架已被证明可以扩展深度网络的稳定性结果，并证实对于像ReLU这样的尺度不变非线性函数，在Gram矩阵对角线上不存在有限宽度校正。数值实现表明，这些校正与宽度大于约20的采样神经网络统计数据一致。
-
新框架使用费舍尔信息分析AI医学图像分类器敏感性
研究人员引入了一个新的框架，使用输入相关费舍尔信息矩阵（iFIM）来分析医学图像分类器的局部敏感性。该方法描述了分类器的预测如何随着输入的微小扰动而变化。通过采用Gram矩阵的表述方式，该框架避免了计算完整的费舍尔矩阵，而是专注于主要的iFIM特征空间，以识别高敏感性分量。这些分量提供了局部预测敏感性的内在描述，是对现有基于归因的可解释性工具的补充。
-
PhysGuard框架改进神经算子从仿真到现实的适配
研究人员开发了PhysGuard，一个旨在改进神经算子从仿真到现实适配的新框架。该方法利用仿真数据中的Fisher信息矩阵，在微调过程中识别并保护物理关键参数方向。PhysGuard旨在防止在标准微调过程中可能发生的、尤其是在显著的领域偏移下，基本物理表示的退化。实验表明，与传统的微调方法相比，PhysGuard可将低频误差最多降低32%，同时保持了适应性。
-
CLARITree算法提升回归树的效率和准确性
研究人员开发了CLARITree，这是一种新颖的算法，旨在比现有方法更高效、更准确地构建可解释的分段线性回归树。这种新方法结合了前瞻搜索策略和Gramian矩阵的Cholesky更新，在计算速度、预测能力和模型稀疏性之间取得了良好的平衡。与当前回归分析中的最先进技术相比，CLARITree展示了显著的可扩展性改进。