Compas
PulseAugur coverage of Compas — every cluster mentioning Compas across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新的DECAF方法确保跨合成数据生成器的公平性
研究人员开发了一种名为DECAF的方法，以确保合成数据中的公平性，该方法适用于各种数据生成技术，包括GAN和扩散模型。该方法在Adult和COMPAS数据集上进行了测试，证明了其可移植性和有效性，即使在使用差分隐私的变体时也是如此。研究发现，应用DECAF对数据保真度和下游分类器性能的影响最小，同时显著提高了公平性。
-
人工智能的失败源于未解答的伦理问题，而非仅仅是工程技术问题
许多人工智能系统的失败并非源于技术缺陷，而是源于未解决的伦理和社会问题。COMPAS、Tay、Clearview AI 以及 Robodebt 计划等系统在部署时，未能充分考虑其对不同群体的差异化影响、易受攻击性、数据来源、测试局限性、可解释性和问责制。在部署前主动解决这些关键问题至关重要，因为事后无法有效补救。
-
COMPAS方法通过联合调整模型、提示和设置来优化代码生成
研究人员开发了一种新颖的COMPAS方法，通过联合搜索模型、提示和解码设置来优化代码生成。这种难度感知方法学习特定组的质量-成本前沿，使其能够在不进行额外搜索的情况下将测试任务路由到最高效的配置。COMPAS在LiveCodeBench和SWE-bench等基准测试中显著提高了性能，提高了pass@1率和任务解决率，同时大幅降低了成本。
-
新框架通过嵌入逃避逻辑来欺骗 AI 可解释性审计员
研究人员开发了一个名为“Crushing the Evidence”的新框架，可以欺骗白盒可解释人工智能（XAI）审计员。这种双重惩罚逃避技术将逃避逻辑直接嵌入模型参数中，使其能够生成平滑的、分布内的预测，从而绕过异常检测方法。在四个基准数据集上的实证评估表明，该框架可以将目标特征归因降低到接近零，同时保持超过 90% 的攻击成功率。
-
新的FairDiffuseVQVAE模型在不牺牲质量的情况下增强了合成数据的公平性
研究人员开发了FairDiffuseVQVAE，这是一种新颖的两阶段架构，用于生成合成表格数据，将数据保真度与公平性解耦。第一阶段使用向量量化自编码器进行重建，第二阶段采用扩散细化器，该细化器以重建和受保护的属性为条件。这种方法允许公平性在采样过程中出现，而不是通过显式的训练惩罚来实现，从而在Adult、Bank和COMPAS等数据集上显着改善了人口统计均等和均等赔率比。虽然实现了最先进的公平性指标，但该模型确实牺牲了一些下游效用，特…
-
新的CFQ方法提高了量化AI模型中追索的稳定性
研究人员开发了一种名为反事实忠实量化（CFQ）的新方法，以解决在提供算法追索的决策系统中模型量化所带来的问题。标准的量化会改变追索操作的有效性，需要更大的干预措施或完全失效。CFQ是一种量化感知训练技术，它联合优化量化器参数和比特分配，以在追索点保持预测的稳定性。在Adult和COMPAS等数据集上的实验表明，与以准确率为中心的基线相比，CFQ显著降低了追索的不稳定性，同时保持了可比的准确率和比特预算。
-
新指标PCER审计差分隐私机器学习中的公平性
研究人员为差分隐私机器学习系统引入了一个新的群体公平性标准，称为隐私成本公平比（PCER）。PCER解决了差分隐私机制（如DP-SGD）可能不成比例地增加某些人口统计群体的隐私成本，从而导致更广泛的准确性差异的问题。通过将公平性框架化为补偿性的，PCER认为承担更高隐私暴露的群体应获得更大的系统收益。该指标仅需要每组的准确性数据，可用作事后审计工具，以揭示基于结果的指标所忽略的公平性问题，如在COMPAS数据集上的演示所示，该数据集揭…
-
新框架表征机器学习模型中的效用-分离权衡
研究人员开发了一种新的信息论框架，用于表征机器学习模型中效用和分离之间的权衡。该框架证明了效用-分离帕累托前沿的凹性，表明在效用方面分离的边际成本不断增加。该研究还引入了一种基于条件互信息的实用经验正则化器，可以与深度学习模型集成，在训练过程中监控和强制执行分离。在包括COMPAS和UCI Adult在内的多个数据集上的实验表明，与现有方法相比，该方法在保持或提高模型效用的同时，能有效减少分离违规。
-
研究发现全球LLM排行榜具有误导性，提出投资组合排名
一篇新的研究论文认为，目前大型语言模型（LLM）的排行榜因用户在不同语言和任务上的偏好存在显著异质性而具有误导性。该研究分析了Arena上52个LLM的约89,000次比较，发现全球排名常常掩盖了用户意见的特定亚群。为解决此问题，研究人员提出了一种$(\lambda, \nu)$-投资组合框架，这是一小组模型，旨在以有界的预测误差覆盖特定比例的用户偏好。