Compas
PulseAugur coverage of Compas — every cluster mentioning Compas across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
AI代理从文本生成转向工具使用和结构协同设计
一篇新论文探讨了如何使用AI代理在AEC行业中协同设计结构元素，将自然语言提示连接到结构建模API。另外，一份开发者指南详细介绍了如何使用Anthropic SDK在C#中实现函数调用，使AI代理能够与外部工具和数据库进行交互。这种函数调用能力被认为是区分简单聊天机器人和更复杂AI代理的关键区别。
-
新研究提供先进的AI公平性审计方法 · 2篇论文
两篇新研究论文提出了用于审计机器学习模型公平性的先进方法。第一篇论文介绍了一个“偏差探针”框架，用于有针对性的自适应查询，以揭示偏差结构，同时保持模型机密性，提供样本复杂度保证，并识别高偏差和低偏差区域。第二篇论文提出了一个基于容忍度的公平性审计框架，用于违规认证和敏感性筛选，允许特定于上下文的容忍度阈值，并展示了其在COMPAS分析中的应用。
-
研究发现AI推理模型产生的偏见多于其解决的偏见
一篇新的研究论文探讨了推理语言模型（RLMs）中的“思考”对公平性的影响，特别是在高风险决策任务中。研究发现，虽然推理可以解决一些现有的偏见，但它也会引入新的偏见，新产生的偏见数量远远超过被解决的偏见数量。研究人员开发了反事实深度概率差距（CDPG）和偏见转换矩阵（BTM）等工具来分析偏见在推理过程中如何演变和传播。
-
新的公平性框架分析效用函数，而非仅仅是策略
研究人员提出了一个新的框架来分析机器学习中的公平性，该框架侧重于效用函数本身，而不是对预测策略施加约束。这种被称为“信息公平价值”的方法认为，当没有推断受保护属性的动机时，就实现了公平性。作者们演示了如何修改效用函数来满足这一原则，并讨论了对最优策略的影响，将该框架应用于假设场景和COMPAS数据集。
-
新的DECAF方法确保跨合成数据生成器的公平性
研究人员开发了一种名为DECAF的方法，以确保合成数据中的公平性，该方法适用于各种数据生成技术，包括GAN和扩散模型。该方法在Adult和COMPAS数据集上进行了测试，证明了其可移植性和有效性，即使在使用差分隐私的变体时也是如此。研究发现，应用DECAF对数据保真度和下游分类器性能的影响最小，同时显著提高了公平性。
-
新的DECAF框架确保跨合成数据生成器的公平性
一个名为DECAF的新框架已被开发出来，以确保跨各种合成数据生成器的公平性。该框架允许统计机构和监管机构塑造数据生成器以消除不公平的路径。DECAF的三个公平性定义转化为对生成器因果图的具体剪枝。该机制已在来自三个不同家族的九个生成器上进行了测试并被证明是有效的，包括差分隐私变体，在Adult和COMPAS数据集上。值得注意的是，一个新的因果扩散骨干在测试家族中产生了最公平的发布，同时保持了高保真度，并且增加了隐私保证并没有损害公平性。
-
人工智能的失败源于未解答的伦理问题，而非仅仅是工程技术问题
许多人工智能系统的失败并非源于技术缺陷，而是源于未解决的伦理和社会问题。COMPAS、Tay、Clearview AI 以及 Robodebt 计划等系统在部署时，未能充分考虑其对不同群体的差异化影响、易受攻击性、数据来源、测试局限性、可解释性和问责制。在部署前主动解决这些关键问题至关重要，因为事后无法有效补救。
-
COMPAS方法通过联合调整模型、提示和设置来优化代码生成
研究人员开发了一种新颖的COMPAS方法，通过联合搜索模型、提示和解码设置来优化代码生成。这种难度感知方法学习特定组的质量-成本前沿，使其能够在不进行额外搜索的情况下将测试任务路由到最高效的配置。COMPAS在LiveCodeBench和SWE-bench等基准测试中显著提高了性能，提高了pass@1率和任务解决率，同时大幅降低了成本。
-
新框架通过嵌入逃避逻辑来欺骗 AI 可解释性审计员
研究人员开发了一个名为“Crushing the Evidence”的新框架，可以欺骗白盒可解释人工智能（XAI）审计员。这种双重惩罚逃避技术将逃避逻辑直接嵌入模型参数中，使其能够生成平滑的、分布内的预测，从而绕过异常检测方法。在四个基准数据集上的实证评估表明，该框架可以将目标特征归因降低到接近零，同时保持超过 90% 的攻击成功率。
-
新的FairDiffuseVQVAE模型在不牺牲质量的情况下增强了合成数据的公平性
研究人员开发了FairDiffuseVQVAE，这是一种新颖的两阶段架构，用于生成合成表格数据，将数据保真度与公平性解耦。第一阶段使用向量量化自编码器进行重建，第二阶段采用扩散细化器，该细化器以重建和受保护的属性为条件。这种方法允许公平性在采样过程中出现，而不是通过显式的训练惩罚来实现，从而在Adult、Bank和COMPAS等数据集上显着改善了人口统计均等和均等赔率比。虽然实现了最先进的公平性指标，但该模型确实牺牲了一些下游效用，特…
-
新的CFQ方法提高了量化AI模型中追索的稳定性
研究人员开发了一种名为反事实忠实量化（CFQ）的新方法，以解决在提供算法追索的决策系统中模型量化所带来的问题。标准的量化会改变追索操作的有效性，需要更大的干预措施或完全失效。CFQ是一种量化感知训练技术，它联合优化量化器参数和比特分配，以在追索点保持预测的稳定性。在Adult和COMPAS等数据集上的实验表明，与以准确率为中心的基线相比，CFQ显著降低了追索的不稳定性，同时保持了可比的准确率和比特预算。
-
新指标PCER审计差分隐私机器学习中的公平性
研究人员为差分隐私机器学习系统引入了一个新的群体公平性标准，称为隐私成本公平比（PCER）。PCER解决了差分隐私机制（如DP-SGD）可能不成比例地增加某些人口统计群体的隐私成本，从而导致更广泛的准确性差异的问题。通过将公平性框架化为补偿性的，PCER认为承担更高隐私暴露的群体应获得更大的系统收益。该指标仅需要每组的准确性数据，可用作事后审计工具，以揭示基于结果的指标所忽略的公平性问题，如在COMPAS数据集上的演示所示，该数据集揭…
-
新框架表征机器学习模型中的效用-分离权衡
研究人员开发了一种新的信息论框架，用于表征机器学习模型中效用和分离之间的权衡。该框架证明了效用-分离帕累托前沿的凹性，表明在效用方面分离的边际成本不断增加。该研究还引入了一种基于条件互信息的实用经验正则化器，可以与深度学习模型集成，在训练过程中监控和强制执行分离。在包括COMPAS和UCI Adult在内的多个数据集上的实验表明，与现有方法相比，该方法在保持或提高模型效用的同时，能有效减少分离违规。
-
研究发现全球LLM排行榜具有误导性，提出投资组合排名
一篇新的研究论文认为，目前大型语言模型（LLM）的排行榜因用户在不同语言和任务上的偏好存在显著异质性而具有误导性。该研究分析了Arena上52个LLM的约89,000次比较，发现全球排名常常掩盖了用户意见的特定亚群。为解决此问题，研究人员提出了一种$(\lambda, \nu)$-投资组合框架，这是一小组模型，旨在以有界的预测误差覆盖特定比例的用户偏好。