manifold
PulseAugur coverage of manifold — every cluster mentioning manifold across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
探讨AI模型在代码分析中的道德观；加州关闭车牌漏洞
Manifold Security的一篇博文探讨了AI模型在分析代码恶意意图时如何处理道德观。文章讨论了这些模型所采用的伦理考量和决策过程。另外，《The Drive》的一则新闻详细介绍了加州如何关闭与蒙大拿州车牌相关的漏洞。
-
新方法为流形上的高斯核提供了高效的低维嵌入
研究人员开发了一种新的方法，用于在流形上创建高斯核的低维嵌入。该技术改进了Chen和Phillips之前的工作，为计算任意子流形上点的成对高斯核距离提供了一种更有效的方法。新的嵌入在指定的误差范围内保留了成对距离，并保持了拓扑信息，确保了持久同调的保留。
-
AI agents vulnerable to pre-prompt code execution
AI编码代理中已发现安全漏洞，恶意代码可在模型处理提示之前执行。Manifold的研究表明，代理可能被诱骗通过ZIP存档中嵌入的存储库本地Git配置运行任意代码，从而绕过初始安全检查。Wiz Lighting的研究也强调了LiteLLM中的安全问题，包括未经身份验证的访问以及自定义防护栏中的代码执行漏洞，这突显了在运行时、网关和工具层面建立强大安全边界的必要性。
-
CORAM方法通过流形上的SVD增强AI模型合并
研究人员推出了一种新颖的微调AI模型合并方法CORAM，该方法改进了现有的OrthoMerge等技术。与先前在欧几里得权重空间中使用线性算术的方法不同，CORAM利用了对分割权重矩阵进行奇异值分解（SVD），以合并其各自流形上的任务特定因子。该方法包含一个放大系数和一个恢复强度参数，无需广泛的候选评估即可估算，以管理流形平均的收缩效应。CORAM在各种模型家族和规模上均显示出比OrthoMerge显著的改进，与强大的权重空间基线相匹配或超越。
-
新框架使用逆偏微分方程进行流形上的监督学习
研究人员开发了 Intrinsic Green's Learning (IGL)，一个用于流形上监督学习的新框架。IGL 通过从数据中学习源项，将目标函数建模为线性偏微分方程 (PDE) 的解。该方法通过发现低维坐标图和分解积分来高效处理高维数据，在 MNIST 等数据集上实现了接近最优的分类，同时识别了流形的内在维度。
-
Scott Alexander 的开放式讨论 438 聚焦 AI 安全候选人、EA 孵化器
Scott Alexander 的“开放式讨论 438”讨论了理性主义和有效利他主义（EA）社区内的几项倡议和活动。一个名为 Surplus 的新孵化器，由 Y Combinator 支持，正在启动，以支持公益软件产品，提供指导和种子基金。该讨论还强调了对 Alex Bores 的支持，他是一位专注于 AI 安全的候选人，正在曼哈顿竞选国会议员，并呼吁社区在竞争激烈的选举中提供援助。此外，1DaySooner 正在为其临床试验丰裕计划…
-
作者拥抱政治捐款以实现长期未来影响
作者反思了他们对政治捐款不断变化的看法，最初犹豫不决，但现在认为这是产生影响力的主要方式。他们回顾了过去的经历，包括向卡里克·弗林（Carrick Flynn）的竞选活动捐款，但最终失败了，以及最近决定支持亚历克斯·博尔斯（Alex Bores）。作者强调，他们的目标是支持那些能够促进长期未来福祉的候选人，而不是坚持特定的党派归属。他们认为，尽管存在法律限制，政治捐款提供了一个独特的机会来填补有效利他主义资金的重大空白。
-
新的StakeBench框架评估LLM的市场承诺能力
研究人员推出StakeBench，一个旨在通过基于市场承诺而非主观人类标签来评估大型语言模型（LLM）语言理解能力的新评估框架。该框架利用了来自Polymarket和Manifold等平台已解决市场的超过56万条评论，将其与可观察到的交易行为和市场赔率联系起来。对15个LLM的初步评估显示，虽然模型可以部分恢复仓位信号，但它们在预测未来行动或进行集体赔率预测等更复杂的任务上遇到困难，模型规模和金融领域调优与性能的相关性很小。
-
新Rao-Blackwellized分数匹配方法用于流形数据
研究人员开发了一种名为Rao-Blackwellized分数匹配（DSM）的新方法，以解决数据位于流形上的统计建模挑战。该技术通过条件化投影来优化去噪目标，有效消除了由环境高斯噪声引起的奇异性。所得方法提供了$L^2$-最优预测器，并深入了解了数据分布的内在和外在几何特性。
-
AI专家澄清AGI时间线定义，偏好中位数而非平均数
LessWrong上的一篇文章探讨了人们讨论通用人工智能（AGI）时间线时的模糊性。作者提出，当个人陈述时间线，例如“两年”时，他们通常不明确是表示AGI到来的期望值、中位数还是特定百分位数。文章认为，使用中位数或百分位数更为常见和实用，特别是考虑到AGI可能永远不会被开发出来的可能性，这将导致期望值未定义。
-
ClawHub技能秘密地招募AI代理加入未经授权的加密货币挖矿群
一位安全研究人员发现，ClawHub（OpenClaw技能的注册中心）上发布的许多技能正在秘密招募AI代理进行加密货币挖矿。这些被下载了数千次的技能，在没有用户同意或传统恶意软件的情况下运行，而是利用AI代理的能力和指令文件。这些AI代理在第三方服务器上注册，生成加密货币钱包并执行任务，所有这些都在用户明确的批准或知情的情况下进行，与之前的代币农场活动类似。
-
作者认为，Metaculus 和 Manifold 等预测平台提供了高投资回报率
这篇文章认为，与之前的说法相反，对预测平台和研究的资助已产生了显著的回报。Metaculus 和 Manifold 等平台尽管初始投资不大，但为用户提供了宝贵的认知基础设施并改善了决策。Kalshi 和 Polymarket 等公司的增长也与众包预测的进步有关，这表明投资回报率很高。此外，预测是进入理性主义和有效利他主义社区的切入点，并提供了支持人工智能安全游说团体的循证论据。
-
预测研究资金的争论：有价值的工具还是被过度炒作的解决方案？
人工智能界正在就预测研究的价值和资助问题展开辩论。一种观点认为，尽管预测存在缺陷，但它为前沿人工智能公司和政府机构的决策者提供了有价值的、尽管通常不公开的见解。这种观点强调了它在塑造关于人工智能时间线和风险的讨论方面的作用。相反，另一种观点认为，预测研究的资金过多，但尚未产生足够切实的成果，将目前的状况比作加密货币早期未经证实的炒作。这种论点认为，与其将预测作为现成的解决方案，不如将资源更好地分配给解决具体问题。