SE(3)-Transformers: 3D Roto-Translation Equivariant Attention Networks
PulseAugur coverage of SE(3)-Transformers: 3D Roto-Translation Equivariant Attention Networks — every cluster mentioning SE(3)-Transformers: 3D Roto-Translation Equivariant Attention Networks across labs, papers, and developer communities, ranked by signal.
10 天有情绪数据
-
Panini语法可实现具有可解释结构的机器人设计
研究人员开发了Panini,一种新颖的基于语法的机器人设计生成方法,可在可解释性与几何可行性之间取得平衡。该系统使用类型化产生式语法和几何实现映射,将符号表示转换为连续的3D变换。虽然在原始性能上并未超越通用优化器,但Panini确保了生成的设计在构造上是合法的,并表现出改进的协调肢体放置,从而提高了几何可行性编辑的百分比。
-
LightSEAD:轻量级关键点检测器以最少参数实现高性能
研究人员开发了 LightSEAD,这是一种新的轻量级关键点检测器,它在不牺牲性能的情况下优先考虑效率。该模型仅包含六个卷积层和适量的参数,在 HPatches、KITTI 06 和 4Seasons 等各种基准测试中取得了有竞争力的结果。LightSEAD 在 MegaDepth-1500 数据集上的相对姿态估计等下游任务中也显示出实用性,并且针对 NVIDIA RTX 4090 和 Jetson Orin Nano Super 等…
-
TCP4D模型统一机器人操作跟踪与生成
研究人员开发了TCP4D,一个专为机器人操作设计的创新模型,它能够从单目RGB视频中统一跟踪和生成工具中心点(TCP)姿态。该模型使用共享的4D场景表示,可以恢复SE(3)中的度量TCP姿态和夹爪状态,以及场景几何和相机参数。TCP4D还具有一个跨体增强管线,可以将现有机器人的演示转换为不同机器人的新演示,而无需源机器人状态,从而显著提高在真实世界任务中的性能。
-
新的OPAL-Bench基准提供了对晶体结构预测方法的全面评估
研究人员推出了OPAL-Bench,这是一个旨在定量评估晶体结构预测(CSP)方法的新基准。该基准通过纳入无阈值的几何和物理距离指标,并考虑多晶型现象,解决了现有框架的局限性。研究发现,没有一种方法在所有指标上都表现出色,几何性能与物理合理性之间没有强相关性。此外,该论文还介绍了OPAL-CSP,这是一个SE(3)-等变流匹配基线,在几何和物理指标上表现出竞争力。
-
BrickFlow 使用乐高积木组件进行图像三维物体重建
研究人员开发了 BrickFlow,一个利用乐高积木组件作为指导原则,从图像重建三维对象的新颖系统。该系统采用了一个条件化 SE(3) 流模型,最初在程序生成的乐高结构上进行训练,然后进行图像条件化微调。为了确保物理准确性和连通性,BrickFlow 包含了一个解析连通性场引导机制,将预测拉向有效的组件组合。
-
用于抗体表位预测的新型局部帧旋转注意力方法
研究人员推出了一种名为局部帧旋转注意力(LFRA)的新型抗体特异性表位预测机制。该方法将三维残基几何结构直接纳入注意力机制,超越了传统的一维序列顺序。LFRA在局部帧内表达残基间的位移,确保了对SE(3)变换的不变性并保留了连续的方向几何结构。相关代码和数据集已公开提供。
-
新的SO(3)-等变图神经网络处理CAD边界表示
研究人员开发了SO3brep,一种新颖的SO(3)-等变图神经网络,用于处理CAD边界表示(B-reps)。该新模型通过在消息传递过程中保留面之间的相对方向信息,解决了从非规范方向存储的CAD模型中学习的挑战。与现有的B-rep和等变点云网络相比,SO3brep在多个基准测试中表现出更高的准确性和参数效率,尤其是在标记数据有限的情况下,这在工业CAD应用中很常见。
-
CalibSwitch框架增强了用于多模态感知的相机-激光雷达传感器校准
研究人员开发了CalibSwitch,一个旨在提高多模态感知系统中相机-激光雷达传感器校准的准确性和可靠性的新框架。该系统将过程分为绝对外参恢复和选择性状态维护,利用跨模态绝对外参生成器(CAEG)和选择性循环校准策略(SRCP)。CalibSwitch在nuScenes数据集上表现强劲,实现了较低的平均平移和旋转误差,并且与传统的门控方法相比,在多模态检测器性能方面显示出显著的改进。
-
旋转等变深度学习改进大脑年龄预测
研究人员开发了一个新颖的框架,利用捕捉白质纤维方向分布的弥散 MRI 数据来预测大脑年龄。该方法采用了一种旋转等变卷积神经网络 (CNN),该网络处理纤维方向分布的球谐系数,保留其几何特性。在一项对 692 名参与者的研究中,该方法与传统的弥散张量成像 (DTI) 模型和传统 CNN 相比,表现更优越,平均绝对误差为 3.54 岁,Pearson 相关系数为 0.958。该研究还确定了对年龄预测最敏感的特定白质束,提供了解剖学上的可解释性。
-
RADIANT架构提供更快、以对象为中心的全局光照渲染
一种名为RADIANT的新型以对象为中心的架构已被开发用于前馈全局光照,解决了先前基于Transformer的渲染器的二次方缩放问题。RADIANT用固定数量的token表示每个对象,将注意力长度与网格分辨率解耦,从而实现更快的渲染。与RenderFormer和RenderFormer-V2等现有方法相比,这种方法在训练步数显著减少的情况下实现了更高的PSNR分数,同时还展示了复杂场景的高效渲染。
-
新的IsoAct框架增强了AI表示的几何去偏能力
研究人员推出了一种新颖的事后框架IsoAct,旨在对机器学习表示进行去偏,特别是那些存在于非欧几里得流形上的表示。与先前假设欧几里得空间或使用线性干预的方法不同,IsoAct在识别干扰因素和编辑表示方面都融入了几何感知。该框架在切线坐标中使用Fisher判别分析来识别干扰因素,并采用流形原生变换来在校正过程中保持几何完整性。实验表明,IsoAct在保持效用的同时有效降低了干扰因素的可恢复性,并在KLIFS数据集上取得了显著成功。
-
HiP3R 方法增强了长视频的三维重建
研究人员开发了 HiP3R,一种新颖的分层姿态图方法,旨在提高长视频序列三维重建的准确性和一致性。传统方法难以处理处理数千帧的计算需求,导致重建碎片化且坐标系错位。HiP3R 首先优化块级 Sim(3) 图以建立全局布局和尺度,然后精炼各个帧级的 SE(3) 相机估计。这种方法在各种基准测试中均显示出改进的相机轨迹和三维重建质量,适用于基于块和流式处理,无需额外训练。
-
新的REFLEX方法以高保真度生成多样化的RNA集合
研究人员开发了REFLEX,一种新的RNA集合生成方法,能够准确捕捉多样化的构象状态,而不会塌缩为平均结构或漂移到不支持的区域。这种序列条件生成器在SE(3)上使用异方差随机桥接,在训练期间通过实验B-因子进行校准,以调整局部扰动尺度。在推理时,REFLEX仅依赖于输入序列,在多构象RNA基准测试中,在集合覆盖率方面表现出优越的精确率-召回率权衡。
-
新流程从单个视频生成数千个机器人演示
研究人员开发了Real2Sem2Real (R2Sem2R) 这一新颖流程,可将单个RGB视频演示转换为数千个机器人演示。该方法利用DINOv3蒸馏的高斯溅射来跟踪物体的SE(3)姿态,性能优于现有技术。R2Sem2R然后对数字对象“表亲”进行语义对齐,匹配整个对象和功能区域,并将人类抓取映射到可行的机器人抓取。在IsaacSim或MuJoCo中创建的机器人演示可以快速生成,从而能够使用最少的人类输入有效地在各种对象实例上训练视觉-语…
-
VoxProg 引入体素编程以实现3D空间推理
研究人员引入了 VoxProg,一种利用体素编程实现3D空间推理的新方法。该方法使语言模型能够将任务解释转化为在场景表面局部体素视图上运行的可执行程序。通过在规则网格上索引几何体,VoxProg 可以隔离相关区域并计算目标 SE(3) 位姿,通过视觉和数值反馈迭代地改进其代码。该系统在新发布的包含71个任务的 VoxProg-Bench 基准上进行了评估,与现有基线相比表现更优。
-
HiP3R 方法通过分层姿态图改进三维重建
研究人员开发了 HiP3R,一种用于长时程三维重建的新颖方法,解决了将局部视频重建合并为全局一致的相机轨迹和三维几何的挑战。与以往在计算成本或刚性变换方面遇到困难的方法不同,HiP3R 利用分层姿态图。该方法首先优化块级 Sim(3) 图以获得全局布局和尺度,然后无需重新训练即可精炼帧级 SE(3) 相机估计,在多个基准测试中展示了更高的准确性。
-
EMERGE:用于点云生成的新型 SE(3)-不变性扩散模型
研究人员开发了 EMERGE,这是一种用于生成点云的新型基于图的扩散模型。该模型是第一个完全 SE(3)-不变性的模型,这意味着它保留了连续的空间对称性,并避免了传统方法中存在的刚性分辨率依赖性。EMERGE 由于其固有的几何归纳偏置,展示了最先进的生成质量和更快的训练收敛速度。
-
探讨AI规模法则、可扩展系统及AI生成电影制作
一篇发表在arXiv上的技术笔记深入探讨了AI规模法则的基本原理,通过几何和光谱分析解释了模型大小、训练数据和计算资源之间的关系。另外,《麻省理工科技评论》讨论了构建可扩展AI系统的要素,强调了数据、工程、平台和治理,特别是在受监管的环境中。与此同时,一篇中文出版物探讨了爱奇艺与电影制作人鲍德熹合作创建的“AI影院”,旨在通过关注故事叙述和美学质量,将AI融入专业的影视内容创作。
-
新的HydroShear模拟器提高了机器人触觉仿真到现实的迁移能力
研究人员开发了HydroShear,这是一种新颖的水弹性模拟器,旨在提高机器人强化学习中触觉反馈的准确性。该模拟器能够模拟粘滑转换和路径依赖力累积等复杂现象,与现有方法相比,能更真实地表示剪切力。在GelSight Minis上进行测试时,HydroShear能够对四项灵巧任务实现零样本仿真到现实迁移,成功率达到93%,显著优于在触觉图像或替代剪切模拟技术上训练的策略。
-
EMBER框架在无复合物对接的情况下预测TCR-pMHC结合
研究人员开发了EMBER,一种用于预测T细胞受体(TCR)和肽-MHC(pMHC)结合的新型框架。与需要对接复合物的传统方法不同,EMBER分析独立折叠的TCR和pMHC结构,将它们编码为SE(3)-不变的残基图。这种方法绕过了复合物对接中固有的放置误差,从而提高了各种折叠工具的准确性和稳定性。与基于复合物的预测器相比,EMBER在预处理单体折叠方面所需的操作更少,因此具有计算优势。