Meta FAIR
PulseAugur coverage of Meta FAIR — every cluster mentioning Meta FAIR across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
Hugging Face Transformers v5.24.0 增加了 Inkling 2、Apertus 1.5、Dory 等模型
Hugging Face Transformers 库已发布 5.24.0 版本,引入了多个新模型。其中包括 Thinking Machines Lab 的 Inkling 2 Mini,一个具有独特循环机制以提高质量的多模态模型;以及 Swiss AI Initiative 的 Apertus 1.5,一个处理文本、图像和音频的模型。此次发布还包括用于音频编码和解码的 WavTokenizer;NVIDIA 的循环语言模型 Dory…
-
递归联合创始人表示,AI生成的算法被视为通往AGI的最快路径
Recursive Superintelligence联合创始人Jeff Clune就AGI的路径发表演讲,强调AI生成的算法是实现AGI的最快途径。他的公司由Google GV和Nvidia等主要投资者资助,专注于AI系统的递归自我改进(RSI)的预训练。Clune强调了AI生成算法的三个关键支柱:自进化架构、自进化学习算法和自动生成的训练环境。他展示了在质量多样性(QD)算法、POET等开放式算法以及能够独立进行研究(包括同行评审…
-
MLLM的视觉编码器可选项,但需要专用的视觉能力
来自Meta FAIR和纽约大学的研究人员对多模态语言模型(MLLMs)如何处理视觉输入进行了广泛研究。他们的研究结果表明,虽然不需要单独的、预训练的视觉编码器,但模型内部专用的视觉能力对于视觉理解至关重要。研究表明,在模型的早期架构中集成仅视觉参数,即使在融合层内,其性能也与传统的预融合编码器相当,并且可以提高效率。
-
Meta FAIR 的 e-means 算法提供 10 倍于 k-means 的聚类速度,且损失更低 · 跟踪 8 个来源
Meta FAIR 推出了 e-means,一种新颖的 k-means 聚类优化过程,其性能显著优于传统的 Lloyd 算法。E-means 利用带有 mini-batch 更新的指数移动平均,在极少量的 epoch 内(1.4-2.6 vs. 25)实现可比或更低的损失,并提供显著的速度提升,在 GPU 上最高可达 10-45 倍。该算法还通过缩放定律自动调整超参数,无需手动调整,使其成为现有 k-means 实现的强大替代品。
-
Byte Language Models Outperform Tokenized Models at Scale
一篇新论文介绍了“字节语言模型”,它们直接将文本作为字节处理,绕过了传统的标记器。虽然最初速度较慢,但这些字节级模型在采用特定技术(如 token-superposition 和 hash embeddings)进行训练时,表现出比子词标记模型更优越的性能和扩展能力。研究表明,更长字节序列带来的计算量增加可能是有益的,并且这些模型可以学会形成自己的文本抽象,甚至在某些下游任务上超越标记模型,并提供更有效的推测性解码。
-
AI需要世界模型来处理真实世界任务,JEPA在超越LLM方面展现出潜力
世界模型领域的领军研究者Pascale Fung在ICML 2026上发表演讲,阐述了世界模型对于在真实世界中运行的AI代理的必要性。她认为,尽管大型语言模型(LLMs)和视觉语言模型(VLMs)可以处理文本和视觉数据,但它们缺乏物理环境所需的因果推理和预测能力。Fung强调了联合嵌入预测架构(JEPA)相对于生成式世界模型的优势,包括更少的参数量、更快的推理速度以及对噪声和环境变化的更强鲁棒性。她的团队的工作,包括V-JEPA和VL…
-
VoiceCraft AI 模型能够使用最少的音频进行声音克隆和语音编辑
VoiceCraft 是由 UT Austin 和 Meta FAIR 的研究人员开发的一种新颖的神经编解码器语言模型,它能够使用最少的参考音频进行高保真声音克隆和语音编辑。该模型已获得超过 8,500 个 GitHub 星标,它采用了一种 Transformer 解码器架构,并结合了因果掩码和延迟堆叠的独特标记重排程序。这种方法允许基于双向上下文的自回归生成,显著优于传统的语音编辑和 TTS 方法。VoiceCraft 还引入了 R…
-
40亿参数模型通过更智能的数据生成超越3970亿参数基线模型
Meta FAIR开发的一种名为Autodata的新方法表明,一个参数量显著更小的40亿模型在特定任务上可以超越一个参数量大得多的3970亿模型。这种改进并非通过架构更改实现,而是通过优化数据生成过程。Autodata使用一个带有多个子代理的协调器代理来创建精确校准目标模型学习能力的训练数据,确保难度平衡,从而促进有效的梯度下降。
-
DDIM创造者宋佳明离开Luma AI
加速图像生成的去噪扩散隐式模型(DDIM)的关键人物宋佳明已离开Luma AI。宋佳明于2023年在NVIDIA任职后加入Luma AI担任首席科学家,他在公司从3D生成转向视频和多模态模型的关键技术转变中发挥了至关重要的作用。他的离职正值Luma AI凭借Dream Machine和Uni-1.1等产品在多模态AI领域取得重大进展之际。
-
Meta FAIR 发布大型无机材料数据集和人工智能模型
Meta FAIR 发布了 Open Materials 2024 (OMat24) 数据集,该数据集包含超过 1.1 亿个无机材料的密度泛函理论计算。此次发布还包括配套的预训练 EquiformerV2 模型,这些模型在 Matbench Discovery 排行榜上取得了最先进的性能。这些模型能够高精度地预测基态稳定性和形成能,旨在加速人工智能驱动的材料发现。
-
Hugging Face推出Hugging Science平台,用于科学研究中的人工智能
Hugging Face推出了Hugging Science,一个致力于人工智能在科学研究领域应用的新平台。该计划旨在整合与各个科学领域相关的开放模型和数据集,简化研究人员的访问。它拥有大量数据,包括基因组学、模拟和医学信息,并为特定的科学问题提供挑战和排行榜。
-
OpenAI 发布开源 Privacy Filter 用于本地 PII 审查
OpenAI 发布了一个名为 Privacy Filter 2026 的开源工具,这是一个拥有 15 亿参数的模型,旨在直接在用户的浏览器中检测和删除个人身份信息(PII)。这种方法允许组织在不将敏感数据传输到外部服务器的情况下匿名化文本,从而增强数据隐私。另外,Meta FAIR 推出了 NeuralSet,一个将各种神经科学数据模式与 AI 模型集成的 Python 包,促进了跨领域研究。
-
Meta FAIR 发布 NeuralSet,连接神经科学数据和人工智能模型
Meta 的基础人工智能研究 (FAIR) 团队推出了 NeuralSet,一个旨在整合神经科学数据与人工智能模型的新 Python 包。该工具能够处理各种神经影像和电生理数据类型,包括 fMRI、M/EEG 和尖峰记录。NeuralSet 还支持来自 HuggingFace 的嵌入,为神经-AI 研究提供更全面的方法。