PulseAugur
中
实时 04:44:46
实体 Palm

Palm

PulseAugur coverage of Palm — every cluster mentioning Palm across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
3
90 天内 13
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 5
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 13 条
  1. TOOL · CL_316273 ·

    专家混合模型:高效大语言模型解析

    本文探讨了专家混合模型(Mixture of Experts, MoE)的概念,这是一种创建计算高效的大语言模型的方法。MoE架构允许模型为每个输入选择性地激活其部分参数,与密集模型相比,显著降低了每个token的计算成本。这种方法,以Google的Switch Transformers等模型为例,并可能被GPT-4等模型采用,使得在参数量达到万亿级别时,无需不成比例地增加计算费用即可进行训练和部署。

  2. RESEARCH · CL_280263 ·

    新算法旨在用更少的模型实现大语言模型的个性化对齐

    研究人员开发了PALM(Portfolio of Aligned LLMs,已对齐大语言模型组合)算法,旨在创建一个精简的大语言模型(LLM)集,能够有效平衡用户偏好中诸如有用性和无害性等相互竞争的目标。该方法使用结构化的权重向量网格和惰性搜索来识别一个小型组合,该组合能近似所有奖励权重下的最优性能,从而实现可扩展的个性化和高效的模型开发。另外一项研究引入了近似帕累托最优(APO)方法,通过对具有兼容更新的用户进行分组并协调相互竞争的…

  3. TOOL · CL_277310 ·

    新研究将模型量化与人工智能中的隐私风险联系起来

    一篇新研究论文探讨了模型量化对模型反演攻击的影响,模型反演攻击旨在重构敏感的训练数据。该研究提出了一种注重隐私的训练后量化方法,该方法在保持模型效用的同时增强了对反演攻击的抵抗力。实验表明,该方法可以在人脸、手掌纹和虹膜识别等各种识别任务上显著降低反演攻击的成功率,同时对准确率的影响极小。

  4. TOOL · CL_268878 ·

    新的PALM方法无需完全重新训练即可适应金融语言模型

    研究人员推出了一种新颖的金融语言模型适应方法PALM,无需完全重新训练即可将其适应特定时间段。该方法通过使用低秩适配器来整合新数据,解决了金融回测中的前视偏差问题,并且优于持续预训练。PALM已在十年的金融新闻和各种PIT模型上得到验证,证明了其更新旧检查点知识的有效性。

  5. RESEARCH · CL_242161 ·

    AI对齐研究探索使用探针训练模型以提高泛化能力

    研究人员正在探索AI对齐的新颖方法,特别是关注“基于探针的训练”。该技术旨在利用AI的内部世界模型,将简单任务的判断泛化到更复杂的任务上。虽然针对探针的梯度下降可以教会模型欺骗它,但针对探针的强化学习(RL)带来了独特的挑战,一些研究表明由于信用分配的复杂性,它可能无效或通过间接方式起作用。未来的研究方向包括使探针适应新技能、重新训练探针以跟上AI概念的演变,以及借鉴人类认知过程以避免AI对齐失败。

  6. COMMENTARY · CL_212296 ·

    星纪时代CEO:世界模型将驱动下一代具身智能

    星纪时代CEO陈建宇提出,具身智能将从视觉-语言-动作(VLA)模型转向世界模型。VLA专注于模仿人类行为,而世界模型旨在理解和预测物理世界的动态,从而实现机器人更强的泛化能力。陈建宇强调,这种由视频预测驱动的方法为机器人应对新任务和与复杂环境互动提供了更坚实的基础,超越了单纯的模仿。

  7. COMMENTARY · CL_213574 ·

    对AI的依赖可能源于现有的社会衰退,而非仅仅是其后果

    Reddit上的r/singularity板块的一篇帖子探讨了这样一个观点:社会和制度的退化可能是AI依赖的先决条件,而非其结果。作者认为,社会认知和制度能力的下降可能会加速并加深我们对AI的依赖,使其更不可逆转。该帖子试图将AI安全研究中关于渐进式权力削弱的观点与现有的关于认知、制度和组织功能障碍的研究联系起来。

  8. COMMENTARY · CL_184306 ·

    Google CEO 概述产品AI整合新阶段

    Google CEO Sundar Pichai 宣布了公司AI发展的下一阶段,强调将AI整合到所有Google产品和服务中。这一新篇章将侧重于利用Google的AI模型,包括Gemini和Palm,来提升Search、YouTube和Google Cloud的用户体验。该公司还通过Google DeepMind及其云平台Vertex AI,展示了其在AI研究方面的进展。

  9. COMMENTARY · CL_182088 ·

    AI项目通过代码图获得“第二记忆”

    本文探讨了AI项目“第二记忆”的概念,重点介绍了Graphify生成的代码图。作者讨论了这种记忆如何映射真实项目中的连接,并将其与GPT-3、Claude和Google的Palm等传统AI模型进行了对比。文章深入探讨了AI通过这种先进的记忆系统对代码和项目产生更细致理解的潜力。

  10. RESEARCH · CL_180730 ·

    AI通过新的推理和对齐框架推动放射学报告生成 · 已追踪4个来源

    研究人员开发了几个新框架,以使用AI改进放射学报告生成。HERO通过将策略优化分解为推理、诊断和证据关联来优化多模态大型语言模型,在MIMIC-CXR和IU-Xray数据集上显示出最先进的临床疗效。PDD-RRG引入了一个后验诊断决策阶段,通过整合潜在冲突的诊断来完善报告,使用贝叶斯后验概率,在不重新训练的情况下增强现有模型。RadPRISM使用模式分层监督来对齐专用视觉子空间内的临床概念,改进了零样本分类和视觉关联。PALM采用病理…

  11. COMMENTARY · CL_168701 ·

    AI实验室的旧模型:发布权重需要什么条件

    r/LocalLLaMA subreddit 上的一场讨论探讨了像OpenAI、Google、Meta和Anthropic这样的主要AI实验室在什么条件下可能会发布其旧的、专有模型的权重。参与者推测,要使这些模型(如GPT-3、Palm以及GPT-4或Gemini的早期版本)公开可用需要什么。对话中提到了将旧模型作为历史文物发布的想法,并引用了Sam Altman关于GPT-4的过往声明。

  12. COMMENTARY · CL_161836 ·

    AI模型学会回答前访问实时信息

    大型语言模型通常根据其训练数据来回答问题,而这些数据是静态的且有知识截止日期。为了克服这一限制,采用了检索增强生成(RAG)等技术,使AI模型能够在生成响应之前访问和整合实时信息。这种方法通过允许AI模型查阅外部知识源来提高AI生成答案的准确性和相关性,类似于WebGPT和Microsoft Bing整合搜索功能。

  13. COMMENTARY · CL_99070 ·

    AMP创始人表示,AI扩展依赖于效率,而非仅仅是更多的GPU

    AMP创始人Anjney Midha认为,AI扩展的争论应侧重于最大化现有GPU的效率,而不是仅仅购买更多GPU。他指出,前沿AI实验室通常在较低的模型浮点运算利用率(MFU)下运行,有些运行的MFU低于10%,远低于GPT-3的21%或PaLM的46%等历史基准。Midha强调,AI开发日益成为一个系统性问题,涉及调度、网络和数据管道,而AMP旨在创建一个计算网格,能够像电网一样高效地分配计算能力。