Benchmark
PulseAugur coverage of Benchmark — every cluster mentioning Benchmark across labs, papers, and developer communities, ranked by signal.
7 天有情绪数据
-
科技投资者Bill Gurley:AI威胁稳定、传统的职业
风险投资家Bill Gurley警告称,那些在大学毕业后追求传统、稳定职业道路的个人,面临被AI自动化的巨大风险。他建议劳动者在职业中培养强烈的目标感,并提高对AI的认识,以保持不可或缺。Gurley认为,AI可以成为一个强大的工具,帮助那些拥抱它而非恐惧它的人提高工作表现。他还批评了当前的大学体系,认为它迫使学生过早专业化,可能阻碍他们找到充满热情且有韧性的职业道路。
-
Chain-of-Thought 先驱 Jason Wei 离职 Meta 加入 AI 数据初创公司 Mercor
“Chain-of-Thought”提示技术的核心人物 Jason Wei 在 Meta 工作一年多后离职,加入数据初创公司 Mercor 担任首席科学家。Wei 此前曾在 Google Brain 和 OpenAI 工作,他认为数据将是人工智能发展的下一个前沿。Mercor 专注于为 AI 模型提供高质量的训练数据和评估服务,最近以 200 亿美元的估值完成了 7.5 亿美元的 D 轮融资,吸引了 Nvidia 和 Salesfor…
-
AI开发者按年龄对记忆进行排名,未能通过基准测试
一位AI开发者尝试按年龄对代理记忆进行排名,但这种方法导致了基准测试失败。开发者发现,较旧但仍然相关的信息的排名低于较新但不太相关的数据。为了解决这个问题,内存服务器已更新,优先考虑显式更正和事实准确性,而不是简单的时戳,确保被取代或事实不正确的记忆被清楚标记但不会丢失。
-
斯坦福大学研究人员公布仅用16个令牌的AI记忆系统 · 跟踪2个来源
斯坦福大学的研究人员创建了一个新颖的AI记忆系统,该系统仅使用极少的16个记忆令牌即可从广泛的对话历史中回忆信息。这项创新显著减少了对文档令牌的需求,最多可达4,212倍,并在涉及512个文档的测试中将处理速度提高了27倍。该系统在大多数基准测试中的表现也优于现有方法。
-
AI基准测试可能误导:理解模型评估中的错误
本文讨论了在评估AI模型时可能被误认为是模型失败的三种错误类型。文章强调了基准测试、标注错误和约定争议等问题可能扭曲性能指标。作者强调了仔细审查评估过程以准确识别模型真实局限性的重要性。
-
AI代理需要强大的评估集来管理前沿模型变更
构建一个强大的评估集对于管理前沿模型的变更至关重要,因为这些模型可能会在不通知的情况下进行更新,从而可能导致代理性能下降。一个有效的评估集不应与公共基准、演示集或非正式的“感觉检查”混淆。相反,它必须包含四种不同的案例类别:黄金路径用于常见任务,已知故障用于防止回归,对抗性案例用于测试漏洞,以及漂移哨兵用于检测代理判断边缘的细微行为变化。
-
风险投资公司 8VC 和 Benchmark 筹集新资金
据报道,包括 8VC 和 Benchmark 在内的多家风险投资公司正在筹集大量新资金,这反映在十月份最新的 SEC 文件中。此举表明风险投资领域持续强劲的投资意愿。
-
法律AI初创公司Legora以88亿美元估值筹集5.5亿美元
总部位于斯德哥尔摩的法律AI初创公司Legora已获得E轮融资5.5亿美元,由Atreides Management领投。此轮融资使公司估值达到88亿美元,并使其总经常性收入(ARR)超过2亿美元。该平台目前已被2400多家律所的超过14万名法律专业人士使用。
-
GALA模型使用几何感知AI进行精确3D物体排列
研究人员开发了GALA,一种专为场景创建中精确3D物体排列设计的新型语言模型。与使用简化边界框的先前方法不同,GALA明确感知点云并理解详细几何以进行准确放置。该模型采用两阶段训练过程和精心策划的数据集,在实验中表现优于现有方法,并通过计划-放置-验证代理管道实现文本驱动的场景生成。
-
调查描绘了人工智能中语码混合语言与母语之间的相互作用
一项新的调查论文探讨了语码混合(CM)语言数据与在母语上训练的模型之间的关系。该研究对数据和模型在这两种设置之间的转移方式进行了分类,发现目前大多数工作都利用母语知识来改进 CM 系统。然而,反向利用 CM 数据来增强母语模型是一个新兴领域。该论文还强调,基于文本和语音的 CM 研究通常使用类似的方法,但仍处于孤立状态,并且母语数据比新颖的架构更有利于改进语音基准。
-
新的SIT-Eval框架揭示了对话式AI中隐藏的故障模式
研究人员推出了一种名为SIT-Eval的新型框架,旨在更严格地评估对话式AI代理。与依赖静态、自然对话的传统基准测试不同,SIT-Eval通过情境规则来规范代理行为。一个LLM-对话者在每一轮模拟特定情境,然后一个独立的LLM-裁判根据该情境的所有适用规则来评估代理的响应。对八个大型语言模型进行的基准测试显示,聚合指标可能会掩盖关键的故障模式,尽管总体得分相似,但模型在遵守规则方面表现出显著差异,尤其是在模糊澄清和苏格拉底式提问方面存在困难。
-
LLM代理通过新的反持久性记忆设计得到改进
研究人员推出了一种名为反持久性(Anti-Persistence)的新型记忆设计,旨在提高LLM代理的自我改进能力。该方法侧重于累积执行轨迹和结果,同时按需重建特定于任务的指导,并在使用后丢弃。这种方法有效地防止了存储的抽象中嵌入的错误传播,这种现象被称为错误复现。在各种基准测试和模型上的评估表明,与其他的记忆设计相比,反持久性能够带来更高的成功率和显著更低的LLM调用成本。
-
Benchmark 合伙人从旧金山讨论投资策略
Benchmark 剩余的合伙人讨论了在竞争激烈的市场中投资策略,强调没有紧迫感并且将继续留在旧金山。尽管基金规模和合伙人构成发生了一些变化,但该公司的核心成员在风险投资方面保持着一致的方法。
-
AI基准测试受批评,AI设计的病毒敲响生物安全警钟
一位计算机科学家呼吁对AI基准测试进行科学性改革,认为当前方法存在缺陷。此外,一位斯坦福大学博士生的生成式AI模型提出了新的病毒结构,引发了重大的生物安全担忧。该集群还涉及与AI在人际关系中的作用相关的Anthropic的立场、特斯拉的“飞行汽车”概念以及AI副业策略等不相关话题。
-
LLM基准测试存在缺陷:作者承认任务不需要完整的文档覆盖
作者开发了一个基准测试,用于检验LLM是否真正需要完整的文档覆盖才能完成复杂的检索任务,还是仅凭上下文窗口就足够了。最初,该基准测试似乎表明需要完整的文档覆盖,但这是由于一种有缺陷的设计,该设计仅测试了文档的前缀。当基准测试得到修正,加入了后缀读取器以及一项需要跨文档部分广泛检索的任务时,它揭示出LLM在先前认为需要完全访问文档的任务上表现出人意料地好,这表明对于某些任务,只需要文档的特定部分。
-
Benchmark 重新考虑风险投资协议以应对人工智能颠覆
据报道,风险投资公司 Benchmark 正在重新考虑其投资于竞争性初创公司的传统方法,因为人工智能取得了快速进展。该公司据说正在探索承认人工智能可能加速创新和颠覆既定市场动态的新策略,这可能会改变其交易结构和投资组合管理方式。
-
TechCrunch Disrupt 2026 将汇聚人工智能、机器人和风险投资领域的领袖
TechCrunch Disrupt 2026 将汇聚各界知名人士,共同探讨未来科技在各个领域的发展。本次活动将邀请人工智能、机器人、交通和风险投资领域的领袖,以及新兴的创始人。关键讨论将包括人工智能的可扩展性、技术与人体的融合,以及人工智能在公共安全领域的未来。
-
Open Quantum Challenge 寻求 GPU 参与者,奖金 2000 美元用于基准测试
Open Quantum Challenge (OQC) 正在寻找参与者使用他们自己的图形处理单元加入一项基准测试竞赛,无需专门的量子硬件。该挑战分为两个赛季,每个赛季提供 1000 美元的奖金。该倡议旨在促进量子计算、AI、软件开发和工程领域的包容性社区。
-
TechCrunch Disrupt 2026 将汇聚人工智能、机器人和风投领域的领袖人物
TechCrunch 的 Disrupt 2026 大会将汇聚众多知名人士,共同探讨科技的未来。演讲嘉宾包括 Rivian 首席执行官 RJ Scaringe 将讨论实体产品的规模化,Cerebras 首席执行官 Andrew Feldman 将探讨 AI 的持续可扩展性,Science Corporation 创始人 Max Hodak 将就人体与科技的互动进行演讲。此外,大会还将邀请 Benchmark 的合伙人讨论风险投资趋势,…
-
先进的大型语言模型在独立渗透测试方面表现不佳,新基准测试揭示了原因
一项最近的基准评估表明,即使是最先进的大型语言模型,目前也无法独立执行渗透测试任务。该研究强调了它们作为独立渗透测试员的能力局限性,表明它们仍然需要人类的监督或协助。