实体
bromine-70
bromine-70
PulseAugur coverage of bromine-70 — every cluster mentioning bromine-70 across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
NVIDIA 70 系列 GPU 因显存停滞受到批评，阻碍 AI 模型使用
Reddit r/LocalLLaMA 版块的用户正在讨论 NVIDIA 70 系列显卡显存容量停滞的问题。尽管像 4070、5070 及其 Super 变体等几代产品的核心性能有所提升，但显存仍保持在 12GB，与十年前 1070 提供的 8GB 相比仅略有增加。这一限制阻碍了这些显卡运行本地 AI 模型的潜力，引发了关于 NVIDIA 可能故意限制显存以鼓励购买更昂贵、显存更大的显卡用于 AI 应用的猜测。
-
AirLLM 通过逐层推理使 70B 模型在 4GB GPU 上运行 · 跟踪 8 个来源
开源项目 AirLLM 已获得显著关注，在 GitHub 上获得了超过 27,000 颗星。其核心创新在于允许大型语言模型（特别是 700 亿参数模型）在单块 4GB GPU 上运行。这是通过一种逐层推理技术实现的，该技术仅将当前活动的层加载到 GPU 内存中，其余部分则驻留在磁盘上。虽然这使得在消费级硬件上运行大型模型成为可能，但其推理速度与传统方法相比会显著变慢。
-
新TR-RAG方法通过教师指导改进跨语言生成
研究人员开发了TR-RAG，一种改进英语证据跨语言检索增强生成（RAG）的新方法。该方法通过将奖励优化与on-policy蒸馏相结合，解决了非英语输出中的语言漂移和不可靠证据使用等问题。TR-RAG利用一个紧凑的学生模型来采样答案，并利用一个更强大、冻结的教师模型来提供前缀式指导，从而在多个基准测试中提高了语言遵循度和证据基础的正确性。