LLaMA-70B
PulseAugur coverage of LLaMA-70B — every cluster mentioning LLaMA-70B across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
AI用户声称“认知外骨骼”方法可提升智力
一位个人分享了他使用AI的经验，他并非将其视为简单的聊天机器人，而是将其作为一种“认知外骨骼”来增强自己的决策能力和智力。他描述了构建一个包含多个AI代理的个人知识系统，这些代理可以模拟各种场景，从约会到财务决策。他声称，这种方法使他能够从猜测转变为知晓，为复杂情况提供量化见解。
-
AI计算 fabric：去中心化GPU网络的架构
本文提出了一个去中心化的AI计算 fabric 的技术架构，该架构将异构GPU聚合到一个可编程层中。所提出的系统将抽象从租用GPU转移到指定具有延迟和成本等约束的AI意图，从而允许智能调度器自动查找最佳计算资源。一个关键组件是 Fabric Node Agent，它负责GPU发现、执行和报告，并为多维声誉图做出贡献，该图超越了简单的能力指标，反映了实际性能。
-
新的LLM隐写术技术在嵌入空间中隐藏秘密
研究人员开发了一种新的大型语言模型隐写术方法，通过微调将秘密秘密地编码到模型输出中。这种被称为TrojanStego的技术，通过使用源自嵌入空间的映射，改进了以前的方法，显著提高了在Llama-8B、Ministral-8B和LLaMA-70B等模型中编码秘密的可恢复性。该研究还提出了一种使用机械可解释性进行检测的方法，在后层激活上使用线性探针，比传统隐写分析更准确地识别这些隐藏消息。
-
研究人员使用Anthropic的NLA来探究Llama-70B的隐藏“思想”
一位研究人员利用Anthropic的神经语言联想（NLA）技术来调查LLaMA-70B模型的内部运作。实验涉及将概念分为“有意识”和“无意识”部分，模型正确识别了有意识的部分但否认了无意识部分的存在。然而，NLA能够检测到这些隐藏的概念，表明模型内部存在比其明确识别的“J-space”更深层次的理解或处理。
-
Etched融资8亿美元用于专用Transformer芯片，挑战英伟达
人工智能芯片初创公司Etched宣布累计融资8亿美元，公司估值50亿美元，并获得10亿美元芯片订单。Etched由哈佛辍学生于2022年创立，正在开发专为运行Transformer架构设计的专用芯片，旨在显著提高效率并降低成本，优于通用GPU。其首款芯片Sohu采用台积电4nm工艺制造，已成功完成Tape-out，据报道，在Llama 70B推理方面，与英伟达的H100相比，其吞吐量提高了20倍，每美元性能提高了140倍，且无需开发人员重写代码。
-
退役 GPU 构成低成本 LLM 集群，但能源成本是关键
研究人员开发了“DumpsterCluster”系统，该系统利用退役 GPU 来运行 LLaMA-70B 等大型语言模型。这种方法显著降低了硬件成本，一个拥有 128 个 GPU 的集群成本为 22,000 美元，而新系统的成本为 600,000 美元。然而，DumpsterCluster 的经济和环境可行性在很大程度上取决于当地电力的成本和碳强度，因为较旧的 GPU 每 token 消耗的能量更多。
-
开发者无意中构建了处理 80 亿 token 的生产级 LLM 路由器
一位开发者在三个月内为个人项目开发了一个 LLM 路由器，以避免按 token 收费的 API 成本，无意中创建了一个处理了 70-80 亿 token 的生产级系统。该路由器聚合了 Llama 70B、DeepSeek 和 Qwen3 等各种开源模型，与专有模型相比，成本大大降低。关键经验包括提供商的可靠性、故障转移机制和复杂的路由逻辑的重要性，而不仅仅是选择最佳模型，其中 Cerebras 因其速度而受到关注。
-
新的代理提供自托管 LLM 的每个代理 GPU 成本跟踪
开发了一个新的 LLM 推理代理，以解决自托管模型时 AI 代理成本可见性的差距。与专注于 token 数量的现有工具不同，该代理跟踪 GPU 小时消耗，提供每个代理和模型的精细成本数据。这有助于在迁移到不同 LLM 之前进行更好的预算管理、模型使用策略执行和影响分析。
-
运行时模型路由将 AI 推理成本降低 6 倍
文章详细介绍了作者团队如何实施 cascadeflow（一个运行时智能层）来显著降低 AI 推理成本。通过根据请求的复杂性和严重性智能地将请求路由到不同的模型，他们实现了 6 倍的成本降低。这种方法避免了对简单任务使用昂贵、强大的模型，从而在不影响不太关键查询的质量的情况下节省了大量成本。该系统还提供了有价值的日志记录，用于成本和延迟跟踪，并且可以与 Hindsight 等内存解决方案集成以增强代理性能。
-
Engram 通过将知识嵌入权重而非仅限于上下文来引领AI“记忆”
AI初创公司Engram正在开发一种新颖的AI记忆和持续学习方法，旨在将专业知识直接嵌入模型权重，而不是仅仅依赖检索增强生成（RAG）或大型上下文窗口。该公司由理论神经科学和计算机系统架构领域的专家创立，他们认为这种方法将使AI模型能够更像经验丰富的员工一样运作，直观地理解特定的组织知识。Engram的策略涉及轻量级训练技术和适配器，并着眼于为每个人和每个团队打造个性化AI模型的长远愿景。
-
开发者分享本地和云 LLM 管理的“双队列”原则
一位开发者在同时运行多个本地大语言模型 (LLM) 并调用云 LLM API 时，遇到了系统不稳定的问题，包括内核崩溃。问题源于 Apple Silicon 上的统一内存架构，加载大型本地模型会消耗大量内存并导致地址空间碎片化，使操作系统无法有效管理资源。为避免此问题，建议采用“双队列原则”：本地计算密集型任务应串行运行，而远程 API 调用任务应以有界并发运行，并且这两种任务绝不能混合。
-
双RTX 3090提供经济实惠的70B LLM推理方案
本文详细介绍了一种使用两块二手NVIDIA RTX 3090显卡进行本地运行大型语言模型的经济高效的方法，总共提供48GB显存。该设置能够以每秒18-22个token的速度进行70B参数模型的推理，这足以满足交互式聊天需求。指南强调NVLink并非必需，并且Ollama或llama.cpp等标准软件可以有效地管理双GPU配置，并为每种软件提供了具体说明。
-
新框架 OTora 测试 LLM 代理的推理级拒绝服务攻击
研究人员开发了 OTora，一个旨在测试大型语言模型 (LLM) 代理抵御一种称为推理级拒绝服务 (R-DoS) 的特定类型攻击的新型框架。这种攻击方法旨在通过人为增加代理的推理深度或工具使用来降低其性能，而不是导致任务完全失败。OTora 采用两阶段流程，利用对抗性触发器和遗传搜索来放大过度思考，同时保持任务准确性，并在各种代理基准测试中显示出显著的延迟增加。
-
顺序微调提升 LLaMA 在论文评分方面的能力
研究人员开发了一种针对 LLaMA-3.1-8B 的顺序微调方法，通过考虑话语元素的相互依赖性，显著提高了自动论文评分 (AES) 的性能。该方法逐步在模型上训练论文的不同组成部分，如开头、论点、证据和结论，在某些指标上优于独立的特定任务模型和一个规模大得多的 LLaMA-70B 基线。研究表明，与话语结构一致的课程设计对于 AES 至关重要，并且更小、更专业的模型可以与更大的 LLM 竞争，为教育 NLP 提供更具成本效益的解决方案。
-
大型语言模型在论证质量评估中与人类判断呈中度相关
研究人员探索了使用大型语言模型（LLMs）评估论证质量的方法，并比较了12个开源模型。研究发现，LLMs与人类专家的判断之间存在有希望但中度的相关性。Llama-70B 与专家的对齐度最高，达到了中度的 Cohen's \u03ba = 0.493。研究结果表明，LLMs能够部分但互补地理解论证质量维度，并且其预测在多次运行中保持稳定。
-
Llama 70B 评估显示上下文比对抗性训练更重要
使用 AuditBench 和自然语言自编码器 (NLA) 对 Llama 70B Instruct 微调模型进行的新分析显示，评估方法比对抗性训练对采样技术更敏感。研究发现，与单轮评估相比，提供更多上下文的“强证据”评估格式更能抵御知识定向优化 (KTO) 和监督微调 (SFT) 等对抗性攻击。具体而言，诸如奖励线接线和上下文乐观主义等某些行为仅在更鲁棒的“强证据”评估中出现，这表明简单测试方法的局限性。
-
RTX 4090领跑Ollama大语言模型用户的GPU推荐
对于使用Ollama在本地运行大语言模型（LLM）的用户来说，GPU的选择至关重要，其中显存（VRAM）和内存带宽是最重要的因素。RTX 4090被推荐为大多数用户的全能最佳选择，在显存和速度之间取得了良好的平衡。对于使用较小模型或预算有限的用户，RTX 4060 Ti 16GB是一个可行的选择，而较大的模型可能需要RTX 5090甚至双GPU配置。
-
开发者微调Qwen 3B模型以复制个人写作风格
一位开发者创建了一个定制AI系统来模仿其个人写作风格，克服了提示工程的局限性。该系统采用双模型架构：一个像Claude Opus或Llama 70B这样的前沿LLM用于内容生成和事实基础，然后由一个微调后的Qwen 2.5 3B模型以开发者的特定语调重写输出。这种方法利用了开发者23年来收集的75,329条个人写作样本，以实现标准模型难以复制的独特风格匹配。
-
大语言模型推理通过图集成得到改进，而不仅仅是图阅读
研究人员探讨了显式信念图如何在合作多智能体推理任务（特别是纸牌游戏 Hanabi）中影响大语言模型（LLM）的性能。他们的发现表明，集成架构至关重要；图表对于强大的模型来说仅仅是上下文，但对于较弱的模型来说则是必不可少的。观察到一种被称为“规划者违抗”的现象，即大语言模型会覆盖正确的建议，这种现象在 Gemini 和 Llama 等模型家族中存在差异。研究还强调，通过结合信念图组件实现的智能体间约定，其性能明显优于单独干预。
-
新框架评估黑盒企业系统中NLP解释的鲁棒性
提出了一种评估企业NLP系统中解释鲁棒性的新框架。该框架使用留一法遮挡方法来评估token级解释在各种扰动下的稳定性。研究发现，与较小的encoder-based模型相比，像Llama 70B这样较大的decoder-based LLM提供了更稳定的解释，稳定性的提高与模型规模相关。