实体
DBRX
DBRX
PulseAugur coverage of DBRX — every cluster mentioning DBRX across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 1
层级分布 · 90 天
主题
关系
最近 · 第 1/1 页 · 共 3 条
-
专家混合：内存权衡下的性能提升
专家混合（MoE）模型通过仅激活其参数的子集，提供了一种以较低的每token计算成本实现高性能的方法。虽然像Mixtral 8x7B、DeepSeek-MoE和Qwen2.5-MoE这样的模型拥有庞大的总参数量，但它们仅利用其中一小部分来处理每个token。这种架构差异意味着MoE模型需要大量内存来存储所有参数，但在加载后可以节省计算资源，与密集模型相比，在内存和计算效率之间进行了权衡。
-
Mac Studio 可在本地运行 100B+ LLM，尽管存在 DRAM 短缺
得益于其统一内存架构，现在可以在高端消费级硬件（如 Mac Studio）上本地运行拥有超过 1000 亿参数的大型语言模型。这种方法避免了依赖较慢系统 RAM 的纯 GPU 设置中出现的性能瓶颈。然而，全球 DRAM 短缺影响了具有足够内存的 Mac Studio 配置的可用性，使得购买能够处理最大模型的型号变得困难。
-
Databricks 因作者起诉其 LLM 训练数据而面临“巨额”版权赔偿
美国法官已允许针对 Databricks 的集体诉讼继续进行，该诉讼指控其 DBRX 大型语言模型使用了盗版的受版权保护的书籍进行训练。作者声称 Databricks 收购了 MosaicLM，而 MosaicLM 使用了包含约 196,000 种图书（包括他们的作品）的 RedPajama 数据集。Databricks 辩称作者无法证明 DBRX 是使用该特定数据训练的，但法官要求提供更多信息以确定是否发生了版权侵权。