PulseAugur
中
实时 14:42:32
English(EN) Open Weights Aren't Open Source: Aether-7B-5Attn, a From-Scratch Fully-Open Foundation Model (Apache-2.0)

VIDRAFT发布完全开源的Aether-7B-5Attn模型

作者 PulseAugur 编辑部 · [1 个来源] ·

VIDRAFT发布了Aether-7B-5Attn，一个完全开源的Apache 2.0许可基础模型。与许多仅提供权重的“开放”模型不同，Aether-7B-5Attn包含了其架构、训练数据配方、代码、超参数和日志，实现了完全可复现性。该模型在其49层中采用了一种新颖的异构注意力机制，以拉丁方阵排列，以控制深度偏差。一个关键的操作注意事项是，推理必须以批处理大小1进行，以避免由于特定的注意力分支未处理填充掩码而导致的输出损坏。 AI

影响 为本地和主权AI开发提供完全可复现的模型，无需供应商依赖即可进行验证和重建。

排序理由 发布了一个新的开源基础模型，并附有可复现的训练细节。[lever_c_research降级：ic=1 ai=1.0]

在 dev.to — LLM tag 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

VIDRAFT发布完全开源的Aether-7B-5Attn模型

报道来源 [1]

  1. dev.to — LLM tag TIER_1 English(EN) · AI OpenFree ·

    开放权重并非开源：Aether-7B-5Attn，一个从零开始的完全开放的基础模型 (Apache-2.0)

    <h1> A from-scratch, fully-open foundation model (Apache-2.0): Aether-7B-5Attn </h1> <p>Most "open" LLMs ship one thing: a weights file. That's the <strong>compiled binary</strong> of an LLM. The training data, the training code, the hyperparameters, the logs — all closed. By the…

相关实体

相关话题