PulseAugur
中
实时 18:23:45
English(EN) sectorllm: llama2 inference in < 1500 bytes of x86 assembly https://github.com/rdmsr/sectorllm # Assembly # AI # Programming

Llama2 推理引擎在不到 1500 字节的 x86 汇编中运行

作者 PulseAugur 编辑部 · [3 个来源] ·

一位开发者创建了 sectorllm，一个完全在 1369 字节的 x86 汇编代码中运行的 Llama 2 推理引擎。该引擎直接从磁盘的引导扇区启动，加载量化模型，并在任何操作系统初始化之前生成文本。它目前支持在儿童故事上训练的 stories260K 模型，并针对最小尺寸进行了优化，尽管性能和精度是次要于代码技巧的。 AI

影响 展示了极端的模型压缩和高效的推理技术，可能启发边缘 AI 的新方法。

排序理由 这是在高度受限的环境中对现有模型架构的新颖实现，类似于学术研究项目。

在 Mastodon — mastodon.social 阅读 →

AI 生成摘要 · Google Gemini · 来自 3 个来源。 我们如何撰写摘要 →

Llama2 推理引擎在不到 1500 字节的 x86 汇编中运行

报道来源 [3]

  1. Mastodon — sigmoid.social TIER_1 English(EN) · [email protected] ·

    sectorllm: llama2 inference in < 1500 bytes of x86 assembly https:// lobste.rs/s/5ond6x # ai # assembly https:// github.com/rdmsr/sectorllm

    sectorllm: llama2 inference in < 1500 bytes of x86 assembly https:// lobste.rs/s/5ond6x # ai # assembly https:// github.com/rdmsr/sectorllm

    链接 lobste.rs/…/5ond6x github.com/…/sectorllm
  2. Lobsters — AI tag TIER_1 English(EN) · github.com by rdmsr ·

    sectorllm: llama2 inference in < 1500 bytes of x86 assembly

    <p><a href="https://lobste.rs/s/5ond6x/sectorllm_llama2_inference_1500_bytes">Comments</a></p>

  3. Mastodon — mastodon.social TIER_1 English(EN) · [email protected] ·

    sectorllm: llama2 inference in < 1500 bytes of x86 assembly https://github.com/rdmsr/sectorllm # Assembly # AI # Programming

    sectorllm: llama2 inference in < 1500 bytes of x86 assembly https://github.com/rdmsr/sectorllm # Assembly # AI # Programming

    链接 github.com/…/sectorllm

相关实体

相关话题