实体 sectorllm

sectorllm

PulseAugur coverage of sectorllm — every cluster mentioning sectorllm across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

最近 · 第 1/1 页 · 共 1 条

RESEARCH · CL_15151 · May 5 · 00:23

Llama2 推理引擎在不到 1500 字节的 x86 汇编中运行

一位开发者创建了 sectorllm，一个完全在 1369 字节的 x86 汇编代码中运行的 Llama 2 推理引擎。该引擎直接从磁盘的引导扇区启动，加载量化模型，并在任何操作系统初始化之前生成文本。它目前支持在儿童故事上训练的 stories260K 模型，并针对最小尺寸进行了优化，尽管性能和精度是次要于代码技巧的。