Candle
PulseAugur coverage of Candle — every cluster mentioning Candle across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
Rust LLM 推理引擎探索异构服务的权衡
一位开发者创建了一个名为 mini-vllm-rs 的单节点 LLM 推理引擎，该引擎用 Rust 编写，支持 macOS，并集成了连续批处理和异构 CPU/Metal GPU 执行等功能。该项目探讨了 LLM 服务中的复杂性，包括框架选择和批处理策略如何影响性能，并展示了对基于矩阵形状的自适应内核的需求。开发者还讨论了异构推理中的权衡，将 NVIDIA 的 Vera Rubin/Groq 和 AWS 的 Trainium/Cereb…
-
CANDLE模型推进无创脑源成像
研究人员开发了CANDLE，一种新颖的基于学习的无创脑源成像模型。该模型通过学习特定于受试者的皮层先验来解决电生理源成像（ESI）的病态性质。CANDLE将学习限制在不可观测的源分量上，同时保持几何约束，在模拟数据上优于以前的ESI方法，并推广到诸如颅内刺激定位和致痫灶估计等现实任务。
-
新的阿拉伯语文本去重系统使用CTC提高LLM效率
研究人员开发了CANDLE，一种用于去重阿拉伯语文本中字符的新颖系统，特别解决了区分社交媒体上故意的字符拉长与非正式用法之间的挑战。该系统利用连接主义时间分类（CTC）将归一化视为序列对齐问题，在各种基准测试中实现了5.37%的低句子错误率。该模型的蒸馏版本在推理开销和分词器肥沃度方面提供了显著的降低，有可能降低阿拉伯语LLM的成本并提高上下文窗口利用率。
-
新系统CANDLE使用CTC进行阿拉伯语文本噪声去重
研究人员开发了CANDLE，一个用于字符级阿拉伯语噪声去重的创新系统。该系统利用连接主义时间分类（CTC）将归一化视为一个序列对齐问题，这种方法以前并未应用于字符去重。在各种基准测试中，CANDLE的句子错误率低至5.37%，并且显著优于基于分类的基线。该系统进一步被提炼成一个更小的、2层的模型，性能损失极小，提供了实际效益，例如降低了阿拉伯语LLM的分词器肥沃度，从而降低了推理成本并提高了上下文窗口利用率。
-
新书探讨使用 Rust 库进行机器学习
一本名为《使用 Rust 进行机器学习，第二版》的新书已经发布，重点介绍机器学习管道和模型的实现。该书使用 Burn、Candle、Linfa 和 Smartcore 等各种 Rust 库，涵盖经典模型、深度学习和自然语言处理。可在 Leanpub 平台购买。
-
面向本地AI代理的Rust语义内存知识库发布
一款名为semantic-memory的基于Rust的新知识库已发布，专为需要本地持久化内存的AI代理和RAG应用而设计。它集成了混合搜索功能（BM25、向量和倒数排名融合）以及用于存储事实和文档的类型化图边。该系统提供Candle（纯Rust，仅CPU）和Ollama等嵌入后端，确保无需云依赖或API密钥。
-
Hugging Face 发布极简 Rust 机器学习框架 Candle
Hugging Face 发布了 Candle，一个为 Rust 设计的极简机器学习框架。它提供了类似 PyTorch 的语法，并支持通过 CUDA 进行 GPU 加速，同时通过 WebAssembly 实现浏览器兼容性。该框架集成了 LLaMA、Whisper 和 Stable Diffusion 等预训练模型，旨在提供一种无额外开销的、非 Python 的机器学习推理替代方案。
-
Glowstick crate 为 Rust 添加了类型级别的张量形状检查
Glowstick 是一个新推出的 Rust crate，旨在通过将形状检查直接集成到类型系统中来增强张量操作。这种方法旨在使张量操作更安全、更直观，特别是对于使用机器学习框架的开发人员。该项目目前处于 1.0 版本之前的阶段，提供了动态维度支持和改进的错误消息等功能，并计划与 ONNX 操作保持一致。