实体
Quantized Low-Rank Adaptation
Quantized Low-Rank Adaptation
PulseAugur coverage of Quantized Low-Rank Adaptation — every cluster mentioning Quantized Low-Rank Adaptation across labs, papers, and developer communities, ranked by signal.
总计 · 30天
3
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
3
90 天内 3
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
工程师的LLM指南涵盖Transformer、RAG和评估陷阱
本文为工程师提供了大型语言模型（LLM）的通俗概述，详细介绍了其底层架构和训练过程。它解释了诸如Transformer架构、预训练、微调和人类反馈强化学习等关键概念。该概述还涵盖了检索增强生成（RAG）、思维链提示以及代理与工具的使用等高级技术，以及FlashAttention和QLoRA等效率方法。最后，它提供了评估LLM声明的指导，强调了数据污染、LLM作为评判者进行评估、长上下文处理和幻觉等潜在问题。
-
QLoRA：一种内存高效的微调技术详解
QLoRA，即量化低秩适配，是一种能够以显著减少的内存量对大型语言模型进行微调的技术。该方法涉及将模型权重量化为4位精度，从而将其大小有效减小四分之三，同时为适配参数保持16位精度。这种方法使得在单个GPU上微调多达650亿参数的模型成为可能。
-
新管道使用微调的Gemma 3 1B提取火星地球化数据
研究人员开发了TerraMARS，一个旨在处理火星地球化科学文献的信息提取管道。该系统利用一个经过微调的Google Gemma 3 1B小型语言模型，通过QLoRA进行适配，以回答问题并将非结构化文本转换为机器可读的JSON格式。目标是将这些知识整合到火星数字孪生和宜居性模型等应用中，尽管仍需进一步提高准确性。