Phi-3.5
PulseAugur coverage of Phi-3.5 — every cluster mentioning Phi-3.5 across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
本地 LLM 现可通过 WebGPU 在浏览器中运行,增强隐私保护
WebGPU API 现在已在 Chrome、Edge 和 Firefox 等主流浏览器中稳定可用,它支持直接在浏览器中运行本地大型语言模型 (LLM)。这一进展,加上 ONNX Runtime Web 和 Transformers.js 的优化,使得在客户端硬件上使用量化模型(如 Qwen 2.5、Phi-3.5 和 Llama 3.2)成为可能。通过将敏感信息保留在用户设备上,避免了中间人攻击和云服务提供商数据保留策略的担忧,这一…
-
MoE 卸载基准测试重新测试:量化和方法更改改变了结果
对 16GB GPU 上的混合专家(MoE)卸载进行的后续基准测试重新测试显示,性能结论发生了重大变化。作者将所有测试模型的量化标准化为 Q4_K_M,并通过交错配置和取中位数生成速度来实施更严格的测试。这些调整带来了不同的结果,与最初的发现相反,选择性卸载现在在 Qwen 和 LFM2.5 等模型的性能优于传统的层拆分。
-
新的 AlignMerge 框架在模型合并时保持 LLM 对齐
研究人员开发了 AlignMerge,一个用于合并大语言模型(LLM)的新框架,该框架明确地保持了对齐和安全属性。与可能无意中降低对齐度的先前方法不同,AlignMerge 将合并视为一个几何约束操作。它使用 Fisher-Rao 几何和对齐子空间投影器来确保在整个合并过程中保持安全性。跨越多个 LLM 系列(包括 LLaMA-3 8B 和 Mistral 7B)的实验表明,AlignMerge 提高了对齐度指标,并在各种任务上达到或…
-
新框架通过无套利衡量语言模型理解能力
研究人员开发了一个名为 Arbitr 的新框架,旨在通过将语言模型理解问题化为无套利问题来改进其理解能力。该方法将理解定义为有界交易者无法利用模型概率输出中的逻辑不一致性来保证获利。研究发现,包括 Qwen2.5 和 Phi-3.5 在内的标准语言模型极易受到此类利用,尤其是在参数量较小的情况下,此时置信度可能具有误导性。Arbitr 训练在不损害任务准确性的情况下,显著降低了跨各种逻辑模式的可利用性。
-
新的大语言模型遗忘方法解决鲁棒性和效用保持问题 · 跟踪5个来源
研究人员正在开发先进的大语言模型(LLM)遗忘技术,重点关注能够抵御重新学习攻击并保持模型效用的方法。BLADE和Margin Calibration (MC)等新方法旨在提高对遗忘过程的控制力,解决灾难性遗忘和信息删除脆弱性等问题。这些方法正在各种基准和模型规模上进行评估,重点关注对抗鲁棒性,以确保通过战略性提示无法轻易恢复被遗忘的信息。
-
AI模型鲁棒性分析揭示层级分离
一篇新的研究论文分析了语言模型的扰动鲁棒性,揭示了敏感性、因果关系和修复能力在模型层级之间并不一致。研究发现在像Phi-3.5和Gemma-2-9B这样的模型中存在两种不同的传播模式:尖峰-抑制模式,以及Llama-3、Mistral和Qwen2.5-7B中的后期累积模式。研究表明,放置在涉及因果关系早期层级的适配器会干扰下游计算,并为预筛选和适配器放置提供了实用指导。
-
新研究通过先进的检测和防御策略应对LLM越狱 · 跟踪7个来源
研究人员正在开发先进的方法来检测和防止针对大型语言和视觉语言模型的越狱攻击。SALLIE等新技术通过分析模型内部状态提供免生成、跨模态检测,而NeuroBreak则专注于理解神经元级别的安全机制。其他方法包括使用心理学原理自动生成多轮攻击数据集,以及利用已知攻击示例的检索增强防御(RAD)等自适应防御。新颖的策略还探讨了诱饵图像如何放大现有防御能力,以及迭代上下文优化如何增强语义偏移越狱。
-
新的PRISM方法可检测LLM行动中超越文本安全的物理危险
研究人员开发了一种名为PRISM的新方法,用于检测大型语言模型(LLM)在控制具身智能体时可能带来的物理危险。与传统的基于文本的安全检查不同,PRISM分析LLM的内部状态,以识别将指令与物理世界相结合时产生的风险。这种方法表明,在LLM的表示中,物理危险信号可以与内容危险信号分离。PRISM在旨在测试物理安全性的基准测试中取得了高准确率,在识别潜在有害行为方面显著优于标准的LLM裁判。
-
iOS 应用 GenBench 可在设备上对 GGUF 模型进行基准测试
一款名为 GenBench 的新的免费 iOS 应用程序已发布,允许用户直接在 iPhone 和 iPad 上下载、运行和基准测试 GGUF 模型。该应用程序利用 llama.cpp 和 Metal 进行离线运行,并测量每秒令牌数、首个令牌延迟和峰值内存使用量等性能指标。用户还可以提交分数到全球排行榜,以比较不同设备和模型(包括文本和视觉模型)的性能。
-
KV 缓存驱逐保护比评分更重要
研究人员开发了一种管理大型语言模型中 KV 缓存驱逐的新方法,发现结构性保护比评分算法更关键。他们对 Transformer 模型的研究表明,如果没有保护,现有的驱逐策略会显著退化。通过为结构性保护保留一小部分缓存,模型即使在缓存大小有限的情况下,也能恢复相当数量的原始质量。