sampling

LLM 创造力由温度和采样参数控制

LLM 使用温度和采样参数来控制其输出的创造性和可预测性。温度重塑了潜在下一个词的概率分布：低温度（接近 0）倾向于最可能的词，导致确定性和重复性的响应，而较高的温度（大于 1）则使分布变平，让不太可能的词有机会出现，从而产生更具创造性但可能出错的文本。top-k 和 top-p 采样等技术通过修剪概率尾部来进一步优化词语选择，在保持多样性的同时防止出现荒谬的词语选择。最佳设置取决于任务，低温度适用于事实性任务，而较高温度适用于创意性工作。