题目
Temperature、Top-p 和最大输出长度等参数如何影响应用表现?
答案
Temperature 调整候选 Token 概率分布的平缓程度,通常越低越倾向高概率选项。Top-p 限制累计概率范围内的候选集合。两者都影响采样,但不直接代表答案质量。
信息抽取、工具参数生成通常先采用较保守的设置;需要文案变化时再尝试提高随机性。调参时一次改变一个因素,并用同一批样本比较,避免无法解释差异。
最大输出长度限制生成预算。设得太小可能截断 JSON、代码或长回答;设得很大也不代表一定生成那么长,但需要为总上下文和费用预留空间。
Temperature 为 0 也不能保证每次输出完全一致,更不能保证事实正确。不同模型支持的参数和有效范围不同,某些模型的输出预算还包含推理 Token,应以所用接口说明和实际使用量为准。
