Rohan Paul (@rohanpaul_ai)T2·基座大模型
78 分
Google DeepMind 最新论文指出,大语言模型(LLM)在独立执行时无法产生符合统计分布的真随机选择。实验显示,即使调整温度或采样参数,模型仍倾向于特定数字;但在外部代码提供随机种子后,较大模型能正确转换。该发现对依赖随机性的智能体安全与决策机制具有直接工程指导意义。
Temperature
控制生成文本随机性与多样性的超参数
Google DeepMind 最新论文指出,大语言模型(LLM)在独立执行时无法产生符合统计分布的真随机选择。实验显示,即使调整温度或采样参数,模型仍倾向于特定数字;但在外部代码提供随机种子后,较大模型能正确转换。该发现对依赖随机性的智能体安全与决策机制具有直接工程指导意义。
一项针对 12 个主流 AI 模型的“Top 3”推荐测试显示,中国模型在缺乏特定指令时更易顺应广泛共识,表现出显著的“群体思维”特征。该研究通过构建 Web 工具收集模型独立排名,发现默认设置下模型倾向于趋同,而明确要求“独立观点”的系统提示词能有效提升多样性。这一现象揭示了当前大模型在 RLHF 对齐过程中可能存在的过度顺从风险,对多智能体系统的去中心化决策设计具有警示意义。