术语slug: nucleus-sampling

核采样

Nucleus Sampling

从累积概率超过阈值的候选集中随机采样

收录情报动态

共 4 篇 · 第 1/1 页
Hacker News AIT2·开源与评测
62 分
MAPLE 剪枝让 Gemma 4 26B 在 6GB 显卡跑出 45 TPS

独立研究者发布 MAPLE,一种面向混合专家大模型的结构化剪枝方法,通过剔除休眠专家把 Gemma 4 26B-A4B 从 9.92 GB 压到 4.75 GB(约 1.48 比特/参数),使模型可完全驻留 6 GB 笔记本显存并以 45.4 tokens/s 推理。该方案针对 Python 编程与 STEM 推理做领域特化,作者称流程可迁移到其他垂直领域。

Rohan Paul (@rohanpaul_ai)T2·基座大模型
78 分
DeepMind 研究:LLM 无法自主生成真随机数

Google DeepMind 最新论文指出,大语言模型(LLM)在独立执行时无法产生符合统计分布的真随机选择。实验显示,即使调整温度或采样参数,模型仍倾向于特定数字;但在外部代码提供随机种子后,较大模型能正确转换。该发现对依赖随机性的智能体安全与决策机制具有直接工程指导意义。

Hugging Face BlogT1·开发与工程
48 分
Hugging Face 详解 Transformer 解码策略

Hugging Face 发布技术博客,系统梳理了基于 Transformers 库的多种文本生成解码方法。文章对比了贪心搜索、束搜索及各类采样策略的原理与适用场景,旨在帮助开发者优化大模型输出质量。