Hacker News AIT2·开源与评测
62 分
独立研究者发布 MAPLE,一种面向混合专家大模型的结构化剪枝方法,通过剔除休眠专家把 Gemma 4 26B-A4B 从 9.92 GB 压到 4.75 GB(约 1.48 比特/参数),使模型可完全驻留 6 GB 笔记本显存并以 45.4 tokens/s 推理。该方案针对 Python 编程与 STEM 推理做领域特化,作者称流程可迁移到其他垂直领域。
Nucleus Sampling
从累积概率超过阈值的候选集中随机采样
独立研究者发布 MAPLE,一种面向混合专家大模型的结构化剪枝方法,通过剔除休眠专家把 Gemma 4 26B-A4B 从 9.92 GB 压到 4.75 GB(约 1.48 比特/参数),使模型可完全驻留 6 GB 笔记本显存并以 45.4 tokens/s 推理。该方案针对 Python 编程与 STEM 推理做领域特化,作者称流程可迁移到其他垂直领域。
Google DeepMind 最新论文指出,大语言模型(LLM)在独立执行时无法产生符合统计分布的真随机选择。实验显示,即使调整温度或采样参数,模型仍倾向于特定数字;但在外部代码提供随机种子后,较大模型能正确转换。该发现对依赖随机性的智能体安全与决策机制具有直接工程指导意义。
NVIDIA 发布开源库 LogitsProcessorZoo,允许开发者直接干预语言模型的概率分布以定制生成行为。该工具与 Hugging Face Transformers 深度集成,提供比传统解码策略更精细的控制能力,适用于需要严格约束输出格式或内容的场景。
Hugging Face 发布技术博客,系统梳理了基于 Transformers 库的多种文本生成解码方法。文章对比了贪心搜索、束搜索及各类采样策略的原理与适用场景,旨在帮助开发者优化大模型输出质量。