Hugging Face BlogT1·基座大模型
85 分
Hugging Face 与 LightOn 等机构联合发布 ModernBERT,旨在彻底取代自2018年以来主导 NLP 领域的 BERT 架构。该模型通过引入 RoPE、SwiGLU 激活函数及长上下文支持(最高8k),在保持高效推理的同时显著提升了检索、分类及实体识别任务的性能基准。
结合 Swish 激活函数与门控线性单元的高效前馈网络结构
Hugging Face 与 LightOn 等机构联合发布 ModernBERT,旨在彻底取代自2018年以来主导 NLP 领域的 BERT 架构。该模型通过引入 RoPE、SwiGLU 激活函数及长上下文支持(最高8k),在保持高效推理的同时显著提升了检索、分类及实体识别任务的性能基准。