Hugging Face BlogT1·基座大模型
85 分
Hugging Face 与 LightOn 等机构联合发布 ModernBERT,旨在彻底取代自2018年以来主导 NLP 领域的 BERT 架构。该模型通过引入 RoPE、SwiGLU 激活函数及长上下文支持(最高8k),在保持高效推理的同时显著提升了检索、分类及实体识别任务的性能基准。
通过优化内存访问模式加速注意力计算并降低显存占用的算法
Hugging Face 与 LightOn 等机构联合发布 ModernBERT,旨在彻底取代自2018年以来主导 NLP 领域的 BERT 架构。该模型通过引入 RoPE、SwiGLU 激活函数及长上下文支持(最高8k),在保持高效推理的同时显著提升了检索、分类及实体识别任务的性能基准。
Hugging Face 发布技术博客,介绍如何利用数据打包(Packing)结合 Flash Attention 2 提升模型训练效率。该文章主要聚焦于工程实践与配置方法,旨在减少填充 Token 带来的算力浪费。