池化感知训练

Hugging Face 发布技术博客，介绍针对多向量嵌入模型的 Token 池化感知训练方法。该方法在合并相似 token 向量压缩存储的同时，通过训练让编码器保留关键信息，使模型在相同存储预算下获得更好的检索质量。作者以 Sentence Transformers 训练模型，并给出 pool_factor=4 时的质量与存储权衡结果。