术语slug: language-model-lm

语言模型

Language Model (LM)

基于概率统计预测下一个词元的神经网络架构

收录情报动态

共 2 篇 · 第 1/1 页
OpenAI 官方博客T1·基座大模型
35 分
论文:高效训练语言模型实现中间填充

该研究提出了一种优化语言模型“中间填充”(FIM)任务训练效率的方法。核心在于通过改进数据预处理或损失函数设计,降低计算开销并提升模型在代码补全等场景下的表现。由于缺乏具体实验数据与算法细节,仅能确认其技术方向为 FIM 训练优化。

OpenAI 官方博客T1·基座大模型
45 分
OpenAI 提出无监督情感神经元模型

OpenAI 发布了一种无监督学习系统,仅通过预测亚马逊评论中的下一个字符进行训练。该系统成功学到了极佳的情感表示能力,证明了语言模型在无标注数据下捕捉语义细微差别的能力。