术语slug: token-space

词元空间

Token Space

模型生成序列所处的离散词元表示空间,推理路径在此展开

收录情报动态

共 1 篇 · 第 1/1 页
Hacker News AIT2·基座大模型
62 分
推理的本质是在词元空间中寻找路径

Alex Wang 提出将推理建模为在词元空间中从起始上下文到正确答案的路径搜索,以此解释一个反直觉现象:强化学习训练出的长思维链能提升准确率,但推理时强制延长单条链先有增益、随后停滞甚至变差。该框架试图区分“链长”与“搜索广度”对正确率的真实贡献。