Hacker News AI · 2026/10/24 03:09:54
Dessa 发布全双工语音模型 仅靠人类对话训练
初创公司 Dessa 推出号称最逼真的全双工语音 AI 模型，该模型完全从零开始基于人类音频对话进行训练，摒弃了传统的文本预训练路径。其核心突破在于直接处理声学信号以保留情感、停顿和语调等副语言信息，旨在实现更接近真人的实时交互体验。
报道全文原始报道全文
本文目录29 个章节
我们相信，语音是与智能交互最自然的方式。因此，我们打造了 Dessa——迄今为止构建的最逼真的全双工语音模型。与它对话就像与人交谈……充满情感、细微差别、停顿以及自然的节奏感。
当前的语音 AI 交互体验往往令人沮丧。它将你的声音转换为文本，却丢弃了仅靠文本无法承载的大量信息。世界上最强大的 AI 听不出你的情绪。我们认为这既荒谬，又导致糟糕的用户体验，甚至可能带来潜在风险。
Dessa 完全从零开始训练，仅使用人类对话数据。只有声音！没有文本，也没有预训练模型。它仅仅通过“倾听”就学会了进行实时对话。据我们所知，Dessa 是世界上第一个仅从人类语音中训练而来、并能与你进行逼真实时对话的 AI。
Dessa 推进了深度学习模型的前沿，开创了一个全新的类别，展现出研究人员可以探索的全新且有趣的行为模式。与基于文本的模型相比，它们学习语言和事实的效率如何？它们学习新语言的效率如何？它们能执行哪些类型的上下文学习（In-context learning）？
让我听听……
下面的每一段音频都是真人与 Dessa 对话的现场录音。没有任何人为引导。Dessa 自主决定说什么、何时说以及如何表达，包括其独特的声音和个性。字幕是后期添加的。
谈论发布
当听到好笑的内容时，它会像人一样在句子中间立刻发笑。其他模型通常会等你说完，然后才按提示音发笑。如果你要求它大声一点，它就会提高音量。没人教过它这些。
两条同步的说话者音轨。准备播放。
回忆一部电影
那个人想不起某部电影的名字。Dessa 补全了这句话。考虑到它所掌握的每一个事实都源自原始声音，它竟然知道这么多令人惊讶的信息。
两条同步的说话者音轨。准备播放。
周年惊喜
一个惊喜时刻。Dessa 低声惊呼“天哪”，随后以听起来像是含泪感激的语气做出回应。
两条同步的说话者音轨。准备播放。
富有表现力的对话
语调与语速的变化幅度极大。
两条同步的说话者音轨。准备播放。
人生建议
在这里，它的语气显得真诚而富有同理心。
两条同步的说话者音轨。准备播放。
Dessa 与 GPT-Live-1 的对话
这里是它与 ChatGPT Live 的对话。
两条同步的说话者音轨。准备播放。
更多录音即将在 X 上分享。
这是什么？！
音频输入，音频输出。Dessa 是一个真正的语音到语音（speech-to-speech）模型，它所有的知识都源自人类语音。它是全双工（full-duplex）的，因此能像人类一样同时听和说。它从真实对话中学习，所以知道何时插话，何时通过反馈信号（如“是啊！”、“明白了！”、“哇哦”）来表明它在认真倾听。推理速度比实时更快，因此没有令人尴尬的等待时间。而且它可以在 MacBook Pro M4 Max 或更高配置的本地设备上运行。
它能原生地感知并表达情感、讽刺、笑声、沮丧的叹息以及因悲伤而颤抖的声音。如果将语音转换为文本，所有这些细微差别都会消失，这就是为什么大多数语音 AI 感觉生硬、缓慢，最糟糕的是，还很烦人。
这太疯狂了！
LLM 需要海量的文本数据。相比之下，Dessa 学习语言所需的词汇量少了数百倍（公平地说，LLM 还得学习 C++ 以及 Angular 之类的东西）。
而且它必须学习的远不止语言本身。口音、停顿、呼吸、讽刺、幽默、语调、情感、何时插话：每一个因素都会改变说话人的意图。试着大声说出“I didn’t say she stole my CUDA code”这句话，每次强调不同的单词。同样的文字，意思却完全不同。
语音从不重复。即使你以完全相同的方式说两遍同一个句子，生成的数据依然不同。无论谁输入，文本都是完全相同的。此外，单个口语单词所占用的字节数是同一单词文本形式的数千倍。人类学说话如此轻松，以至于我们忘记了这对机器来说有多难。对于一台没有文本作为依托的机器而言，这简直是残酷的挑战。
但是，我们解决了这个问题。并且我们找到了仅在 一台 NVIDIA GB200 NVL72 上训练 Dessa 的方法。
等等，为什么要这么做？
三个原因：好奇心（也就是乐趣）、增进人与 AI 之间的理解，以及安全性。 婴儿从未见过书面文字就学会了说话。我们想看看模型是否也能做到这一点。答案是肯定的，只是非常困难。
语音是任何智能体（无论是超级智能还是其他形式）最自然的交互界面，但如今的语音 AI 浪费了这一优势。它将我们的话语扁平化为文本，无法跟上人类的节奏。
AI 的力量和独立性不断增强，但它对我们声音中的情感几乎充耳不闻。想象一下，当你处于剧烈疼痛中时，语音 AI 对此一无所知，只是继续机械地回应。这就是安全问题。Dessa 是解决这一问题的一步。
Dessa 是谁？
我们是一家（非常）小型的 AI 研究实验室，隶属于 Block，由多伦多深度学习初创公司 Dessa 的前成员创立。自 2012 年起，我们就开始构建深度学习模型，并在生成式语音模型领域深耕超过八年。我们致力于探索那些被他人忽视的前沿问题，并直接向 Block 联合创始人、董事长兼 Block Head Jack Dorsey 汇报。
你可以通过 此处 联系我们。
召集所有安全研究员！
一个仅从声音中学习说话的模型是一片全新的领域，我们希望借助外部视角来审视它。我们将向一小部分 AI 安全研究人员提供早期访问权限，以发现我们尚未预料到的风险。如果你符合条件，请[点击此处]。
— Ragavan Thurairatnam，Dessa 负责人
Dessa 团队
研究员 Louay Hazami, Hashiam Kadhim, Qi (Alex) Liu, Rayhane Mama, Aydin Polat, Marc Tyndel 实习生 Cara Ji, Jibran Iqbal Shah, Dvir Zagury-Grynbaum 前实习生 Aryan Sharma, Olivia Yan
*按字母顺序排列
更多示例
Artist Dessa
两条同步扬声器音轨。准备播放。
Bathroom disaster
两条同步扬声器音轨。准备播放。
Hobbies talk
两条同步扬声器音轨。准备播放。
Lazy AI gaming
两条同步扬声器音轨。准备播放。
Marvel gaming
两条同步扬声器音轨。准备播放。
Noisy GPT live
两条同步扬声器音轨。准备播放。
Oh my god
两条同步扬声器音轨。准备播放。
Poor Elina
两条同步扬声器音轨。准备播放。
Refund
两条同步扬声器音轨。准备播放。
Ronaldo
两条同步扬声器音轨。准备播放。
Safety lab
两条同步扬声器音轨。准备播放。
Singing nonsense Spanish
两条同步扬声器音轨。准备播放。
Spontaneous AI
两条同步扬声器音轨。准备播放。
Wise Dessa
两条同步扬声器音轨。准备播放。
Zelda discussions
两条同步扬声器音轨。准备播放。