术语slug: omni-modal

全模态

Omni-modal

能够同时处理文本、图像、音频等多种输入并生成对应输出的模型架构

收录情报动态

共 4 篇 · 第 1/1 页
新智元 (微信公众号)T2·基座大模型
62 分
百度发布 ApolloWorld 物理 AI 世界模型 支持毫秒级交互

百度 Apollo 发布 ApolloWorld,称其为首个面向物理 AI 的 Agent 驱动全模态世界模型,把城市路网、多模态传感器与车流博弈搬上云端,支持毫秒级实时交互与连续数十分钟的接单推演,突破以往世界模型仅能模拟数十秒孤立片段的限制。官方称无人车在云端可日行十万公里虚拟里程,萝卜快跑 L4 全无人端到端大模型已上车。

Qwen 官方博客 (通义)T1·基座大模型
88 分
Qwen3.5-Omni 发布:原生全模态,支持 10 小时音频输入

阿里通义千问团队发布新一代原生全模态大模型 Qwen3.5-Omni,采用 Hybrid-Attention MoE 架构,实现文本、图像、音频及视频的统一理解与生成。该模型支持 256k 长上下文,可处理超过 10 小时的音频和 400 秒的 720P 视频输入,并在多语言语音识别(113 种)与生成(36 种)上显著增强。在 Plus 版本中,模型于 215 项子任务/Benchmark 中取得 SOTA 成绩,标志着从拼接式多模态向原生统一架构的重大跨越。

Qwen 官方博客 (通义)T1·基座大模型
78 分
Qwen3-Omni-Flash 升级:强化音视频交互与多语言控制

阿里通义千问发布 Qwen3-Omni-Flash-2025-12-01 版本,重点优化了原生全模态模型的音视频指令理解能力,解决了口语化场景下的“降智”问题。新版本全面开放 System Prompt 自定义以精细调控人设与风格,并显著提升了 119 种文本及多种语音语言的遵循稳定性与生成自然度。该模型已在 Hugging Face、ModelScope 等平台开源,支持实时流式文本与语音输出。