术语slug: multimodal-fusion

多模态融合

Multimodal Fusion

将文本、图像等不同模态信息整合处理的技术

收录情报动态

共 6 篇 · 第 1/1 页
量子位 (微信公众号)T2·商业与生态
45 分
iRTE2026 聚焦实时语音交互,OpenAI 与 Google 推动对话 AI 演进

iRTE2026 大会聚焦实时智能交互,指出对话 AI 正从单轮生成转向持续参与真实交流。OpenAI GPT-Realtime 和 Google Gemini Live 等头部产品通过全双工、多模态及工具调用技术,推动语音交互体验升级。该事件反映了行业对低延迟、高自然度语音 Agent 基础设施的关注,但缺乏具体新技术参数或突破性发布。

OpenRouter (@OpenRouter)T1·基座大模型
68 分
Cloudflare 发布 Clef Omni 多模态决策模型:原生融合音视频图文,输出概率而非 Token

Cloudflare 推出 Clef Omni 模型,原生支持音频、视频、图像和文本四种模态输入,专为决策场景设计。该模型不生成传统文本 Token,而是直接输出分类概率(如“热狗”置信度 96.5%),已在 OpenRouter 上线,定价为每百万输入 Token $0.15,输出免费。

IT之家 · 智能时代T2·智能体与协同
42 分
苹果 HomeView 智能家居中枢:借 CarPlay 机制接入第三方音视频,多模态识别 6 人

苹果首款智能家居中枢 HomeView 采用类似 CarPlay 的镜像机制,通过连接 iPhone/iPad 扩展第三方音视频应用生态。系统摒弃 Face ID,转而融合 Center Stage 摄像头面部识别与语音识别,在满足设备联网且近期解锁等前置条件下,最多可区分 6 位家庭成员以提供个性化体验。

量子位 (微信公众号)T2·基座大模型
68 分
蚂蚁与浙大提出 TRACE 流式情绪框架:动态评估置信度,准确率提升至 69.47%

蚂蚁集团安全实验室与浙江大学联合推出面向实时人机交互的流式情绪理解框架 TRACE,旨在解决传统离线模型在信息不完整时判断滞后及多模态推理成本高的问题。该研究通过持续跟踪模型情绪判断的变化过程并动态评估可靠性,显著减少了不必要的多模态调用。在自建 StreamMER 数据集上,TRACE 将仅使用在线音频的判断准确率从 59.87% 提升至 69.47%,论文已被 EMNLP 2026 主会议接收。

Qwen 官方博客 (通义)T1·智能体与协同
68 分
Qwen DeepResearch 发布:双模式与多模态融合

通义千问推出 Qwen DeepResearch,旨在降低深度研究的启动门槛。该功能支持 Normal 和 Advanced 双模式切换,并新增本地文件(PDF/Excel/图片)融合能力,通过重构搜索策略减少幻觉,实现从灵感到洞察的自动化报告生成。

多模态融合 | Today for AI