术语slug: multimodal-input

多模态输入

Multimodal Input

模型同时接收文本、图像或音频等多种类型数据的能力

收录情报动态

共 20 篇 · 第 1/2 页
The DecoderT2·智能体与协同
78 分
阿里等机构新基准:编程智能体仅约四分之一任务可全自动完成

阿里及多所亚洲高校基于真实用户变更请求构建 Co-Design Bench,要求编程智能体改造现有 Web 应用并处理图像、音频、视频、文档等多模态输入。十个被测模型中表现最好的 GPT-6 Astra 平均仅满足约 70% 的需求,完全完成任务的比例约为四分之一,与旧基准近满分的结果形成鲜明反差。

The Verge AIT2·开发与工程
38 分
亚马逊 Alexa 购物助手新增短信下单功能

亚马逊为 Alexa for Shopping 增加短信交互入口,用户可通过文字或照片描述商品,由助手检索商品、回传推荐并代为下单。该功能延续 5 月上线的购物助手体验,主打比 App 或网页更轻量的下单场景,并支持偏好记忆与降价提醒。

IT之家 · 智能时代T2·基座大模型
42 分
Liquid AI 发布 d1-ultra 决策模型:宣称全面超越 Jev 1.14,支持多模态与长上下文

Liquid AI 推出新决策模型 d1-ultra,宣称在八类任务中性能全面优于 TypeSafe AI 刚发布的 Jev 1.14。Jev 1.14 作为预览版引入了图像输入、更长上下文及新的 'box' 类型,但 d1-ultra 的迅速跟进引发了关于决策模型迭代速度与基准测试有效性的关注。目前缺乏详细的技术报告或第三方复现数据,主要依赖厂商自述对比。

Artificial Analysis (@ArtificialAnlys)T1·基座大模型
88 分
Meta 开源 Muse Spark Open:816B MoE 架构登顶美国开源榜,多模态输入与低幻觉率成亮点

Meta 发布拥有 816B 总参数(42B 激活)的开源权重模型 Muse Spark Open,在 Artificial Analysis 智能指数中得分 39,超越 NVIDIA Nemotron 成为当前美国最强开源模型。该模型支持文本、图像、视频和音频的多模态输入,具备极高的 Token 效率(每任务仅输出 40k tokens),并在自动化基准测试中表现优于前代,显著降低了幻觉率。目前权重已在 Hugging Face 上线,并通过多家主流推理平台提供 API 访问。

Yuchen Jin (@Yuchenj_UW)T2·基座大模型
35 分
Jev 1.14 发布:新增图像输入与 Box API,Databricks 宣布合作支持早期实验性特性

Jev 1.14 版本正式发布,核心更新包括支持图像多模态输入、引入 Box API、提升生成质量及扩展上下文长度。Databricks 宣布与 TypeSafe 团队合作,将该版本集成至其平台以服务企业客户。团队强调此版本面向早期采用者,通过“危险区”开关提供实验性功能,区别于追求极致稳定性的基础设施版本。

GREG ISENBERG (@gregisenberg)T2·基座大模型
35 分
Greg Isenberg 调侃早期 LLM 局限:静态数据、无记忆与多模态缺失将成未来笑谈

科技评论人 Greg Isenberg 指出,2021 年冻结的互联网数据、缺乏长期记忆、无法处理多模态输入以及仅能文本回复等限制,构成了早期大语言模型的核心特征。他认为这些如今被视为基础缺陷的功能缺失,将在未来被后代视为“石器时代”的技术瓶颈。该观点强调了 AI 从纯文本静态模型向具备实时感知、记忆和多模态能力的智能体演进的历史断层感。