阿里及多所亚洲高校基于真实用户变更请求构建 Co-Design Bench,要求编程智能体改造现有 Web 应用并处理图像、音频、视频、文档等多模态输入。十个被测模型中表现最好的 GPT-6 Astra 平均仅满足约 70% 的需求,完全完成任务的比例约为四分之一,与旧基准近满分的结果形成鲜明反差。
多模态输入
Multimodal Input
模型同时接收文本、图像或音频等多种类型数据的能力
收录情报动态
亚马逊为 Alexa for Shopping 增加短信交互入口,用户可通过文字或照片描述商品,由助手检索商品、回传推荐并代为下单。该功能延续 5 月上线的购物助手体验,主打比 App 或网页更轻量的下单场景,并支持偏好记忆与降价提醒。
开源工具 Penmentor 集成 Claude、Gemini 等大模型,为 xournal++ 用户提供一键式手写数学作业批改。它通过圈画错误、提供提示而非直接答案,并生成 Manim 风格动画来辅助理解,旨在模拟真人教师辅导体验。
Liquid AI 推出新决策模型 d1-ultra,宣称在八类任务中性能全面优于 TypeSafe AI 刚发布的 Jev 1.14。Jev 1.14 作为预览版引入了图像输入、更长上下文及新的 'box' 类型,但 d1-ultra 的迅速跟进引发了关于决策模型迭代速度与基准测试有效性的关注。目前缺乏详细的技术报告或第三方复现数据,主要依赖厂商自述对比。
Meta 发布拥有 816B 总参数(42B 激活)的开源权重模型 Muse Spark Open,在 Artificial Analysis 智能指数中得分 39,超越 NVIDIA Nemotron 成为当前美国最强开源模型。该模型支持文本、图像、视频和音频的多模态输入,具备极高的 Token 效率(每任务仅输出 40k tokens),并在自动化基准测试中表现优于前代,显著降低了幻觉率。目前权重已在 Hugging Face 上线,并通过多家主流推理平台提供 API 访问。
Jev 1.14 版本正式发布,核心更新包括支持图像多模态输入、引入 Box API、提升生成质量及扩展上下文长度。Databricks 宣布与 TypeSafe 团队合作,将该版本集成至其平台以服务企业客户。团队强调此版本面向早期采用者,通过“危险区”开关提供实验性功能,区别于追求极致稳定性的基础设施版本。
MiniMax 推出开源模型 FastH3-Omni,宣称能实现快于实时的视频生成。该模型支持文本、音频和图像作为输入条件,目前主要提供 API 接口供开发者调用。
Inception Labs 的 Mercury Decide 模型在 OpenRouter 平台正式支持图像输入,允许用户在决策请求中结合图文信息。该功能使模型能基于图像内容回答选择题、评分或提供带概率的 Yes/No 判断,且定价策略保持不变(免费端点或 $0.02/M 输入)。
ShipStation Global 利用 Amazon Bedrock AgentCore 开发了名为 Deckhand 的 Slack 集成 AI IT 帮助台代理。该代理通过整合知识库、Jira Service Management 及多模态截图分析功能,实现了 97.5% 的频道查询自动解决率和 96% 的员工正面反馈。
科技评论人 Greg Isenberg 指出,2021 年冻结的互联网数据、缺乏长期记忆、无法处理多模态输入以及仅能文本回复等限制,构成了早期大语言模型的核心特征。他认为这些如今被视为基础缺陷的功能缺失,将在未来被后代视为“石器时代”的技术瓶颈。该观点强调了 AI 从纯文本静态模型向具备实时感知、记忆和多模态能力的智能体演进的历史断层感。