苹果研究团队在 arXiv 发布论文,披露人形机器人自主控制系统 HALO,采用 VLM 任务编排、DiT 动作生成与强化学习跟踪器的三层架构,在宇树 G1 上以 Mac mini 机载推理落地。在 6 个未预先建图的真实环境中完成 360 次单项任务测试,平均成功率达 91%,但长序列复合任务成功率降至 70%,最复杂组合仅 50%。团队同步开源数据生成、训练与部署代码。
视觉-语言模型
Vision-Language Model
联合处理视觉与文本信息的多模态架构
收录情报动态
亚马逊介绍了一套基于 SageMaker AI 的多模型融合方案,用于评估 A+ 内容中图文视频组合的整体质量,而非逐项孤立打分。该方案面向多模块异构内容的整体质量信号需求,属于厂商绑定的工程实践分享,文中未披露具体模型参数或可复现的基准数据。
腾讯发布新一代模型 Hy4,首次具备图像理解与自主操作软件的能力,并针对编程、金融与办公场景做了专项优化。腾讯称其在中国模型中排名第二,但在高难度数学与编程任务上仍明显落后于 Claude Opus 5.5 等顶级模型,模型权重将延后开放。
Google Research 开源 Agile Deliberation 框架,让用户在 AI 分类器学习之前先界定模糊的“灰色地带”概念。系统将概念拆分为范围内与范围外子概念,再展示边界样本供用户标注,由 Gemini 重写定义作为 VLM 提示词。18 场实测中 F1 平均较零样本 Gemini 2.5 Flash 高 10.5 分,代码以 Apache 2.0 开源。
厦门大学与南洋理工大学团队提出 RoTA-Bench,用交互式 3D-to-2D 投影对齐任务检验视觉语言模型能否把二维观察转化为支持精确旋转动作的三维理解。该基准弥补了静态空间问答缺少动作闭环、通用交互基准难以专门考察几何姿态推理的空白,指向具身智能体的视觉-控制衔接能力。
轻量级视觉模型 Moondream 3 Preview 和 3.1 版本正式接入 OpenRouter 平台,由 PrimeIntellect 提供算力服务。该更新允许用户在普通聊天界面中通过附加图片并使用特定指令(如 /detect 或 /point),直接实现图像内的目标检测与像素级坐标定位,无需额外 API 调用或复杂配置。
CLIPSeg 模型通过结合 CLIP 的视觉-语言对齐能力,实现了无需特定标注数据的零样本图像分割。该架构将文本提示直接映射到像素级预测,显著降低了分割任务对大规模人工标注的依赖。