术语slug: vision-language-model-vlm

视觉语言模型

Vision-Language Model (VLM)

能够同时处理和理解图像与文本数据的多模态人工智能模型

收录情报动态

共 40 篇 · 第 1/4 页
量子位 (微信公众号)T2·基座大模型
40 分
招商局狮子山实验室发布 35B 具身推理模型 单 Token 仅激活 3B

招商局先进技术研究院下属狮子山人工智能实验室发布具身推理视觉语言模型「驭物™ Lion-ER-35B-A3B」,采用 MoE 架构,总参数约 35B、每 Token 仅激活约 3B,官方称在十项具身相关基准上全部指标上涨,部分能力超过更大参数量模型。其技术路线强调以「能力蓝图」反向设计数据:将具身推理拆为实体、空间、时序、物理、可供性、任务、社会、证据 8 个一级领域、39 项二级能力,再依评测短板闭环迭代数据,而非盲目扩充数据规模。不过文中未披露各项基准的具体数值、对照组配置与模型开放方式,结论仍属厂商主张。

Rohan Paul (@rohanpaul_ai)T2·基座大模型
78 分
DeepMind 研究:无关图形可操控 AI 代码逻辑

Google DeepMind 与斯坦福最新论文揭示,视觉语言模型易受提示中无关几何图形的隐性影响。实验显示,仅添加红色心形图案即可使 Claude 和 GPT-5.4 在特定编码任务中的递归选择率从 0% 飙升至 100%,且 Gemini 的推理链常无法识别此干扰。该发现警示开发者需对多模态输入进行严格隔离测试。

Rohan Paul (@rohanpaul_ai)T2·基座大模型
78 分
OXR 发布开源文档解析模型 引入 RSI 训练机制

OXR 推出仅 1.3B 参数的开源文档解析模型,首次在 OCR 领域应用递归自我改进(RSI)技术。该模型通过 VLM 评估输出、聚类失败原因并指导数据生成来优化训练,在 olmOCR-Bench 等三大基准测试中排名第一,且在单卡 RTX PRO 6000 上实现 GLM-OCR 3.05 倍的吞吐量。

IT之家 · 智能时代T2·算力与基建
68 分
美光研发边缘推理内存 EIM,瞄准物理 AI 低延迟需求

美光正在研发面向自动驾驶和人形机器人的专用存储芯片“边缘推理内存”(EIM),旨在通过垂直堆叠低功耗内存来降低数据处理延迟并提高带宽。该架构不同于存内计算(PIM),目前正推进与 LPDDR6 的集成,预计 2028 年下半年量产,以应对未来机器人对高带宽和大容量的严苛需求。

宝玉 (@dotey)T2·智能体与协同
68 分
Gemini 4 Argon 在 Antigravity 中通过单条提示生成日本寺庙:多智能体分工与视觉反馈闭环实现复杂三维建模

Gemini 4 Argon 在 Antigravity 框架下,仅凭一条包含详细工作流指令的提示词,成功在 Blender 中生成了复杂的日本寺庙建筑群。该案例展示了“蓝图规划-参考图生成-多智能体协作建模-渲染比对修正”的完整自动化流程,其中协调智能体统筹、批评智能体验收,并通过将 Blender 渲染结果与 Nano Banana 生成的视觉参考进行比对来迭代优化模型。最终成果还扩展至程序化生成的动画与环境音效,体现了大模型在理解现实世界物理规则及执行长程复杂任务上的显著进步。

量子位官网T2·基座大模型
86 分
面壁开源 MiniCPM-V 4.7:35B MoE 端侧模型仅占 3G 内存,iPhone 离线推理达 13 Token/s

面壁智能与 OpenBMB 正式开源多模态大模型 MiniCPM-V 4.7,其旗舰版采用 35B 总参数、3B 激活参数的 MoE 架构。该模型在 iPhone 17 Pro Max 等移动端设备上仅需约 3GB 内存即可实现断网运行,优化后解码速度突破每秒 13 个 Token。此外,模型在 MMBench、MMMU 及视频理解基准上表现优异,并已完成 iOS、安卓、鸿蒙及主流芯片平台的适配。

IT之家 · 智能时代T2·基座大模型
78 分
Liquid AI 开源 d1 系列决策模型:3B 参数实现 8ms 极速推理,支持多模态输入

Liquid AI 发布并开源了 d1-3B 和 d1-omni-600M 两款决策模型,主打极低延迟与多模态能力。其中 d1-3B 在 RTX 4090 上单次文本判断仅需 8 毫秒,图像处理约 102 毫秒,且在 Decision Index v0.2.1 基准测试中得分领先同类小模型。d1-omni-600M 则进一步支持语音输入,为边缘设备上的实时智能体应用提供了轻量级解决方案。

vLLM 官方博客T1·开发与工程
58 分
NVIDIA 集成 PyNvVideoCodec 至 vLLM:GPU 硬件解码突破视频字幕多卡吞吐瓶颈

NVIDIA 宣布在 vLLM 中正式支持基于 PyNvVideoCodec 的 GPU 硬件视频解码,旨在解决多 GPU 节点下视频字幕生成任务因 CPU 解码导致的吞吐量瓶颈。该方案将视频帧解码工作从 CPU 卸载至 GPU,显著提升了视觉语言模型(VLM)在处理短输出视频标注场景下的端到端推理效率与扩展性。