新智元 (微信公众号)T2·68 分
港科广发布 UI2App 基准，测试 AI 仅凭截图推断交互逻辑能力
原标题：港科广新基准：只给截图，AI能把App交互做出来吗？
- UI2App 基准要求模型在无显式行为说明下，仅从静态截图中推断交互逻辑（如状态保持、数据联动）。
- 实验表明高视觉相似度并不保证购物车等核心业务逻辑的正确实现，凸显了现有模型的局限性。
- 该研究将“交互推断”转化为可测量的指标，推动了从 Screenshot-to-Code 向真正可运行应用的演进。
返回热点榜
llm热度 9.1°
AI 聚合热点事件 · 2026/10/24
港科广发布 UI2App 基准，测试 AI 仅凭截图推断交互逻辑能力
1 篇收录报道1 家独立信源交叉印证持续跟踪至 2026/10/24 11:42:00
全景综述与最新动态
1 家信源交叉印证港科广团队推出 UI2App 基准，旨在评估多模态模型在仅提供静态 UI 截图时，能否自主推断并实现隐含的应用交互行为。该基准包含 95 组多页面 Web 应用任务，填补了现有评测中视觉还原与功能逻辑脱节的空白，为 Screenshot-to-App 生成提供了可量化的研究基础。
最新动向/港科广团队推出 UI2App 基准，旨在评估多模态模型在仅提供静态 UI 截图时，能否自主推断并实现隐含的应用交互行为。该基准包含 95 组多页面 Web 应用任务，填补了现有评测中视觉还原与功能逻辑脱节的空白，为 Screenshot-to-App 生成提供了可量化的研究基础。
逐小时热度走势
2 个完整观测小时连续完整观测不足 3 个小时，暂不绘制趋势曲线。