术语slug: tactile-to-video-retrieval

触觉到视频检索

Tactile-to-Video Retrieval

以触觉信号检索对应视觉片段的跨模态评测任务,用于衡量触觉表征质量

收录情报动态

共 1 篇 · 第 1/1 页
Rohan Paul (@rohanpaul_ai)T2·开源与评测
71 分
Robbyant 开源 LingBot-Touch 触觉模型

Robbyant 以 Apache 2.0 协议开源 LingBot-Touch,将指尖触觉传感器读数转化为机器人控制软件可用的信号,补上摄像头无法感知夹持力度与滑移的短板。团队用同一批触觉数据训练了三个同规模编码器(各 5.46M 参数),在 4000 小时数据下,在潜空间预测掩码部分的 JEPA 版本在触觉到视频检索任务上取得 49.3% top-5 准确率,MAE 低于 9%,而 VAE 版本仅 3.1%。作者认为触觉数据稀疏且信噪比低,是 JEPA 胜出的关键原因。