Marktechpost (@Marktechpost)T2·算力与基建
74 分
Together AI 推出 Together Compiler,让 AI 智能体在生产流量变化时持续重调推理前向计算。其核心是常驻服务引擎配合热重载,无需重启即可加载智能体改写的前向实现,并用 12 层快速筛选加 60 层慢速验证的双层机制确认真实流量收益。官方称在 SemiAnalysis InferenceX 上最多提升 2.6 倍 TPS,但部分场景增益有限且数据均为自报,系统闭源并已上线其无服务器端点。