术语slug: tail-latency

尾延迟

Tail Latency

请求响应时间分布中最慢部分的延迟指标

收录情报动态

共 2 篇 · 第 1/1 页
InfoQ 中文T2·算力与基建
78 分
Perplexity 自研 Rust KV 存储 CobbleDB:解耦热数据层使批量读取延迟降为 1/5

Perplexity 将核心搜索服务从 Amazon DynamoDB 迁移至自研 Rust 分布式键值存储 CobbleDB,以解决大语言模型检索场景下的高吞吐与高成本瓶颈。通过解耦持久化存储与热数据检索层,团队实现了批量读取延迟降低五倍、存储费用下降至少 20% 的性能突破。该架构由两名工程师配合 AI 编码智能体在两个月内完成开发,计划后续开源。