Hacker News AIT2·算力与基建
42 分
文章提出利用经验洛伦兹曲线(Empirical Lorenz Curve)来量化不同延迟百分位对平均延迟的贡献度。该方法旨在帮助系统运维人员从成本和容量视角,更精准地评估长尾延迟带来的资源开销与优化价值。
Tail Latency
请求响应时间分布中最慢部分的延迟指标
文章提出利用经验洛伦兹曲线(Empirical Lorenz Curve)来量化不同延迟百分位对平均延迟的贡献度。该方法旨在帮助系统运维人员从成本和容量视角,更精准地评估长尾延迟带来的资源开销与优化价值。
Perplexity 将核心搜索服务从 Amazon DynamoDB 迁移至自研 Rust 分布式键值存储 CobbleDB,以解决大语言模型检索场景下的高吞吐与高成本瓶颈。通过解耦持久化存储与热数据检索层,团队实现了批量读取延迟降低五倍、存储费用下降至少 20% 的性能突破。该架构由两名工程师配合 AI 编码智能体在两个月内完成开发,计划后续开源。