术语slug: llm-inference

大语言模型推理

LLM Inference

在给定输入上运行大模型生成输出的计算过程,对算力与内存带宽要求高

收录情报动态

共 9 篇 · 第 1/1 页
Hacker News AIT2·开发与工程
72 分
开发者用 AI 编码代理在 FPGA 上跑通大模型

一位开发者借助编码代理,在可重编程 FPGA 上完成了大模型推理的硬件实现,并称整个流程“直接跑通了”。文章复盘了从零进入硬件领域的一系列关键突破,认为编码代理把低层硬件开发的门槛大幅拉低,让此前只有专业团队才能涉足的方向变得可行。

Hacker News AIT2·开发与工程
58 分
手写 85 页笔记与 6 小时视频从零构建 LLM 推理引擎

开发者开源了 samir-vllm 教学项目,用 C++ 与 CUDA 从零实现一个小型推理引擎,完整覆盖从加载 SafeTensor 权重到 Transformer 各层 GPU 执行的流程。配套材料包括 85 页手写笔记 PDF 与 6 小时以上视频,强调无 AI 代写,适合想深入理解推理底层机制的工程师系统学习。

Rohan Paul (@rohanpaul_ai)T2·算力与基建
85 分
中国云厂商订购 600 万张 RTX Pro 5500 显卡 供需缺口巨大

阿里巴巴、腾讯和字节跳动等中国科技巨头已订购约 600 万张价值 700 亿美元的 Nvidia RTX Pro 5500 显卡,但 Nvidia 未来四个月仅能供应约 1%。该卡因符合美国出口限制且具备 84GB GDDR7 显存(可单卡运行 70B 参数模型推理)而需求激增,然而受限于台积电产能向 Rubin 芯片转移,2027 年全球最大产量预计仅为 300 万张,供需矛盾极度尖锐。

vLLM 官方博客T1·算力与基建
42 分
Kimi K3 在 AMD MI355X 上实现单卡吞吐对标 NVIDIA B300:AgentX 推理优化揭秘

月之暗面(Moonshot AI)公布 Kimi K3 模型在 AMD Instinct MI355X 加速器上的部署成果,通过 AgentX 框架优化实现了与 NVIDIA HGX B300 相当的单 GPU 吞吐量。该案例重点揭示了针对大模型推理瓶颈的底层优化策略及决策过程,验证了非英伟达硬件在高性能计算场景下的竞争力。

Hugging Face BlogT1·开发与工程
35 分
Optimum-NVIDIA 发布:一行代码加速 LLM 推理

Hugging Face Optimum 团队与 NVIDIA 合作推出新库,宣称通过一行代码即可实现大语言模型的高速推理。该工具旨在简化基于 TensorRT-LLM 等底层优化技术的部署流程,降低开发者使用高性能推理栈的门槛。目前仅提供了标题级信息,具体性能数据、支持模型范围及 API 细节尚未在正文中展开。