术语slug: safetensor

SafeTensor

Hugging Face 提出的模型权重序列化格式,含元数据与张量数据

收录情报动态

共 1 篇 · 第 1/1 页
Hacker News AIT2·开发与工程
58 分
手写 85 页笔记与 6 小时视频从零构建 LLM 推理引擎

开发者开源了 samir-vllm 教学项目,用 C++ 与 CUDA 从零实现一个小型推理引擎,完整覆盖从加载 SafeTensor 权重到 Transformer 各层 GPU 执行的流程。配套材料包括 85 页手写笔记 PDF 与 6 小时以上视频,强调无 AI 代写,适合想深入理解推理底层机制的工程师系统学习。