术语slug: inference-chip

推理芯片

Inference Chip

专为模型推理阶段设计、侧重低延迟与高能效的专用计算芯片

收录情报动态

共 4 篇 · 第 1/1 页
量子位官网T2·算力与基建
62 分
通研院孵化 AGI 芯片公司半年连融数亿元

由朱松纯发起、北京通用人工智能研究院孵化的通芯智能成立仅半年即完成种子轮与天使轮融资,合计数亿元,资金投向流片前的核心架构设计。公司瞄准面向 AGI 算法的新型推理芯片,在兼容主流模型的同时,为逻辑、因果与价值推理增加专用硬件支持,试图在算法尚未定型时提前定义下一代计算。

Hugging Face BlogT1·算力与基建
25 分
Hugging Face TGI 支持 AWS Inferentia2

Hugging Face Text Generation Inference (TGI) 宣布支持 AWS Inferentia2 芯片。该更新旨在扩展 TGI 在云端专用推理硬件上的兼容性,但原文未提供具体的性能基准、延迟数据或成本优化细节。