Hacker News AIT2·78 分
DeepX 流片二代边缘 AI 芯片 5 W 内跑 100B 模型
原标题:DeepX claims inference up to 100B parameters at less than 5 W
- DX-M2 在 5 W 功耗内支持 200 亿至 1000 亿参数模型(约 30 亿至 200 亿激活参数),输出 10-30 tokens/s
- 内存带宽较一代 DX-M1 提升三倍,是支撑大模型端侧推理的关键改动
- 采用三星定制存内计算(PIM)技术,一代 DX-M1 已量产并主攻视觉应用