Hacker News AIT2·68 分
PS5 变身本地大模型服务器,原生运行 GGUF 并兼容主流 API
原标题:Llama.cpp on a jailbroken PS5: run any GGUF model natively on the console
- 利用 PS5 的 11.4 GB 共享显存与 Vulkan 后端,实现 GGUF 模型的本地高效推理。
- 提供 OpenAI/Anthropic 兼容 API,使笔记本、手机等局域网设备可直接调用主机算力。
- 集成 Ollaya 决策模型,支持毫秒级校准概率输出,拓展了非对话类 AI 应用场景。