无需显卡运行千亿参数模型。这是一个用纯 C 编写的混合专家模型推理引擎，零依赖、不需要 GPU。它只把模型每次都要用到的部分留在内存，其余的专家权重在需要时再从硬盘读取，最低 8GB 内存就能运行 GLM、Kimi、DeepSeek、Qwen 等开源大模型，并提供兼容 OpenAI 和 Anthropic 的 API，适用于 Windows、Linux 和 macOS 系统。