Base URL: https://api.kern-llm.org/v1 API Key: sk-kern-5vi93pdFZrDi7ofBlo-7l5DaH5BPJ3VjUeKNa_XGeqU Model: Qwen/Qwen3.8-27B-FP8 GPU: 我的 rtx pro5000 我们启用了 @TencentHunyuan 的 DSpine,并发低的时候,tps 100+,高并发也有40tps 左右。kv cache 目前由 gpu 顶,我有空把 SSD kv cache 开了(1TB),免费用,只是用来看看 kern serve 会有啥问题没有。
🌐 链接: https://x.com/SuJinYan123/status/2119782635576680951
🏷️ 分组: X|为你推荐
🕒 时间: 2026-11-09 21:22:18
🌐 链接: https://x.com/SuJinYan123/status/2119782635576680951
🏷️ 分组: X|为你推荐
🕒 时间: 2026-11-09 21:22:18