两个人加一个 AI 编程智能体,不到一周就把 SGLang 接进了 IBM 的加速器,吞吐直接干到参考实现的 3.6 倍,这效率有点离谱。 就一个约 1500 行代码的小插件,SGLang 就跑在了 IBM Spyre 上。实测下来,在 Granite 3.3 8B 和 Gemma 4 26B A4B 的负载上,跟 vLLM 基本持平,RadixCache 的前缀共享也不用给 Spyre 专门改什么,插件已经随上游 SGLang 开源了。小团队加 AI 编程智能体,现在是真能撬动这种大活。
🌐 链接: https://x.com/taiyanghere/status/2120915999742734444
🏷️ 分组: X|太阳(taiyanghere)
🕒 时间: 2026-11-13 00:25:53
🌐 链接: https://x.com/taiyanghere/status/2120915999742734444
🏷️ 分组: X|太阳(taiyanghere)
🕒 时间: 2026-11-13 00:25:53