自己搭 vLLM 推理服务的人注意了，首字延迟官方自报能从 6.88 秒压到 0.31 秒，我看到这个数字第一反应是终于有人把路由这层认真做了。Linkerd 背后的 Buoyant 刚开源了 Kinference，版本 v0.1.0-alpha.7，Rust 写的，Apache 2.0 许可，它就是坐在 vLLM 节点舰队前面的控制面，官方的说法是 vLLM 是数据面，Kinference 是控制面，负责决定每个请求发往哪里，做路由策略、token 限速、KV-cache 感知的负载均衡和按租户的指标。官方...

🌐 链接: https://x.com/taiyanghere/status/2119029367431119244
🏷️ 分组: X｜太阳（taiyanghere）
🕒 时间: 2026-11-07 19:29:05
X (formerly Twitter)
太阳 (@taiyanghere) on X
自己搭 vLLM 推理服务的人注意了，首字延迟官方自报能从 6.88 秒压到 0.31 秒，我看到这个数字第一反应是终于有人把路由这层认真做了。Linkerd 背后的 Buoyant 刚开源了 Kinference，版本 v0.1.0-alpha.7，Rust 写的，Apache 2.0 许可，它就是坐在 vLLM 节点舰队前面的控制面，官方的说法是 vLLM 是数据面，Kinferenc…