大家不是做MaaS的可能不清楚，DeepSeek开源的DeepInfer其实是一个非常为DeepSeek 4.1F非常深度定制的。 我举个例子，DeepInfer的任务摊派是完全不考虑显存容量的，为什么呢？因为DS 4.1F的KV极度优化，每个token只需要890个Byte，相当于即使一整条1M个token的上下文，也只需要890M，不到1G的显存。这在别家几乎是不可能的，即使是DS 4F，也需要这个尺寸的四倍。 就是因为有这么小的KV cache，DeepInfer可以完全不考虑显存，直接只...
🌐 链接: https://x.com/Necokeine/status/2114211360997355712
🏷️ 分组: X｜为你推荐
🕒 时间: 2026-10-25 12:24:03
🌐 链接: https://x.com/Necokeine/status/2114211360997355712
🏷️ 分组: X｜为你推荐
🕒 时间: 2026-10-25 12:24:03
X (formerly Twitter)
慧音-知识和历史的半兽 (@Necokeine) on X
大家不是做MaaS的可能不清楚，DeepSeek开源的DeepInfer其实是一个非常为DeepSeek 4.1F非常深度定制的。
我举个例子，DeepInfer的任务摊派是完全不考虑显存容量的，为什么呢？因为DS 4.1F的KV极度优化，每个token只需要890个Byte，相当于即使一整条1M个token的上下文，也只需要890M，不到1G的显存。这在别家几乎是不可能的，即使是DS 4…
我举个例子，DeepInfer的任务摊派是完全不考虑显存容量的，为什么呢？因为DS 4.1F的KV极度优化，每个token只需要890个Byte，相当于即使一整条1M个token的上下文，也只需要890M，不到1G的显存。这在别家几乎是不可能的，即使是DS 4…
