消息推送请教大佬,模型私有化部署的显存怎么预估才有参考意义呢2天前请教大佬,模型私有化部署的显存怎么预估才有参考意义呢🌐 链接: https://linux.do/t/topic/3053692🏷️ 分组: LinuxDo论坛🕒 时间: 2026-10-21 14:24:07 LINUX DO 请教大佬,模型私有化部署的显存怎么预估才有参考意义呢 我是一个做方案的战五渣,模型啥都懂一点,但不深 现在接触的很多项目,都要搞算力自己部署模型 项目给过来的需求都是: 模型是哪个 模型参数量多少 部署做什么量化 并发数多少 最长是多少k的会话 比如: 部署DeepSeek的v4 flash 参数量284B。 做FP/in8量化 并发100 会话上下文1M 模型部署大概需要300G显存,这个好预估,因为int8是接近1:1 但并发、上下文长度、KV缓存这些参数的显存消耗,怎么预估合适呢 并且首token的耗时,怎么预估和降低呢(听说融合部署会降低)… 2天前