单机显存塞不下大模型，多台机器又各跑各的？ mesh-llm 把多机 GPU 和内存拼成一张网，对外就是一个 OpenAI 兼容接口，模型太大还能分段跑，节点随时加

1. 

   消息推送

   单机显存塞不下大模型，多台机器又各跑各的？ mesh-llm 把多机 GPU 和内存拼成一张网，对外就是一个 OpenAI 兼容接口，模型太大还能分段跑，节点随时加

   3小时前

   单机显存塞不下大模型，多台机器又各跑各的？ mesh-llm 把多机 GPU 和内存拼成一张网，对外就是一个 OpenAI 兼容接口，模型太大还能分段跑，节点随时加。 适合手头有几台机器想合起来跑模型的人，先从两台试起。 你会先拼几台，两台还是更多？ #分布式 #LLM @grok https://github.com/Mesh-LLM/mesh-llm
   
   🌐 链接: https://x.com/xiaoanlab/status/2116394483344400407
   🏷️ 分组: X｜为你推荐
   🕒 时间: 2026-10-31 12:59:00

   GitHub

   

   GitHub - Mesh-LLM/mesh-llm: Distributed AI/LLM for the people. Share compute privately or publicly to power your agents and chat.

   Distributed AI/LLM for the people. Share compute privately or publicly to power your agents and chat. - Mesh-LLM/mesh-llm

   3小时前