英伟达DGX Spark支持8台集群：128GB版统一内存最高1TB，本地跑大模型该怎么算这笔账

英伟达给 DGX Spark 加了一项新能力：支持 8 台集群。128GB 版本通过集群，统一内存最高可达 1TB；官方还提到 RTX PRO 6000 Blackwell 相关任务提速 40%。

这几个数字放在一起，指向一个很实际的问题：本地跑大模型，到底该怎么配硬件。

先说「统一内存」为什么关键

跑大模型最卡脖子的不是算力，是显存。模型权重、KV Cache、上下文全都要占显存。传统显卡的显存是固定的，24GB 就是 24GB，模型放不下就只能量化或者换更小的模型。

DGX Spark 这类设备走的是统一内存路线——CPU 和 GPU 共享一块大内存。128GB 的版本意味着你能把更大的模型塞进去，不用先做激进量化。8 台集群到 1TB，理论上能撑起非常夸张的模型规模。

但「能跑」和「跑得快」是两回事

集群跑大模型有一个绕不过去的瓶颈：互联带宽。模型被切分到多台设备上，每层计算都要跨设备同步数据。互联带宽不够，加机器反而变慢。

所以看到「支持 8 台集群」的时候，第一个该问的不是「最大能跑多大模型」，而是「集群互联是什么方案、带宽多少」。这个数字决定了扩展性是真的还是纸面的。

官方提到 RTX PRO 6000 Blackwell 相关任务提速 40%，这类数字通常针对特定工作负载，不要直接套到自己的场景上。

实际配置思路：按需求倒推

场景一，个人或小团队本地推理。只跑 7B 到 30B 级别模型做推理，单台 128GB 统一内存就够，没必要上集群。集群的复杂度会吃掉你所有时间。

场景二，需要跑 70B 以上的模型。单台装不下才考虑集群。这时候优先确认两件事：互联带宽、以及推理框架对多机的支持程度。

场景三，微调训练。训练对带宽和显存要求比推理更高。8 台集群做小规模微调可行，但全参数训练还是租云更划算。

一个反直觉的建议

如果只是「想在自己机器上跑大模型玩玩」，最优解往往不是买集群设备，而是单台大内存机器加量化模型和够用的推理框架。理由是集群的隐性成本很高：电费、噪音、散热、调试时间，以及一台挂了整个任务重跑的风险。这些成本在评测数字里看不到。

真正需要本地集群的场景，通常是数据不能出内网（医疗、金融、政企），或者长期高负载比云便宜。除此之外，云上的按需实例仍然更灵活。

结论

DGX Spark 支持 8 台集群、1TB 统一内存，是硬件能力的一次抬升，它把「本地能跑的模型上限」推高了。但对个人用户来说，先算清楚三件事：你要跑的模型多大、互联带宽够不够、以及集群的隐性成本你能不能接受。

硬件参数是上限，不是答案。

来源：IT之家报道整理。