一个律师,12 张二手的英伟达 V100,在自己搭的机器上跑起了 DeepSeek。
据报道,这套自建集群的推理速度最高达到每秒 184 个词元。这个数字放在数据中心里算不上亮眼,但放在个人自建场景里,已经能用了。
为什么是 V100
V100 是 2017 年的卡,32GB HBM2 显存,当年卖一万多美元。现在二手市场价格已经跌到两三千人民币一张——矿潮退去、AI 中心换代,大批 V100 流入二手市场。
| 显卡 | 显存 | 二手价(约) | 适合 |
|---|---|---|---|
| V100 32G | 32GB | 2000~3500 | 大模型推理 |
| 3090 | 24GB | 4500~6000 | 推理+微调 |
| 4090 | 24GB | 12000+ | 训练 |
关键点:显存比算力重要。 跑大模型时,显存不够直接跑不起来,算力慢一点只是等得久。
12 张卡意味着什么
12 × 32GB = 384GB 显存。这个容量能放下 100B 参数级别的模型(4bit 量化),远超单张消费级显卡。
但代价也很明显:
- 需要服务器级主板和多个 PCIe 插槽
- 电源至少 3000W 以上
- 散热、噪音、电费都是家用的几十倍
这条路适合谁
不适合绝大多数人。 算笔账:12 张卡按 3000 算就是 3.6 万,加上服务器、电源、机柜,总投入 5 万起。而同样的钱,用云 API 能跑几亿 token。
但如果你的场景是:
- 数据不能出内网(法律、医疗、涉密)
- 长期高频调用,云费用会超过硬件成本
- 想折腾、想学、想完全掌控
那自建就是合理的。
一个信号
这件事真正的意义不在「律师」这个身份,而在于:AI 推理的硬件门槛,已经降到个人玩家能承受的水平了。
三年前,跑一个 7B 模型都要租云 GPU;现在二手卡堆一堆,家里就能跑。这个变化,比任何一篇「AI 将改变世界」的文章都更实在。
来源:IT之家报道(二手 V100 自建集群案例)
© 版权声明
文章版权归作者所有,未经允许请勿转载。
THE END



















暂无评论内容