12 张二手显卡搭出 AI 集群:一个律师在家跑起了 DeepSeek

一个律师,12 张二手的英伟达 V100,在自己搭的机器上跑起了 DeepSeek。

据报道,这套自建集群的推理速度最高达到每秒 184 个词元。这个数字放在数据中心里算不上亮眼,但放在个人自建场景里,已经能用了。

为什么是 V100

V100 是 2017 年的卡,32GB HBM2 显存,当年卖一万多美元。现在二手市场价格已经跌到两三千人民币一张——矿潮退去、AI 中心换代,大批 V100 流入二手市场。

显卡 显存 二手价(约) 适合
V100 32G 32GB 2000~3500 大模型推理
3090 24GB 4500~6000 推理+微调
4090 24GB 12000+ 训练

关键点:显存比算力重要。 跑大模型时,显存不够直接跑不起来,算力慢一点只是等得久。

12 张卡意味着什么

12 × 32GB = 384GB 显存。这个容量能放下 100B 参数级别的模型(4bit 量化),远超单张消费级显卡。

但代价也很明显:

  • 需要服务器级主板和多个 PCIe 插槽
  • 电源至少 3000W 以上
  • 散热、噪音、电费都是家用的几十倍

这条路适合谁

不适合绝大多数人。 算笔账:12 张卡按 3000 算就是 3.6 万,加上服务器、电源、机柜,总投入 5 万起。而同样的钱,用云 API 能跑几亿 token。

但如果你的场景是:

  • 数据不能出内网(法律、医疗、涉密)
  • 长期高频调用,云费用会超过硬件成本
  • 想折腾、想学、想完全掌控

那自建就是合理的。

一个信号

这件事真正的意义不在「律师」这个身份,而在于:AI 推理的硬件门槛,已经降到个人玩家能承受的水平了。

三年前,跑一个 7B 模型都要租云 GPU;现在二手卡堆一堆,家里就能跑。这个变化,比任何一篇「AI 将改变世界」的文章都更实在。

来源:IT之家报道(二手 V100 自建集群案例)

© 版权声明
THE END
喜欢就支持一下吧
点赞16 分享
评论 抢沙发

请登录后发表评论

    暂无评论内容