llama.cpp 迈入 1.0.0：支持超 150 种模型架构，断网也能满血跑大模型

11 月 13 日，开发者 Georgi Gerganov 在 X 平台宣布，开源 AI 推理项目 llama.cpp 与底层机器学习引擎 ggml 的库版本正式迈入 1.0.0。

这个项目在做什么

llama.cpp 的核心目标只有一句话：让大模型能在普通电脑上跑起来。它用纯 C/C++ 实现推理，不依赖 CUDA，不做复杂的环境配置，编译完一个二进制文件就能用。

从 2023 年项目诞生到现在，它已经成为本地 AI 生态里最基础的一块砖——大量本地客户端、NAS 上的 AI 助手、树莓派上的小模型应用，底层用的都是它。

1.0.0 意味着什么

第一，API 趋于稳定。 版本号跨过 1.0，通常意味着接口不再频繁破坏性变更。对于把 llama.cpp 嵌进自己产品的开发者来说，这是一个可以放心依赖的信号。

第二，架构支持超过 150 种。 这已经不是”支持 Llama 系列”的时代了，而是几乎覆盖了主流开源模型家族。你下载一个新模型，大概率不用等适配就能跑。

第三，断网可用。 这是它和云端 API 最本质的区别。所有推理都在本地完成，数据不出机器。对隐私敏感的场景——医疗记录、法律文书、企业内部文档——这一点比性能更重要。

现实的门槛

说句实话，本地跑大模型的门槛从来不是软件，是硬件。

一个 7B 模型量化到 4bit 大约需要 4GB 显存或内存；14B 需要 8GB 左右；再往上，普通笔记本就吃力了。而推理速度取决于内存带宽——这也是为什么苹果的 M 系列芯片在本地推理上表现突出。

所以”断网满血跑大模型”这句话，准确的理解是：在你的硬件能力范围内，不依赖网络，不被限流，不被计费。

适合谁用

三类人值得关注：一是需要处理敏感数据、不能上传云端的从业者；二是想做离线 AI 应用的开发者；三是单纯不想为 API 付费、手上又有闲置显卡的折腾党。

至于普通用户，客户端软件已经把这些复杂度包装好了，你选一个支持 GGUF 格式的前端就能用，不必自己编译。