后台收到不少人问 Ollama 到底值不值得装、装完又该怎么用。这篇按「它是什么 → 解决什么问题 → 怎么装 → 注意什么」的顺序讲清楚,看完能直接上手。
Ollama 怎么用?从下载安装到上手的完整教程
后台收到不少人问 Ollama 到底值不值得装、装完又该怎么用。这篇按「它是什么 → 解决什么问题 → 怎么装 → 注意什么」的顺序讲清楚,看完能直接上手。
先说结论
在自己电脑上跑大模型,一条命令下载即用。Ollama 把本地跑大模型这件事简化到了一条命令:装好后 ollama run 模型名,它自动下载权重并启动对话,全程离线、数据不出本机。支持 Llama、Qwen、DeepSeek、Gemma 等主流开源模型,也能通过 API 接入自己的程序。
它能解决什么问题
关心数据隐私不想把内容传云端的人;需要在本地做 AI 应用开发的开发者。
一条命令跑模型:自动下载并加载,无需配置环境。
完全离线:推理在本机完成,数据不外传。
模型库丰富:主流开源模型都能拉取。
本地 API:提供兼容 OpenAI 的接口供程序调用。
下载与安装
官方地址:https://ollama.com/(Ollama 官方站点,授权方式:免费开源)。别从第三方站点的「高速下载」按钮进,那些安装包经常带捆绑。
- 官网下载对应系统安装包,安装后自动常驻后台
- 打开终端执行 ollama run qwen2.5 之类的命令拉取并运行模型
- 需要给程序调用时用本地 11434 端口的 API
支持平台:Windows / macOS / Linux。
用之前值得知道的两点
- 模型体积很大,7B 量化版约 4–5GB,先确认磁盘空间
- 显存不足时会退回 CPU 推理,速度慢很多;8GB 显存建议跑 7B 量化模型
常见问题
Q:Ollama 免费吗?
软件本身免费开源,模型授权各自不同,商用前要看清模型协议。
Q:需要什么配置?
7B 模型建议 16GB 内存 + 8GB 显存;13B 以上需要更大显存。
Q:和在线 ChatGPT 比怎么样?
本地模型能力有差距,但胜在隐私、离线、无调用费用。
要不要试试替代方案
如果 Ollama 用着不顺手,Chatbox 是同类型里更常见的选择,功能侧重不太一样,可以都试一下再决定。
相关阅读
问:Ollama 免费吗?
答:软件本身免费开源,模型授权各自不同,商用前要看清模型协议。
问:需要什么配置?
答:7B 模型建议 16GB 内存 + 8GB 显存;13B 以上需要更大显存。
问:和在线 ChatGPT 比怎么样?
答:本地模型能力有差距,但胜在隐私、离线、无调用费用。