如果你曾希望在自己的机器上运行大型语言模型——无需应用程序接口密钥，无云端账单，数据不离开你的笔记本电脑——Ollama 是实现这一目标的最简单方式。它将模型权重、运行时（基于 llama.cpp 构建）以及一个简单的命令行界面/表述性状态转移应用程序接口打包成一个工具，在 macOS、Linux 和 Windows 上的工作方式相同。
本指南涵盖安装、运行你的第一个模型、你将实际使用的核心命令、为你的硬件选择合适的模型，以及通过其应用程序接口将 Ollama 集成到你自己的代码中。
为什么要在本地运行模型？
- 隐私 — 你的提示词和数据永远不会离开你的机器。
- 成本 — 没有按令牌计费。你只需一次性投入硬件成本（如果你已经有一台不错的笔记本电脑，则无需额外花费）。
- 离线 — 可在飞机上、在敏感信息隔离设施中，或在任何没有无线网络的地方工作。
- 控制 — 交换模型、调整参数、微调行为，且没有任何速率限制。
权衡之处在于：本地模型通常较小，且在原始能力方面略落后于前沿的云端模型（如 GPT、Claude、Gemini）——尽管这一差距正在迅速缩小。
安装
macOS
从 ollama.com/download 下载应用程序，或使用 Homebrew：
brew install ollama
Linux
curl -fsSL https://ollama.com/install.sh | sh
这将安装 ollama 二进制文件并设置一个 systemd 服务，使其在后台运行。检查其是否正常运行：
systemctl status ollama
Windows
从 ollama.com/download 下载 OllamaSetup.exe 并运行——无需管理员权限。最新版本提供带有聊天窗口的完整桌面应用程序，因此如果你愿意，完全可以跳过终端操作。此外，还为 Windows-on-Arm 设备提供了原生 ARM64 版本。
Docker
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
如果你拥有 NVIDIA 图形处理器并已安装 NVIDIA 容器工具包，请添加 --gpus=all。
验证是否正常工作
ollama --version
ollama list
在全新安装后，列表为空是正常现象——这仅确认守护进程已启动并正在响应。
运行你的第一个模型
ollama run llama3.2
这将拉取模型（几吉字节，仅需下载一次）并进入交互式聊天会话。输入提示词，按回车键，即可获取响应。使用 Ctrl+D 或 /bye 退出。
核心命令速查表
| 命令 | 功能说明 |
|---|---|
ollama run <model> |
拉取模型（如有需要）并与模型进行聊天 |
ollama pull <model> |
下载模型
免责声明：本文内容来自互联网，该文观点不代表本站观点。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，请到页面底部单击反馈，一经查实，本站将立刻删除。
分享到：
长按或扫码识别 分享给好友
关于我们
热门推荐
合作伙伴
免责声明：本站部分资讯来源于网络，如有侵权请及时联系客服，我们将尽快处理
长按屏幕识别二维码 打开手机扫描二维码
友情链接: 爱名网 杭州电子商务研究院 企通社 epower企服引擎 二十二科技集团 第一商务 域名交易 爱名奖 LTD方法论 营销SaaS 22知协 .Co.Ltd数字门户 ToB总监联盟 网站编辑器 官微名片 丽水山泉 浙工大校友企业家联谊会 站点智能 DMP 西湖龙井茶官网 标诺网 欧朋不锈钢全屋定制 通用站点案例库 索易软件 巨量星球 衡源升业称重 恒齿传动股份 精壹门 云南百收科技有限公司 紫荆港中宠学堂 聚缘知产 更多
|
