Skip to content

Ollama ​

安装 ​

官网:https://ollama.com/

安装完成后,我们需要验证一下Ollama是否正常工作。

打开命令提示符窗口,在窗口中输入以下命令并回车:

bash
ollama --version

看到类似 ollama version is 0.6.5 这样的版本号信息,恭喜你,Ollama命令行工具已经安装成功!

image-20250909105744773

ollama pull - 提前“备货” ​

这个命令就像git pull或者docker pull,它的作用是只下载模型,而不立即运行它。

用途: 预先下载模型到本地,以便之后可以快速启动。 语法: ollama pull <model_name>[:tag] 实战演练:

假设你晚上准备用deepseek80亿参数的模型,但它比较大,你可以在白天工作的时候就让电脑在后台下载。

bash
ollama pull deepseek-r1:8b

执行后,你会看到和run命令首次运行时一样的下载进度条。下载完成后,命令结束。之后你再执行 ollama run deepseek-r1:8b,模型会瞬间启动,因为文件已经躺在你的硬盘里了。

ollama run - 你的第一个AI对话 ​

这是最核心、最常用的命令。它的作用是:运行一个指定的模型,如果本地没有这个模型,它会自动帮你下载。

用途: 启动并与一个模型进行交互式聊天,或者让模型处理单个提示。 语法: ollama run <model_name>[:tag] [prompt] <model_name>: 必需。模型的名字,比如 deepseek-r1、qwen、llama3、gemma。 [:tag]: 可选。模型的标签或版本。默认是latest。比如 deepseek-r1:8b 表示80亿参数的版本,deepseek-r1:7b 表示70亿参数的版本。你可以在 Ollama模型库 找到所有可用的模型和标签。

实战演练:

启动交互式聊天(最常用) 打开你的终端或CMD,输入:

bash
ollama run deepseek-r1:8b

背后发生了什么?

Ollama首先检查你本地有没有一个叫 deepseek-r1 且标签为 8b 的模型。

发现没有,于是它会连接到Ollama服务器,开始下载模型文件。你会看到一个进度条,显示下载的各个层(layers)。

下载完成后,Ollama会加载模型到内存(如果是第一次,可能会有一个编译或准备的过程)。

加载完毕,你会看到一个提示符 >>> Send a message (/? for help),表示你可以开始聊天了!

如何聊天? 直接输入你的问题,比如 你好,介绍一下你自己 然后回车。模型会思考片刻,然后输出答案。你可以一直聊下去。想退出聊天,输入 /bye 即可。

处理单个任务(适合脚本) 假设你想让模型帮你写一个Python的hello world,并且不希望进入聊天模式。

bash
ollama run deepseek-r1:8b "写一个打印hello world的Python函数"

模型会直接输出代码,然后程序结束,返回到你的命令行提示符。这个用法在写自动化脚本时非常有用。

在交互式聊天中,输入 /? 可以查看所有可用的内部命令,比如 /set, /show, /bye 等,可以用来调整模型参数或查看信息。 如果你想运行的模型非常大,而你的网络又不太好,run命令可能会因为下载时间太长而显得卡顿。这时,更好的做法是先用下面的 pull 命令把模型下载好。

ollama list - 查看你的“军火库” ​

当你下载的模型越来越多,你可能需要一个命令来查看自己本地到底有哪些模型。

用途: 列出所有已经下载到本地的Ollama模型。 语法: ollama list 实战演练:

bash
ollama list

image-20250909110146047

  • NAME: 模型的名字和标签,如 deepseek-r1:8b。
  • ID: 模型的唯一标识符。
  • SIZE: 模型文件在硬盘上占用的空间。
  • MODIFIED: 模型的最后修改时间。

ollama rm - “清理门户” ​

模型文件都很大,硬盘空间宝贵。当你不再需要某个模型时,可以用rm命令删除它。

用途:删除本地的一个或多个模型。 语法:ollama rm <model_name>[:tag] 实战演练:

删除一个特定版本的模型

bash
ollama rm deepseek-r1:8b

Ollama会确认并删除 deepseek-r1:8b 这个模型,释放硬盘空间。

删除一个模型的所有版本 如果你下载了 deepseek-r1:7b,deepseek-r1:8b,想把所有deepseek-r1相关的都删掉,可以只写模型名:

bash
ollama rm deepseek-r1

警告

这个操作会删除所有名为deepseek-r1的本地模型,请谨慎使用。

ollama rm 是不可逆的。删除前,最好用 ollama list 确认一下。

ollama ps - 谁在“吃”我的显存? ​

ps (process status) 命令可以告诉你当前有哪些模型正在运行(即被加载到了内存/显存中)。

用途:查看当前正在运行的模型进程。 语法: ollama ps 实战演练:

当你运行了一个模型后(比如ollama run deepseek-r1:8b),不要关闭这个终端。另外打开一个新的终端,输入:

bash
ollama ps

你会看到类似下面的输出,告诉你deepseek-r1:8b正在运行,占用了多少内存,以及它已经运行了多久。这在你同时运行多个模型或者排查性能问题时非常有用。

Ollama默认在一段时间没有活动后,会自动从内存中卸载模型以释放资源。你可以通过ps命令来确认模型是否还在运行。

重启 ​

bash
ollama serve

参考 ​

https://blog.csdn.net/qq_22017479/article/details/148834583