使用Docker + Ollama本地化部署大模型

前置要求

You should have at least 8 GB of RAM available to run the 7B models, 16 GB to run the 13B models, and 32 GB to run the 33B models.

你至少需要8GB的RAM来运行7B模型，16GB来运行13B模型，32GB来运行33B模型。

• 如果您已经满足上述要求，接下来我们将从Docker开始安装。

安装Docker

请根据你的OS选择合适的安装方式，至于如何安装Docker，这里就不做过多的介绍了。在 Docker docs 中已经有详细的介绍。

Linux / Unix环境建议安装Docker Engine

Tips:如遇到网站打不开，请使用魔法上网。

Docker安装完成后，我们可以使用以下命令来验证Docker是否安装成功：

$ docker --version

如果安装成功，你将看到类似以下的输出：

Docker version 24.0.2, build cb74dfc

• 在国内，由于网络原因，Docker官方的镜像源地址可能无法访问。因此，我们需要将镜像源地址换一换。

vi /etc/docker/daemon.json

# 内容如下：
{
  "registry-mirrors": [
    "https://registry.docker-cn.com",
    "https://docker.mirrors.ustc.edu.cn"
  ]
}

# 退出并保存
:wq

随后将Docker重启

安装Ollama

• 拉取Ollama镜像

$ docker pull ollama/ollama

• 启动Ollama镜像

$ docker run -d -p 11434:11434 ollama/ollama

• 验证Ollama是否启动成功
  可通过docker ps命令来查看Ollama是否启动成功。

• 拉取大模型

我们可以去Ollama官方查询需要拉取的模型。

这里就以deepseek-r1:1.5b为例，我们可以通过以下命令来拉取模型：

$ docker run -d -p 11434:11434 ollama/ollama run deepseek-r1:1.5b

• 验证模型是否拉取成功
  我们可以通过以下命令来验证模型是否拉取成功：

$ docker exec -it ollama/ollama bash

$ ollama ps

如果拉取成功，你将看到类似以下的输出：

NAME               MODEL              CREATED               STATUS
deepseek-r1:1.5b   deepseek-r1:1.5b   2025-05-16 20:07:13   running

至此，我们已经成功地使用Docker + Ollama本地化部署了大模型。之后我们将可以使用Dify或别的工具来调用或训练本地的大模型。