此处以Linux系统为例，我使用的是Linux Mint 22.1 Cinnamon

1.安装 Docker环境

curl -fsSL https://get.docker.com | sh

  • 启动 Docker 服务

systemctl start docker

  • 如果是 CentOS 系统，Docker 安装后不会默认开机自启，需要手动设置：

systemctl enable docker

  • 验证 Docker 是否安装成功

docker --version

如果返回 Docker 的版本号，则说明 Docker 安装成功。

docker配置国内镜像，实现加速下载

1. 添加docker镜像地址

使用编辑器打开配置文件

vim /etc/docker/daemon.json

2. 写入以下内容

{
  "builder": {
    "gc": {
      "defaultKeepStorage": "20GB",
      "enabled": true
    }
  },
  "experimental": false,
  "registry-mirrors": [
    "https://docker.hpcloud.cloud",
    "https://docker.m.daocloud.io",
    "https://docker.unsee.tech",
    "https://docker.1panel.live",
    "http://mirrors.ustc.edu.cn",
    "https://docker.chenby.cn",
    "http://mirror.azure.cn",
    "https://dockerpull.org",
    "https://dockerhub.icu",
    "https://hub.rat.dev",
    "https://proxy.1panel.live",
    "https://docker.1panel.top",
    "https://docker.m.daocloud.io",
    "https://docker.1ms.run",
    "https://docker.ketches.cn"
  ]
}

3. 重启docker服务

sudo systemctl daemon-reload
sudo systemctl restart docker

2.部署 Ollama

Ollama简介

Ollama 是一个开源框架，专为在本地机器上便捷部署和运行大型语言模型（LLM）而设计。

Ollama 目标在于简化在 Docker容器中部署大型语言模型的过程，使得非专业用户也能方便地管理和运行这些复杂的模型。

作为轻量级框架，Ollama 保持了较小的资源占用，同时具备良好的可扩展性，允许用户根据需要调整配置以适应不同规模的项目和硬件条件。

包含一系列预先训练好的大型语言模型，用户可以直接选用这些模型应用于自己的应用程序，无需从头训练或自行寻找模型源。

下载部署

Windows很简单，去官网下载安装即可，此处省略。

https://ollama.com/download/linux

此处以Linux的Docker为例：

使用以下命令来拉取（下载）并启动 Ollama 容器：

docker pull ollama/ollama
docker run -d --name ollama -v /home/docker/ollama:/root/.ollama -p 11434:11434 ollama/ollama

说明：

  • -d：以后台模式运行容器。

  • --name ollama：为容器指定一个名字，这里我们命名为 “ollama”。

  • -v /home/docker/ollama:/root/.ollama：挂载本地目录到容器中，以便保存模型数据。

  • -p 11434:11434: 将容器内部的 11434 端口映射

  • 到宿主机的 11434 端口，方便你通过浏览器访问。

  • ollama/ollama：指定要运行的镜像。

完成启动后，打开浏览器访问 http://localhost:11434，如果看到 "Ollama is running" 的提示，则说明你的 Ollama 部署成功。

Ollama常用命令

可以通过命令行与 Ollama 进行互动，以下是一些常用命令：

  • 查看已下载的模型

ollama list

  • 拉取指定模型（例如：gemma:2b）

ollama pull gemma:2b

  • 运行指定模型

ollama run gemma:2b

  • 删除指定模型

ollama rm gemma:2b

  • 停止 Ollama 服务

docker stop ollama

  • 重新启动 Ollama 容器

docker start ollama

  • 删除容器（若不再需要 Ollama 服务时）

docker rm ollama

3.部署大模型

具体想用哪个AI模型，根据自己主机配置去官网选择即可。

https://ollama.com/search

此处我使用公司的破服务器进行目前火热的DeepSeek部署

主机硬件情报如下：

考虑到此主机没有独立显卡，即无法调用GPU，CPU也很垃圾，因此选择1.5b的模型

docker exec -it ollama ollama run deepseek-r1:1.5b

大模型的b是什么？

“b”代表“Billion”，即“十亿”，是用来表示模型训练中所使用参数的数量的单位。

例如，当我们说某个大模型“175B”时，意味着该模型拥有1750亿个参数。

参数的数量是衡量模型复杂性和能力的一个重要指标，参数越多，模型的训练就越复杂，其能力也往往越强。

4.部署Open-Webui

Open-Webui简介

Open WebUI 是一款高度可扩展、功能强大且用户友好的自托管Web用户界面，专为完全离线操作设计。

它支持多种大型语言模型（LLM）运行程序，包括Ollama和OpenAI兼容的API。

下载部署

docker run -d -p 8080:8080 --add-host=host.docker.internal:host-gateway -v /home/docker/open-webui:/app/backend/data --name open-webui --restart always ghcr.nju.edu.cn/open-webui/open-webui:main

访问

http://localhost:8080

进行简单的注册登录后，即可作为大模型的可视化前端页面使用