---

Ubuntu 离线安装 Ollama 部署 AI 模型

原创 已于 2026-03-26 16:31:30 修改 · 粉丝可见 · 556 阅读 · 6 · 3 GEO检测 · 编辑
文章链接：https://blog.csdn.net/hacker_51/article/details/158745047

目录

[TOC]

1、安装包下载

从ollama的gitHub官网下载自己 服务器所对应的 安装包

https://github.com/ollama/ollama/releases/

2、将安装包上传至服务器

如果使用 xftp 将自己的本地传输到服务器文件的速率特别慢，可以尝试使用内网穿透工具，提高速率。

3、离线部署Ollama

执行如下解压命令，将压缩包在 usr 目录下解压。解压之后会在 /usr/bin 目录下创建 ollama 文件

tar -C /usr --zstd -xvf ollama-linux-amd64.tar.zst

等待安装完毕即可。

启动ollama

ollama serve

4、离线部署AI大模型

阿里旗下的魔搭，下载 需要的 AI 大模型。具体 AI 模型大小，可根据自己的服务器配置去决定。

这里我以 https://modelscope.cn/models/unsloth/DeepSeek-R1-Distill-Qwen-1.5B-GGUF/files 为例。

上传模型到 服务器

编写 modelFile 文件

FROM ./DeepSeek-R1-Distill-Qwen-1.5B-UD-Q3_K_XL.gguf

如果还需要扩展 别的 模型参数，具体细节，自行额外学习。这里演示部署基础模型。

使用 ollama create 创建自定义模型

ollama create DeepSeek-R1:0.5b -f ./3dlm.txt

模型成功创建。

开启测试：