一、服务器与系统要求(最低能跑)
- 系统:Ubuntu 22.04(推荐)/ Debian 12 / CentOS 8+
- 配置:
- 轻量测试:4 核 + 8G 内存 + 50G SSD,无 GPU 也能跑(慢一点)
- 流畅体验:16G 内存 + NVIDIA GPU(显存≥6G,如 RTX 3060/4060)
- 必须放行端口(安全组 + 系统防火墙):
- 11434(Ollama 接口)
- 7860(网页 UI)
- 22(SSH)、80/443(可选)
二、第一步:更新系统 + 装基础工具
SSH 登录服务器(root):
apt update && apt upgrade -y
apt install -y git wget curl python3 python3-pip
三、第二步:安装 Ollama(一键跑大模型)
1. 安装 Ollama
curl -fsSL https://ollama.com/install.sh | sh
- 自动配置系统服务,开机自启
2. 启动并允许公网访问
# 让 Ollama 监听所有IP(公网可访问)
export OLLAMA_HOST=0.0.0.0
ollama serve
- 默认端口:11434
3. 下载 AI 模型(选一个即可)
新开一个 SSH 窗口执行:
# 轻量好用:Llama3 8B(约4.7G)
ollama pull llama3:8b
# 中文更好:Qwen 7B(约4G)
ollama pull qwen:7b
# 查看已装模型
ollama list
本地测试(命令行聊天)
ollama run llama3:8b
# 输入问题即可对话,输入 /exit 退出
四、第三步:装网页 UI(浏览器聊天,推荐)
用 Open WebUI(界面好看、支持多模型、支持聊天记录)
1. 安装 Docker(如果没装)
curl -fsSL get.docker.com | bash
systemctl start docker
systemctl enable docker
启动 Open WebUI(连接本地 Ollama)
docker run -d \
-p 7860:7860 \
-v /opt/openwebui:/app/backend/data \
--name openwebui \
--restart always \
ghcr.io/open-webui/open-webui:main
3. 访问网页 AI
- 浏览器打开:
http://你的服务器IP:7860 - 首次注册账号(管理员),登录后即可选择模型聊天
五、防火墙 / 安全组放行(必做!)
1. Ubuntu 防火墙(ufw)
ufw allow 11434/tcp
ufw allow 7860/tcp
ufw reload
2. 云厂商安全组(阿里云 / 腾讯云 / 华为云)
入站规则添加:
- TCP 11434 允许
- TCP 7860 允许
- TCP 22 允许
六、常用命令(维护用)
# 查看 Ollama 状态
systemctl status ollama
# 重启 Ollama
systemctl restart ollama
# 查看 WebUI 日志
docker logs -f openwebui
# 停止/删除 WebUI 容器
docker stop openwebui
docker rm openwebui
七、常见问题
- 打不开网页:检查安全组 + 系统防火墙是否放行 7860/11434
- 模型下载慢:换国内模型如 qwen:7b,或用代理
- 内存不够崩了:用 量化模型(如 llama3:8b-q4_K_M),或升级内存
本站代码模板仅供学习交流使用请勿商业运营,严禁从事违法,侵权等任何非法活动,否则后果自负!
© 版权声明
文章版权归作者所有,未经允许请勿转载。
THE END




暂无评论内容