服务器安装AI教程

一、服务器与系统要求(最低能跑)

  • 系统:Ubuntu 22.04(推荐)/ Debian 12 / CentOS 8+
  • 配置:
    • 轻量测试:4 核 + 8G 内存 + 50G SSD,无 GPU 也能跑(慢一点)
    • 流畅体验:16G 内存 + NVIDIA GPU(显存≥6G,如 RTX 3060/4060)
  • 必须放行端口(安全组 + 系统防火墙):
    • 11434(Ollama 接口)
    • 7860(网页 UI)
    • 22(SSH)、80/443(可选)

二、第一步:更新系统 + 装基础工具

SSH 登录服务器(root):

apt update && apt upgrade -y
apt install -y git wget curl python3 python3-pip

三、第二步:安装 Ollama(一键跑大模型)

1. 安装 Ollama

curl -fsSL https://ollama.com/install.sh | sh
  • 自动配置系统服务,开机自启

2. 启动并允许公网访问

# 让 Ollama 监听所有IP(公网可访问)
export OLLAMA_HOST=0.0.0.0
ollama serve
  • 默认端口:11434

3. 下载 AI 模型(选一个即可)

新开一个 SSH 窗口执行:

# 轻量好用:Llama3 8B(约4.7G)
ollama pull llama3:8b

# 中文更好:Qwen 7B(约4G)
ollama pull qwen:7b

# 查看已装模型
ollama list

本地测试(命令行聊天)

ollama run llama3:8b
# 输入问题即可对话,输入 /exit 退出

四、第三步:装网页 UI(浏览器聊天,推荐)

Open WebUI(界面好看、支持多模型、支持聊天记录)

1. 安装 Docker(如果没装)

curl -fsSL get.docker.com | bash
systemctl start docker
systemctl enable docker

启动 Open WebUI(连接本地 Ollama)

docker run -d \
  -p 7860:7860 \
  -v /opt/openwebui:/app/backend/data \
  --name openwebui \
  --restart always \
  ghcr.io/open-webui/open-webui:main

3. 访问网页 AI

  • 浏览器打开:http://你的服务器IP:7860
  • 首次注册账号(管理员),登录后即可选择模型聊天

五、防火墙 / 安全组放行(必做!)

1. Ubuntu 防火墙(ufw)

ufw allow 11434/tcp
ufw allow 7860/tcp
ufw reload

2. 云厂商安全组(阿里云 / 腾讯云 / 华为云)

入站规则添加:

  • TCP 11434 允许
  • TCP 7860 允许
  • TCP 22 允许

六、常用命令(维护用)

# 查看 Ollama 状态
systemctl status ollama

# 重启 Ollama
systemctl restart ollama

# 查看 WebUI 日志
docker logs -f openwebui

# 停止/删除 WebUI 容器
docker stop openwebui
docker rm openwebui

七、常见问题

  1. 打不开网页:检查安全组 + 系统防火墙是否放行 7860/11434
  2. 模型下载慢:换国内模型如 qwen:7b,或用代理
  3. 内存不够崩了:用 量化模型(如 llama3:8b-q4_K_M),或升级内存
本站代码模板仅供学习交流使用请勿商业运营,严禁从事违法,侵权等任何非法活动,否则后果自负!
© 版权声明
THE END
喜欢就支持一下吧
点赞5 分享
评论 抢沙发

请登录后发表评论

    暂无评论内容