ollama大模型框架入门教程-open-webui安装

说明

Open-WebUI 是一个开源的用户界面框架，旨在为机器学习模型的运行和管理提供一个直观的图形用户界面（GUI）。
这个框架通常用于简化机器学习模型的部署、监控和调试过程。
github地址

Open-WebUI 的一些主要特点和功能：

图形用户界面：提供直观的界面，用户可以通过浏览器进行操作，而不需要通过命令行界面。
模型管理：支持加载、运行和管理多个机器学习模型，用户可以轻松地在不同模型之间切换。
可视化工具：提供多种数据和结果的可视化工具，帮助用户更好地理解模型的输出和性能。
跨平台支持：通常支持多种操作系统，包括 Linux、Windows 和 macOS，使得用户可以在不同平台上使用相同的工具。
扩展性：框架设计灵活，支持插件和扩展，使得开发者可以根据自己的需求定制功能。
社区驱动：作为开源项目，通常会有一个活跃的开发者社区，持续改进和更新框架。
Open-WebUI 的目的是降低机器学习模型使用的门槛，让更多的用户，无论是否具备编程背景，都能够方便地使用和管理机器学习模型。这对于快速原型开发、实验和生产环境中的模型管理都非常有帮助。

docker安装open-webui

docker安装，访问官方地址，ubuntu的apt安装方法
在本地使用cpu运行，通过docker安装，再访问网站http://127.0.0.1:8080

sudo docker run -d --network=host -v open-webui:/app/backend/data -e OLLAMA_BASE_URL=http://127.0.0.1:11434 --name open-webui --restart always ghcr.io/open-webui/open-webui:main

第一次运行会自动下载docker镜像。

源码安装open-webui

# 安装 Python 虚拟环境（可选）
python -m venv open-webui-env
source open-webui-env/bin/activate  # Linux/Mac
open-webui-env\Scripts\activate     # Windows

# 克隆 Open-WebUI 仓库
git clone https://github.com/open-webui/open-webui.git
cd open-webui

# 安装依赖
pip install -r requirements.txt

# 启动服务
python manage.py runserver

通过GPU运行open-webui

还需要安装gpu支持，否则容易出现错误docker: Error response from daemon: could not select device driver "" with capabilities: [[gpu]].
执行命令nvidia-smi验证GPU 驱动程序的安装
安装NVIDIA Container Toolkit
1.创建包仓库和GPG key

distribution=$(. /etc/os-release;echo $ID$VERSION_ID) \
       && curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \
       && curl -s -L https://nvidia.github.io/libnvidia-container/$distribution/libnvidia-container.list | \
             sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
             sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

1. 更新包列表之后安装 nvidia-docker2 包（以及依赖）

sudo apt-get install -y nvidia-docker2

3.重启Docker daemon 来完成设定默认运行时后的安装。

sudo systemctl restart docker

4.运行一个基础的CUDA container测试安装是否有效。

sudo docker run --rm --gpus all nvidia/cuda:11.0.3-base-ubuntu20.04 nvidia-smi

5.启动GPU版本的open-webui

sudo docker run -d --network=host --gpus all -v open-webui:/app/backend/data -e OLLAMA_BASE_URL=http://127.0.0.1:11434 --name open-webui-gpu --restart always ghcr.io/open-webui/open-webui:cuda

使用open-webui

浏览器打开http://127.0.0.1:8080
注册一个账号，登陆网站
选择一个模块，前提需要先下载好模型
后面就可以类似chatgpt的进行问答

参考

参考1

演示视频

获取最新文章: 扫一扫右上角的二维码加入“创客智造”公众号