ollama大模型框架入门教程-使用Ollama+anythingLLM构建本地知识库

说明

• anythingLLM 是一个开源的本地语言模型 (LLM) 平台，旨在为用户提供私有和可控的语言模型服务。
• 与依赖于云端服务的模型不同，anythingLLM 允许用户在自己的硬件上运行大型语言模型，从而确保数据的隐私和安全。
• 环境：ubuntu18.04 + 1080Ti + cuda12

该平台的主要功能包括：

• 本地运行：用户可以在自己的硬件上运行语言模型，避免将数据上传到云端，从而提高数据隐私和安全性。
• 开源：anythingLLM 是开源项目，用户可以查看、修改和自定义代码，以满足特定需求。
• 多模型支持：平台支持多种语言模型，用户可以选择最适合自己需求的模型。
• 可扩展性：用户可以根据自己的硬件配置和应用需求调整模型的规模和性能。

优势

• anythingLLM 的主要优势在于它提供了一个高度灵活和可控的环境，适用于对数据隐私有严格要求的场景，例如企业内部的敏感数据处理和个体用户的私人信息管理。通过在本地运行语言模型，用户可以完全掌控数据处理流程，避免潜在的数据泄露风险。

采用docker安装方式

• 1. 新建一个文件anythingllm.sh,内容如下：

export STORAGE_LOCATION=$HOME/anythingllm && \
mkdir -p $STORAGE_LOCATION && \
touch "$STORAGE_LOCATION/.env" && \
docker run -d --network=host -p 3001:3001 \
--cap-add SYS_ADMIN \
-v ${STORAGE_LOCATION}:/app/server/storage \
-v ${STORAGE_LOCATION}/.env:/app/server/.env \
-e STORAGE_DIR="/app/server/storage" \
mintplexlabs/anythingllm

• 要注意增加--network=host ，要不没法正常使用ollama
• 运行上述命令后，会下载相应docker镜像，并生成一些目录
• 2.配置$HOME/anythingllm/.env权限

sudo chmod 777 $HOME/anythingllm/.env

• 要不容易出现不能保持配置错误
• 3.通过浏览器访问http://127.0.0.1:3001即可配置anythingLLM

配置anythingLLM

• 第一次通过浏览器访问http://127.0.0.1:3001需要配置