ollama大模型框架入门教程-REST API接口

说明

• Ollama 提供了 REST API，使得开发者可以通过 HTTP 请求与其机器学习模型进行交互。
• 使用 REST API，可以方便地实现模型的加载、运行、管理和查询等功能。
• 以下是一个基本的 Ollama REST API 概述及一些常见的操作示例。

API 概述

• Ollama 的 REST API 通常包括以下几个主要端点：
• 1.模型管理

加载模型
卸载模型
获取模型列表

• 2.推理服务

发送推理请求
获取推理结果

• 3.系统信息

获取系统状态
获取资源使用情况

示例

• 1.加载模型
• 加载一个模型，使其准备好接受推理请求。

curl http://localhost:11434/api/generate -d '{
  "model": "llama3"
}'

• 效果

curl http://localhost:11434/api/generate -d '{
>   "model": "llama3"
> }'
{"model":"llama3","created_at":"2024-06-10T07:34:40.622965006Z","response":"","done":true,"done_reason":"load"}

• 2.卸载模型
• 卸载一个不再需要的模型。

curl -X DELETE http://localhost:11434/api/delete -d '{
  "name": "llama3:13b"
}'

• 3.获取模型列表
• 获取当前已加载的模型列表。

curl http://localhost:11434/api/tags

• 4.发送推理请求
• 发送数据到模型进行推理，并获取结果。

curl http://localhost:11434/api/generate -d '{
  "model": "llama3",
  "prompt": "Why is the sky blue?"
}'

• 5.获取模型状态

curl http://localhost:11434/api/show -d '{
  "name": "llama3"
}'

• 6.查看正在使用的模型

curl http://localhost:11434/api/ps

参考：

• 参考1
• 参考2

演示视频