Ollama

Ollama 是一个开源的大型语言模型服务，提供了类似 OpenAI 的 API 接口和聊天界面，可以非常方便地部署最新版本的 GPT 模型并通过接口使用。支持热加载模型文件，无需重新启动即可切换不同的模型。

启动并运行大型语言模型。

macOS 操作系统

Download

Windows 预览版

Download

Linux操作系统

curl -fsSL https://ollama.com/install.sh | sh

手动安装说明

Docker

The official Ollama Docker image ollama/ollama is available on Docker Hub.

Libraries

快速入门

要运行并与 Llama 3聊天：

ollama run llama3

模型库

Ollama 支持 ollama.com/library 上可用的模型列表 ollama.com/library

以下是一些可以下载的示例模型：

ModelParametersSizeDownload
Llama 38B4.7GBollama run llama3
Llama 370B40GBollama run llama3:70b
Phi 3 Mini3.8B2.3GBollama run phi3
Phi 3 Medium14B7.9GBollama run phi3:medium
Gemma 29B5.5GBollama run gemma2
Gemma 227B16GBollama run gemma2:27b
Mistral7B4.1GBollama run mistral
Moondream 21.4B829MBollama run moondream
Neural Chat7B4.1GBollama run neural-chat
Starling7B4.1GBollama run starling-lm
Code Llama7B3.8GBollama run codellama
Llama 2 Uncensored7B3.8GBollama run llama2-uncensored
LLaVA7B4.5GBollama run llava
Solar10.7B6.1GBollama run solar

注意：您至少应有 8 GB 的可用 RAM 来运行 7B 型号，16 GB 的可用 RAM 来运行 13B 型号，32 GB 的 RAM 来运行 33B 型号。

自定义模型

从 GGUF 导入

Ollama 支持在 Modelfile 中导入 GGUF 模型：

  1. 创建一个名为 的文件，其中包含要导入的模型的本地文件路径的指令。ModelfileFROM

    FROM ./vicuna-33b.Q4_0.gguf

  2. 在 Ollama 中创建模型

    ollama create example -f Modelfile

  3. 运行模型

    ollama run example

从 PyTorch 或 Safetensors 导入

有关详细信息，请参阅有关导入模型的指南。

自定义提示

Ollama 库中的模型可以通过提示进行自定义。例如，要自定义模型：llama3

ollama pull llama3

创建一个：Modelfile

FROM llama3

# set the temperature to 1 [higher is more creative, lower is more coherent]
PARAMETER temperature 1

# set the system message
SYSTEM """
You are Mario from Super Mario Bros. Answer as Mario, the assistant, only.
"""

接下来，创建并运行模型：

ollama create mario -f ./Modelfile
ollama run mario
>>> hi
Hello! It's your friend Mario.

社区集成

Web & Desktop

Terminal

Database

Package managers

Libraries

Mobile

Extensions & Plugins

Supported backends

  • llama.cpp project founded by Georgi Gerganov.