OLLAMA 是一个开源项目，旨在简化大型语言模型(LLMs)在本地环境中的部署和运行。

1.什么是 OLLAMA？ #

OLLAMA提供了一个框架和工具集，让开发者能够：

• 轻松在本地计算机上运行各种开源大型语言模型
• 管理不同的模型版本
• 通过简单的命令行界面与模型交互

2.主要特性 #

1. 模型管理：

   • 下载、更新和删除不同的语言模型
   • 支持多种开源模型如 LLaMA、Mistral 等

2. 本地运行：

   • 完全在您的设备上运行，无需云服务
   • 保护隐私，数据不会离开您的机器

3. 简单易用：

   • 通过简单的命令行界面操作
   • 提供 REST API 供开发者集成

4. 跨平台支持：

   • 支持 macOS、Linux 和 Windows

3.基本使用方法 #

1. 安装 OLLAMA：

   curl -fsSL https://ollama.com/install.sh | sh

2. 运行模型：

   ollama run llama2

3. 可用命令：

   • ollama list - 列出已安装的模型
   • ollama pull - 下载模型
   • ollama rm - 删除模型
   • ollama help - 查看帮助

4.支持的模型 #

OLLAMA 支持多种开源模型，包括但不限于：

• LLaMA 2
• Mistral
• Gemma
• Phi-2
• 以及其他兼容 GGUF 格式的模型

5.使用场景 #

1. 本地开发测试：快速测试不同语言模型的效果
2. 隐私敏感应用：处理敏感数据而不上传到云端
3. 离线环境使用：在没有网络连接的情况下使用AI能力
4. 教育研究：学习和研究大型语言模型的内部工作原理

6.系统要求 #

运行 OLLAMA 需要：

• 现代CPU（建议有AVX指令集支持）
• 足够的内存（至少8GB，大型模型需要更多）
• 可选GPU加速（通过CUDA或Metal）

OLLAMA 为开发者和研究者提供了一个简单高效的方式来探索和使用开源大型语言模型，是本地AI开发的有力工具。

7.修改 Ollama 的模型下载和存储目录 #

7.1 方法 1：设置环境变量 OLLAMA_MODELS（推荐） #

Ollama 默认将模型存储在：

• Linux/MacOS: ~/.ollama/models
• Windows: C:\Users\<username>\.ollama\models

通过设置 OLLAMA_MODELS 环境变量，可以自定义模型存储路径：

7.2 步骤： #

1. Linux/MacOS（在终端中运行）：

   export OLLAMA_MODELS="/path/to/your/custom/models"

   （若要永久生效，将上述命令添加到 ~/.bashrc 或 ~/.zshrc 中）

2. Windows（在 PowerShell 或 CMD 中运行）：

   $env:OLLAMA_MODELS="D:\ollama\models"  # 临时生效

   （若要永久生效，通过系统属性 > 环境变量添加用户变量）

3. 重启 Ollama 服务：

   ollama serve  # 如果正在运行，先停止再重启

7.3 方法 2：修改 Ollama 配置文件 #

Ollama 的配置文件通常位于 ~/.ollama/config.json（Linux/Mac）或 C:\Users\<username>\.ollama\config.json（Windows），可以手动指定模型目录：

1. 编辑配置文件（如果不存在则创建）：

   {
     "models": "/path/to/your/custom/models"
   }

2. 重启 Ollama 服务。

7.4 方法 3：使用符号链接（Linux/Mac） #

如果不想修改环境变量，可以将默认目录链接到自定义路径：

mkdir -p /new/models/path
ln -s /new/models/path ~/.ollama/models

7.5 验证修改是否生效 #

1. 下载一个测试模型：

   ollama pull llama3

2. 检查模型是否存储在新目录：

   ls $OLLAMA_MODELS  # 或手动浏览自定义路径

7.6 注意事项 #

1. 权限问题：确保新目录有读写权限（例如 chmod -R 777 /path/to/models）。
2. 数据迁移：如果已有模型在默认目录，可以手动复制到新路径：

   cp -r ~/.ollama/models/* /new/models/path/

3. Windows 用户：路径需使用反斜杠（如 D:\ollama\models），避免空格和特殊字符。

总结 #

• 推荐方法：通过 OLLAMA_MODELS 环境变量修改（兼容性最好）。
• 备选方案：修改配置文件或使用符号链接。
• 修改后需重启 Ollama 服务生效。

7.7 配置镜像 #

7.7.1 方法一：通过环境变量配置（推荐） #

在启动 Ollama 前设置环境变量：

# Linux/macOS
export OLLAMA_MIRROR="https://registry.aliyuncs.com"  # 替换为实际镜像地址
ollama run gemma:3b

# Windows（PowerShell）
$env:OLLAMA_MIRROR = "https://registry.aliyuncs.com"
ollama run gemma:3b

7.7.2 方法二：修改配置文件 #

Ollama 的配置文件路径：

• Linux/macOS: ~/.ollama/config.json
• Windows: C:\Users\<用户名>\.ollama\config.json

添加或修改以下内容：

{
  "registry": {
    "mirrors": {
      "docker.io": "https://mirror.example.com",
      "ghcr.io": "https://mirror.example.com"
    }
  }
}

7.7.3 常用镜像源地址 #

镜像提供商	地址示例	适用场景
阿里云	https://registry.aliyuncs.com	国内用户首选
腾讯云	https://mirror.ccs.tencentyun.com	腾讯云服务器用户
中科大	https://docker.mirrors.ustc.edu.cn	教育网优化
Docker Hub 镜像	https://hub-mirror.c.163.com	通用加速