跳到主要内容

六、故障排除

有时候 Ollama 可能表现不如预期。找出发生了什么的最佳方法之一是查看日志。在 Mac 上通过运行以下命令找到日志:

cat ~/.ollama/logs/server.log

在带有 systemd 的 Linux 系统上,可以通过以下命令找到日志:

journalctl -u ollama

当在 容器 中运行 Ollama 时,日志会输出到容器中的 stdout/stderr:

docker logs <container-name>

(使用 docker ps 查找容器名称)

如果在终端中手动运行 ollama serve,日志将显示在该终端上。

Windows 上运行 Ollama 时,有几个不同的位置。您可以通过按 <cmd>+R 键并输入以下内容在资源管理器窗口中查看它们:

  • explorer %LOCALAPPDATA%\Ollama 查看日志
  • explorer %LOCALAPPDATA%\Programs\Ollama 浏览二进制文件(安装程序会将其添加到用户 PATH)
  • explorer %HOMEPATH%\.ollama 浏览模型和配置存储位置
  • explorer %TEMP% 临时可执行文件存储在一个或多个 ollama* 目录中

要启用额外的调试日志以帮助解决问题,首先从托盘菜单中退出运行的应用程序,然后在 PowerShell 终端中执行以下命令:

$env:OLLAMA_DEBUG="1"
& "ollama app.exe"

加入 Discord 获取帮助解释日志。

1. LLM 库

Ollama 包含为不同 GPU 和 CPU 矢量功能编译的多个 LLM 库。Ollama 会根据您系统的功能选择最佳的库。如果这种自动检测出现问题,或者遇到其他问题(例如 GPU 崩溃),您可以通过强制指定特定的 LLM 库来解决。cpu_avx2 将表现最佳,其次是 cpu_avx,最兼容但速度最慢的是 cpu。在 MacOS 下的 Rosetta 模拟将与 cpu 库一起使用。

在服务器日志中,您将看到类似以下消息的内容(每个版本可能有所不同):

Dynamic LLM libraries [rocm_v6 cpu cpu_avx cpu_avx2 cuda_v11 rocm_v5]

实验性 LLM 库覆盖

您可以将 OLLAMA_LLM_LIBRARY 设置为任何可用的 LLM 库以绕过自动检测,例如,如果您有一个 CUDA 卡,但想要强制使用具有 AVX2 矢量支持的 CPU LLM 库,可以使用以下命令:

OLLAMA_LLM_LIBRARY="cpu_avx2" ollama serve

您可以通过以下命令查看 CPU 的功能:

cat /proc/cpuinfo| grep flags  | head -1

2. AMD Radeon GPU 支持

Ollama 利用 AMD ROCm 库,该库不支持所有 AMD GPU。在某些情况下,您可以强制系统尝试使用一个接近的 LLVM 目标。例如,Radeon RX 5400 是 gfx1034(也称为 10.3.4),但 ROCm 目前不支持此目标。最接近的支持是 gfx1030。您可以使用环境变量 HSA_OVERRIDE_GFX_VERSIONx.y.z 语法。例如,要强制系统在 RX 5400 上运行,您可以将 HSA_OVERRIDE_GFX_VERSION="10.3.0" 设置为服务器的环境变量。如果您有不受支持的 AMD GPU,可以尝试使用下面列出的受支持类型。

目前,已知支持的 GPU 类型如下 LLVM 目标。以下表格显示了一些映射到这些 LLVM 目标的示例 GPU:

LLVM 目标示例 GPU
gfx900Radeon RX Vega 56
gfx906Radeon Instinct MI50
gfx908Radeon Instinct MI100
gfx90aRadeon Instinct MI210
gfx940Radeon Instinct MI300
gfx941
gfx942
gfx1030Radeon PRO V620
gfx1100Radeon PRO W7900
gfx1101Radeon PRO W7700
gfx1102Radeon RX 7600

AMD 正在努力增强 ROCm v6,以在将来的发布中扩大对 GPU 家族的支持,这应该会增加对更多 GPU 的支持。

Discord 上联系或提交 问题 获取额外帮助。

3. 在 Linux 上安装旧版或预发布版本

如果在 Linux 上遇到问题并希望安装旧版本,或者想在正式发布之前尝试预发布版本,您可以告诉安装脚本要安装哪个版本。

curl -fsSL https://ollama.com/install.sh | OLLAMA_VERSION="0.1.29" sh