本地部署大模型 Ollama

透過 Docker 部署 Ollama

1. 安裝 Docker Desktop 桌面端（不熟悉的話可自行搜尋安裝教程）。
2. 在 Docker Hub 中搜尋 ollama，下載並執行映像。
   
3. 執行後，透過終端機執行以下指令拉取模型（模型可自行選擇開源模型）：

   # qwen2.5:1.5b 是模型名，你可以自行搜尋並替換為其他模型
   docker exec -it ollama ollama run qwen2.5:1.5b
   

   
   
4. 等待模型下載完成。為了允許插件跨域存取，需要重新執行以下指令：

   docker run -d -v ollama:/root/.ollama -p 11434:11434 -e OLLAMA_ORIGINS="*" --name ollama ollama/ollama
   

   如果提示「模型已存在」，請先刪除已有容器，再重新執行上面的指令。
5. 回到插件設定中，測試 Ollama 連接是否成功。