Локальное развёртывание большой модели Ollama

Развёртывание Ollama через Docker

1. Установите Docker Desktop (если вы не знакомы с ним, найдите руководство по установке самостоятельно).
2. Найдите ollama в Docker Hub, скачайте и запустите образ.
   
3. После запуска выполните в терминале следующую команду, чтобы загрузить модель (можно выбрать любую открытую модель):

   # qwen2.5:1.5b — это название модели, вы можете найти и заменить его на другую модель
   docker exec -it ollama ollama run qwen2.5:1.5b
   

   
   
4. Дождитесь завершения загрузки модели. Чтобы разрешить расширению кросс-доменный доступ, нужно заново выполнить следующую команду:

   docker run -d -v ollama:/root/.ollama -p 11434:11434 -e OLLAMA_ORIGINS="*" --name ollama ollama/ollama
   

   Если появится сообщение «модель уже существует», сначала удалите существующий контейнер, а затем заново выполните команду выше.
5. Вернитесь в настройки расширения и проверьте, успешно ли устанавливается подключение к Ollama.