Локальная самодеплоенная большая модель ollama
Разверните свою собственную большую модель ollama для обеспечения неограниченной функциональности ИИ
Развертывание ollama через Docker
- Установите docker desktop, вы можете найти руководства, если не знаете, как
- Найдите ollama в Docker Hub и загрузите образ выполнения
- После запуска выполните следующий код в терминале, вы можете выбрать свою собственную открытую модель
# qwen2.5: 1.5b - это название модели, вы можете найти или изменить на другую модель
docker exec -it ollama ollama run qwen2.5:1.5b
4. Дождитесь загрузки модели, вам нужно разрешить кросс-доменный доступ для плагина, выполните следующую команду снова
Если появится сообщение о том, что модель уже существует, пожалуйста, удалите модель и выполните команду снова
# Пожалуйста, выполните следующую команду снова в терминале
docker run -d -v ollama:/root/.ollama -p 11434:11434 -e OLLAMA_ORIGINS="*" --name ollama ollama/ollama
- Протестируйте ollama в настройках плагина
