대형 모델 Ollama 로컬 배포

Docker를 통한 Ollama 배포

1. Docker Desktop 데스크톱 버전을 설치하세요(익숙하지 않다면 설치 튜토리얼을 직접 검색하세요).
2. Docker Hub에서 ollama를 검색하여 이미지를 다운로드하고 실행하세요.
   
3. 실행한 후 터미널에서 다음 명령을 실행하여 모델을 가져오세요(모델은 오픈 소스 모델 중에서 자유롭게 선택할 수 있습니다):

   # qwen2.5:1.5b 는 모델 이름입니다. 직접 검색하여 다른 모델로 교체할 수 있습니다
   docker exec -it ollama ollama run qwen2.5:1.5b
   

   
   
4. 모델 다운로드가 완료될 때까지 기다리세요. 확장 프로그램의 교차 출처 접근을 허용하려면 다음 명령을 다시 실행해야 합니다:

   docker run -d -v ollama:/root/.ollama -p 11434:11434 -e OLLAMA_ORIGINS="*" --name ollama ollama/ollama
   

   "모델이 이미 존재합니다"라는 메시지가 표시되면 기존 컨테이너를 먼저 삭제한 후 위 명령을 다시 실행하세요.
5. 확장 프로그램 설정으로 돌아가 Ollama 연결이 성공했는지 테스트하세요.