로컬 자체 배포 대형 모델 ollama
자체적으로 대형 모델 ollama를 배포하여 무제한 AI 기능 사용하기
Docker를 통한 ollama 배포
- docker desktop을 설치하세요. 방법을 모르시면 튜토리얼을 검색하세요
- Docker Hub에서 ollama를 검색하고 실행 이미지를 다운로드하세요
- 실행 후 터미널에서 다음 코드를 실행하세요. 모델은 오픈 소스 모델 중에서 선택할 수 있습니다
# qwen2.5: 1.5b는 모델 이름입니다. 다른 모델을 검색하거나 변경할 수 있습니다
docker exec -it ollama ollama run qwen2.5:1.5b
4. 모델 다운로드가 완료될 때까지 기다린 후, 플러그인의 크로스 도메인 액세스를 허용하려면 다음 명령을 다시 실행하세요
모델이 이미 존재한다는 메시지가 표시되면 모델을 삭제하고 명령을 다시 실행하세요
# 터미널에서 다음 명령을 다시 실행하세요
docker run -d -v ollama:/root/.ollama -p 11434:11434 -e OLLAMA_ORIGINS="*" --name ollama ollama/ollama
- 플러그인 설정에서 ollama를 테스트하세요
