Selbstdeployiertes lokales LLM ollama
Stellen Sie Ihr eigenes ollama LLM bereit, um unbegrenzte KI-Funktionalität zu aktivieren
Bereitstellung von ollama über Docker
- Installieren Sie docker desktop, Sie können Tutorials suchen, wenn Sie nicht wissen, wie
- Suchen Sie nach ollama in Docker Hub und laden Sie das Ausführungsimage herunter
- Nach dem Ausführen führen Sie den folgenden Code im Terminal aus, Sie können Ihr eigenes Open-Source-Modell auswählen
# qwen2.5: 1.5b ist der Modellname, Sie können nach anderen Modellen suchen oder wechseln
docker exec -it ollama ollama run qwen2.5:1.5b
4. Warten Sie, bis das Modell heruntergeladen ist, Sie müssen Cross-Domain-Zugriff für das Plugin zulassen, führen Sie den folgenden Befehl erneut aus
Wenn eine Meldung angezeigt wird, dass das Modell bereits existiert, löschen Sie das Modell und führen Sie den Befehl erneut aus
# Führen Sie den folgenden Befehl erneut im Terminal aus
docker run -d -v ollama:/root/.ollama -p 11434:11434 -e OLLAMA_ORIGINS="*" --name ollama ollama/ollama
- Testen Sie ollama in den Plugin-Einstellungen
