Lokale Bereitstellung des LLM Ollama
Stellen Sie über Ollama lokal ein eigenes großes Sprachmodell bereit, um die KI-Funktionen unbegrenzt zu nutzen.
Ollama über Docker bereitstellen
- Installieren Sie Docker Desktop (falls Sie damit nicht vertraut sind, suchen Sie einfach nach einer Installationsanleitung).
- Suchen Sie im Docker Hub nach
ollama, laden Sie das Image herunter und führen Sie es aus.
- Führen Sie nach dem Start im Terminal den folgenden Befehl aus, um ein Modell herunterzuladen (Sie können ein beliebiges Open-Source-Modell wählen):
# qwen2.5:1.5b ist der Modellname; Sie können nach anderen Modellen suchen und ihn ersetzen docker exec -it ollama ollama run qwen2.5:1.5b
- Warten Sie, bis der Modell-Download abgeschlossen ist. Damit die Erweiterung Cross-Origin-Zugriff erhält, müssen Sie den folgenden Befehl erneut ausführen:
docker run -d -v ollama:/root/.ollama -p 11434:11434 -e OLLAMA_ORIGINS="*" --name ollama ollama/ollamaWenn die Meldung „Modell existiert bereits“ erscheint, löschen Sie zuerst den vorhandenen Container und führen Sie den obigen Befehl dann erneut aus. - Kehren Sie zu den Einstellungen der Erweiterung zurück und testen Sie, ob die Verbindung zu Ollama erfolgreich ist.
