Modelo LLM local con Ollama

Despliega tu propio modelo LLM en local con Ollama para usar las funciones de AI sin límite.

Desplegar Ollama con Docker

  1. Instala Docker Desktop (si no lo conoces, busca un tutorial de instalación).
  2. Busca ollama en Docker Hub, luego descarga y ejecuta la imagen.
  3. Una vez en ejecución, ejecuta en la terminal el siguiente comando para descargar un modelo (puedes elegir el modelo de código abierto que prefieras):
    # qwen2.5:1.5b es el nombre del modelo; puedes buscar y reemplazarlo por otro
    docker exec -it ollama ollama run qwen2.5:1.5b
    

  4. Espera a que termine la descarga del modelo. Para permitir que la extensión acceda entre dominios, vuelve a ejecutar el siguiente comando:
    docker run -d -v ollama:/root/.ollama -p 11434:11434 -e OLLAMA_ORIGINS="*" --name ollama ollama/ollama
    
    Si aparece un mensaje que indica que el modelo ya existe, elimina primero el contenedor existente y vuelve a ejecutar el comando anterior.
  5. Vuelve a la configuración de la extensión y prueba si la conexión con Ollama es correcta.