Implantação Local de LLM com Ollama

Implante o seu próprio modelo LLM localmente com o Ollama para usar os recursos de AI de forma ilimitada.

Implantando o Ollama com Docker

  1. Instale o Docker Desktop (se não estiver familiarizado, pesquise um tutorial de instalação).
  2. Pesquise por ollama no Docker Hub e, em seguida, baixe e execute a imagem.
  3. Depois de executar, use o terminal para baixar um modelo (escolha o modelo de código aberto que preferir):
    # qwen2.5:1.5b é o nome do modelo; você pode pesquisar e substituí-lo por outro modelo
    docker exec -it ollama ollama run qwen2.5:1.5b
    

  4. Aguarde a conclusão do download do modelo. Para permitir o acesso entre origens (cross-origin) da extensão, execute novamente o seguinte comando:
    docker run -d -v ollama:/root/.ollama -p 11434:11434 -e OLLAMA_ORIGINS="*" --name ollama ollama/ollama
    
    Se aparecer a mensagem "o modelo já existe", exclua primeiro o contêiner existente e execute o comando acima novamente.
  5. De volta às configurações da extensão, teste se a conexão com o Ollama foi bem-sucedida.