Im Post über lokale KI-Modelle mit Ollama haben wir gesehen, wie man LLMs über die Kommandozeile ausführt. Das reicht für Skripte und API-Integration — aber für den Alltag fehlt eine Oberfläche. Open WebUI schließt diese Lücke: eine vollwertige Chat-Oberfläche, die sich an deinen lokalen Ollama-Dienst koppelt und im Browser läuft.

Voraussetzungen

  • Ollama läuft lokal (Port 11434 erreichbar) — Installation im verlinkten Post
  • Docker installiert
  • Mindestens 4 GB freier RAM (je nach Modell mehr)

Modelle und Hardware-Empfehlungen findest du im Ollama Modell-Vergleich.

Open WebUI starten

Der schnellste Weg ist ein einzelner Docker-Befehl:

docker run -d \
  --name open-webui \
  --restart unless-stopped \
  -p 3000:8080 \
  -v open-webui:/app/backend/data \
  -e OLLAMA_BASE_URL=http://host.docker.internal:11434 \
  ghcr.io/open-webui/open-webui:main

Auf Linux ersetzt du host.docker.internal durch die Host-IP (meist 172.17.0.1) oder nutzt --network=host mit OLLAMA_BASE_URL=http://localhost:11434.

Nach dem Start ist die Oberfläche unter http://localhost:3000 erreichbar. Beim ersten Aufruf legst du einen Admin-Account an.

Mit docker-compose betreiben

Für einen dauerhaften Betrieb empfiehlt sich eine docker-compose.yml:

services:
  open-webui:
    image: ghcr.io/open-webui/open-webui:main
    restart: unless-stopped
    ports:
      - "3000:8080"
    volumes:
      - open-webui:/app/backend/data
    environment:
      - OLLAMA_BASE_URL=http://ollama:11434
    depends_on:
      - ollama

  ollama:
    image: ollama/ollama
    restart: unless-stopped
    volumes:
      - ollama:/root/.ollama
    # GPU-Support: Zeilen unten einkommentieren
    # deploy:
    #   resources:
    #     reservations:
    #       devices:
    #         - driver: nvidia
    #           count: all
    #           capabilities: [gpu]

volumes:
  open-webui:
  ollama:
docker compose up -d

Modelle laden

In der Oberfläche unter Einstellungen → Modelle kannst du direkt aus dem Modell-Verzeichnis laden. Alternativ über das Terminal:

# In den Ollama-Container einsteigen
docker exec -it ollama ollama pull llama3.2
docker exec -it ollama ollama pull mistral
docker exec -it ollama ollama pull gemma3:4b

Kleiner Einstieg: gemma3:4b (~3 GB) läuft auf den meisten Rechnern mit 8 GB RAM flüssig.

Funktionen im Überblick

Mehrere Konversationen — Chats werden lokal gespeichert, durchsuchbar und exportierbar als JSON oder Markdown.

Systemrollen (System Prompts) — Definiere eine Rolle für das Modell, die in jeder neuen Konversation aktiv ist. Nützlich für “Antworte immer auf Deutsch” oder eine spezifische Arbeitsrolle.

Modell-Auswahl pro Chat — Du kannst innerhalb einer Sitzung das Modell wechseln oder zwei Modelle parallel vergleichen (“Arena”-Modus).

Datei-Upload — Manche Modelle (z.B. llava für Bilder, llama3.2 mit RAG-Plugin) können Dateien als Kontext verarbeiten.

RAG (Retrieval Augmented Generation) — Lade eigene Dokumente hoch, die das Modell als Wissensquelle nutzt. Gut für interne Dokumentationen oder Handbücher.

Zugriff von außen absichern

Wenn du Open WebUI nicht nur lokal nutzt, solltest du es hinter einem Reverse Proxy absichern:

ai.deinedomain.de {
    reverse_proxy localhost:3000
    basicauth {
        nutzer $2a$14$...  # bcrypt-Hash
    }
}

Wichtig: Ohne Authentifizierung ist die Oberfläche für alle im Netz erreichbar. Open WebUI hat zwar eine eigene Benutzerverwaltung, aber ein zusätzlicher Layer schadet nie.

Tipps für den Alltag

Modell-Shortcuts — Lege in den Einstellungen Tastenkürzel für häufig genutzte Modelle an, um schnell zu wechseln.

Prompt-Bibliothek — Speichere häufig verwendete Prompts als Vorlage. Erreichbar über das /-Zeichen im Chat-Eingabefeld.

Offline-Betrieb — Einmal heruntergeladene Modelle laufen ohne Internetverbindung. Ideal für sensible Umgebungen oder schlechte Verbindung.

Update-Strategie — Das main-Tag von Open WebUI folgt dem Entwicklungsstand. Für stabilere Umgebungen empfiehlt sich ein versioniertes Tag wie :v0.6.0.

# Image aktualisieren
docker compose pull
docker compose up -d

Open WebUI entwickelt sich schnell weiter — ein Blick in die Release-Notes lohnt sich beim Update.