KI auf deinem eigenen Rechner: So nutzt du Ollama und Llama
Du willst KI nutzen, aber deine Daten sollen deinen Computer nicht verlassen? Mit Ollama läuft ein vollwertiges KI-Modell direkt bei dir — kostenlos.
Lokale KI ohne Internet, ohne Abo, ohne Datenweitergabe
Jedes Mal, wenn du ChatGPT oder Claude eine Frage stellst, werden deine Eingaben über das Internet an die Server des Anbieters geschickt. Für die meisten Alltagsfragen ist das völlig in Ordnung. Aber was, wenn du sensible Texte verarbeiten willst? Oder einfach keine Lust hast, für ein KI-Abo zu bezahlen?
Dann gibt es eine Alternative, die viele nicht kennen: Du kannst eine vollwertige KI direkt auf deinem eigenen Computer laufen lassen. Keine Cloud, kein Abo, keine Datenweitergabe. Klingt nach Science-Fiction? Ist es nicht — und in diesem Artikel zeige ich dir Schritt für Schritt, wie das geht.
Warum KI lokal nutzen?
Bevor wir loslegen, drei gute Gründe, warum sich das lohnt:
- Datenschutz: Deine Eingaben verlassen niemals deinen Computer. Perfekt für persönliche Texte, vertrauliche Dokumente oder alles, was du lieber nicht bei einem US-Unternehmen eingeben möchtest.
- Kostenlos: Kein Abo, keine versteckten Kosten. Du lädst ein Open-Source-Modell herunter und nutzt es so oft du willst.
- Offline nutzbar: Einmal installiert, funktioniert die KI auch ohne Internet — im Zug, im Flugzeug, im Funkloch.
Lokale KI-Modelle sind beeindruckend, aber nicht ganz so leistungsfähig wie ChatGPT oder Claude. Für Alltagsaufgaben (Texte schreiben, zusammenfassen, übersetzen, brainstormen) reichen sie aber locker aus.
Was ist Ollama?
Ollama ist ein kostenloses Programm, das KI-Modelle auf deinem Computer installiert und startet. Stell dir Ollama wie einen App Store für KI-Modelle vor: Du sagst "Ich will Llama 3" und Ollama lädt es herunter, richtet alles ein und lässt es laufen. Du musst dich um nichts Technisches kümmern.
Ollama funktioniert auf Windows, Mac und Linux. Die Bedienung passiert über das "Terminal" — das ist das Programm, in dem man Befehle eintippen kann (keine Sorge, ich zeige dir genau welche).
Was ist Llama?
Llama ist ein KI-Sprachmodell von Meta (der Firma hinter Facebook und Instagram). Das Besondere: Meta hat Llama als "Open Source" veröffentlicht — das bedeutet, jeder darf es kostenlos herunterladen und nutzen. Llama 3.3 ist die aktuelle Version und kann erstaunlich gut Texte verstehen und schreiben.
Neben Llama gibt es noch andere lokale Modelle, die mit Ollama funktionieren — zum Beispiel Mistral (aus Frankreich) oder Gemma (von Google). Llama ist aber der beliebteste Einstieg.
Schritt-für-Schritt: Ollama installieren und loslegen
Was du brauchst
- Einen Computer mit mindestens 8 GB RAM (16 GB empfohlen)
- Etwa 5 GB freien Festplattenspeicher
- Windows 10/11, macOS oder Linux
- 10-15 Minuten Zeit
Wenn du einen Mac mit M1, M2, M3 oder M4 Chip hast, bist du im Vorteil: Diese Chips sind besonders gut für lokale KI geeignet. Die Antworten kommen spürbar schneller als auf den meisten Windows-PCs.
Schritt 1: Ollama herunterladen
- Öffne ollama.com in deinem Browser
- Klicke auf "Download" und wähle dein Betriebssystem (Windows, Mac oder Linux)
- Installiere Ollama wie jedes andere Programm — Doppelklick auf die heruntergeladene Datei und den Anweisungen folgen
Schritt 2: Das Terminal öffnen
Jetzt wird es spannend: Wir öffnen das Terminal (auch "Kommandozeile" genannt). Keine Panik — du musst nur ein paar einfache Befehle eintippen.
- Auf dem Mac: Öffne das Programm "Terminal" (findest du über die Spotlight-Suche mit Cmd+Leertaste, dann "Terminal" eintippen)
- Auf Windows: Drücke die Windows-Taste, tippe "cmd" und öffne die "Eingabeaufforderung"
- Auf Linux: Du weißt wahrscheinlich schon, wie das geht
Schritt 3: Dein erstes KI-Modell starten
Tippe folgenden Befehl ins Terminal und drücke Enter:
ollama run llama3.2Beim ersten Mal lädt Ollama das Llama-Modell herunter (ca. 2 GB). Das dauert je nach Internetverbindung ein paar Minuten. Danach siehst du einen blinkenden Cursor — und kannst sofort loslegen!
Schritt 4: Mit der KI chatten
Jetzt kannst du direkt im Terminal mit der KI sprechen. Probiere zum Beispiel:
>>> Erkläre mir in 3 Sätzen, was künstliche Intelligenz ist.
>>> Schreibe mir eine freundliche Absage für eine Einladung zum Abendessen.
>>> Fasse folgenden Text in 5 Stichpunkten zusammen: [Text einfügen]Die KI antwortet direkt im Terminal. Um die Sitzung zu beenden, tippe /bye und drücke Enter.
Frag die KI etwas Persönliches, das du bei ChatGPT nicht eingeben würdest — zum Beispiel eine Zusammenfassung eines Arztbriefs oder Hilfe beim Formulieren einer Beschwerde mit konkreten Namen. Genau dafür ist lokale KI ideal.
Welches Modell soll ich nehmen?
Ollama bietet viele verschiedene Modelle an. Hier eine Übersicht der besten Optionen für Einsteiger:
- llama3.2 (2 GB) — Der beste Einstieg. Schnell, kompakt, gut für Alltagsaufgaben. Empfehlung für den Start!
- llama3.3 (4,7 GB) — Größer und schlauer, braucht aber mehr RAM (16 GB empfohlen). Lohnt sich, wenn dein PC genug Power hat.
- mistral (4 GB) — Französisches Modell, besonders gut bei europäischen Sprachen. Gute Alternative zu Llama.
- gemma3 (3 GB) — Von Google, kompakt und schnell. Gut für kurze Fragen und Zusammenfassungen.
- qwen3 (5 GB) — Von Alibaba, überraschend gut bei mehrsprachigen Aufgaben.
Um ein anderes Modell auszuprobieren, tippe einfach zum Beispiel:
ollama run mistral
oder:
ollama run gemma3Grafische Oberfläche statt Terminal
Wenn dir das Terminal zu spartanisch ist, gibt es kostenlose Programme, die Ollama eine hübsche Chat-Oberfläche geben — ähnlich wie bei ChatGPT. Die beliebteste Option heißt Open WebUI.
- Installiere Ollama wie oben beschrieben
- Öffne im Browser: github.com/open-webui/open-webui und folge der Installationsanleitung
- Danach kannst du über deinen Browser mit der lokalen KI chatten — genau wie bei ChatGPT, nur eben auf deinem eigenen Rechner
Auf dem Mac gibt es außerdem LM Studio — ein Programm mit grafischer Oberfläche, das ähnlich wie Ollama funktioniert, aber ohne Terminal auskommt. Ebenfalls kostenlos und empfehlenswert für Einsteiger.
Lokale KI vs. Cloud-KI: Was ist besser?
Weder noch — es kommt auf den Einsatz an. Hier eine ehrliche Gegenüberstellung:
Wann lokale KI die bessere Wahl ist:
- Du verarbeitest persönliche oder vertrauliche Daten
- Du willst kein Geld für ein Abo ausgeben
- Du brauchst KI auch offline (Reisen, schlechtes Internet)
- Du willst die volle Kontrolle über deine Daten
Wann Cloud-KI (ChatGPT, Claude) besser ist:
- Du brauchst die bestmögliche Antwortqualität für komplexe Aufgaben
- Du willst KI-Bilder generieren (das geht lokal nur eingeschränkt)
- Du brauchst aktuelle Informationen aus dem Internet
- Dein Computer ist älter oder hat wenig RAM (unter 8 GB)
Nutze beides! Cloud-KI für kreative Aufgaben und komplexe Fragen, lokale KI für alles mit persönlichen Daten. Die meisten Profis arbeiten genau so.
Fazit: Deine eigene KI in 15 Minuten
Eine vollwertige KI auf dem eigenen Rechner — vor zwei Jahren war das undenkbar, heute ist es ein einzelner Befehl im Terminal. Mit Ollama und Llama hast du eine private, kostenlose KI, die deine Daten respektiert und trotzdem erstaunlich viel kann.
Mein Vorschlag: Installiere Ollama heute noch, starte Llama 3.2 und stelle deine erste Frage. Du wirst überrascht sein, wie gut das funktioniert — und wie befreiend es sich anfühlt, KI ohne schlechtes Gewissen beim Datenschutz nutzen zu können.
Viel Spaß beim Ausprobieren — auf deinem eigenen Rechner!