Die Lücke zwischen offenen und proprietären künstlichen Intelligenz-Modellen hat sich deutlich verkleinert. Neueste Analysen zeigen, dass offene Versionen den besten geschlossenen Modellen im Durchschnitt nur noch vier Monate hinterherhinken. Diese Konvergenz, die in einem Bericht von Epoch AI vom 29. Mai hervorgehoben wird, deutet darauf hin, dass leistungsfähige KI-Assistenten zunehmend auf Standard-Consumer-Hardware zugänglich sind. Infolgedessen können Nutzer diese Modelle nun lokal herunterladen und mit kostenloser Software ausführen, was die Datenschutzrisiken und monatlichen Gebühren von Cloud-Diensten vermeidet.

Datenschutz- und Kostenvorteile der lokalen Ausführung

Die lokale Ausführung von KI-Modellen bietet deutliche Vorteile in Bezug auf Datenschutz und finanzielle Kosten. Cloud-basierte Chatbots senden jeden Nutzereingabe an externe Server, eine Praxis, die rechtliche Prüfungen ausgelöst hat; Decrypt berichtete zuvor, dass ein Gericht OpenAI anordnete, ChatGPT-Protokolle, einschließlich gelöschter Einträge, zu erhalten. Im Gegensatz dazu behalten lokale Modelle die Gespräche vollständig auf dem Gerät des Nutzers, sodass keine dritte Partei ohne Genehmigung auf die Daten zugreifen kann. Die Dokumentation von LM Studio bestätigt, dass die Anwendung vollständig offline arbeiten kann, vorausgesetzt, die erforderlichen Modelldateien wurden zunächst heruntergeladen. Darüber hinaus kosten bezahlte Chatbot-Abos typischerweise etwa 20 US-Dollar pro Monat, während die Software zur Ausführung lokaler Modelle kostenlos ist; die Hauptkosten verlagern sich somit auf die Hardware, die der Nutzer wahrscheinlich bereits besitzt.

Hardwareanforderungen und Quantisierung

Die Möglichkeit, diese Modelle auszuführen, hängt vom verfügbaren Videospeicher (VRAM) auf Grafikkarten oder dem Unified Memory auf Apple-Silicon-Macs ab. Als allgemeine Richtlinie benötigen Nutzer mindestens 8 GB VRAM, um komprimierte oder quantisierte Versionen kleinerer Modelle auszuführen. Quantisierung reduziert den Speicherverbrauch, indem Gewichte mit weniger Bits gespeichert werden, beispielsweise als 8-Bit-Ganzzahlen statt als 32-Bit-Fließkommazahlen, was jedoch mit einem leichten Verlust an Genauigkeit einhergeht. Für anspruchsvollere Aufgaben wird ernsthafte Nutzern empfohlen, GPUs mit 24 GB oder mehr VRAM zu nutzen. Bestimmte Modelle haben definierte Speicherfootprints: OpenAIs gpt-oss-20b benötigt 16 GB Speicher, während das größere gpt-oss-120b innerhalb von 80 GB läuft. Googles Gemma-4-Varianten in der Ollama-Bibliothek reichen je nach spezifischer Größe von 4,6 GB bis 20 GB.

Einrichtung von Ollama und LM Studio

Zwei primäre kostenlose Tools erleichtern den lokalen KI-Einsatz: Ollama und LM Studio. LM Studio ist für allgemeine Nutzer konzipiert und bietet eine polierte grafische Oberfläche, die es Nutzern ermöglicht, Modelle direkt aus dem Hugging Face Hub zu suchen, herunterzuladen und damit zu chatten. Ollama richtet sich hingegen an Entwickler und erfahrene Nutzer, die Kommandozeilenoberflächen bevorzugen. Die Installation ist unkompliziert, mit einfachen Skripten für macOS, Linux und Windows. Nach der Installation können Nutzer bestimmte Modelle wie Gemma 4 abrufen und eine Chat-Sitzung starten. Ollama stellt auch eine lokale API bereit, die es anderen Anwendungen auf dem Computer ermöglicht, mit dem Modell zu interagieren. Es ist wichtig zu beachten, dass Modelle, die in Ollama mit ':cloud' gekennzeichnet sind, auf Remote-Servern laufen, was die Datenschutzvorteile der lokalen Ausführung zunichtemacht.