Offline-LLM für Texte

Lisa Ernst · 24.11.2025 · Technik · 9 min

Lokale Schreib-KI auf dem eigenen PC ermöglicht die Erstellung von Blog-Entwürfen, Gliederungen, Titelvarianten und Rohfassungen komplett offline. Während anfangs lokale LLMs primär zum Programmieren genutzt wurden, etablieren sie sich zunehmend als Schreibassistenten. Im Gegensatz zu Cloud-Diensten wie ChatGPT oder Claude bieten lokale Modelle volle Datenkontrolle und keine laufenden Abo-Kosten.

Quelle: Eigene Darstellung

Grundlagen lokaler KI

Die Suche nach „best ai for writing“ führt oft zu gehosteten Diensten wie ChatGPT, Claude oder spezialisierten SaaS-Tools. Diese erfordern eine Internetverbindung und geben Texte sowie Metadaten an Dritte weiter. Der Wunsch nach automatisierter Schreibhilfe ist groß, wie die Popularität von „best ai for writing“ als eine der meistgesuchten „best ai for …“-Anfragen bei Google Trends zeigt, direkt hinter „best ai for coding“.

Lokale Modelle verschieben den Schwerpunkt: Rohdaten bleiben auf dem eigenen Rechner, die Latenz ist gering, und die Kosten hängen vom Strompreis ab, nicht von Abonnements. Moderne Laufzeitumgebungen wie LM Studio, Ollama oder AMD Gaia verpacken diese Modelle in benutzerfreundliche Oberflächen. Für Schreibende entsteht so eine eigene Kategorie: „local llm for writing offline“. Dies bedeutet ein Modell, das direkt in Editoren wie VS Code oder Obsidian eingebunden ist und ohne externe Verbindung funktioniert.

Technische Aspekte

Ein „local llm for writing offline“ besteht typischerweise aus drei Schichten: einem offenen Modell (z. B. Llama, Qwen, Gemma, Phi oder DeepSeek-Distillate), einer Laufzeit wie Ollama oder LM Studio und einem Client (Editor, Browser-Plugin oder Desktop-App).

Offene Sprachmodelle

Offene Sprachmodelle bilden die Basis. Meta Llama 3 und 3.1 sind als offene Gewichte verfügbar, mit Größen von 8 bis 405 Milliarden Parametern; die 8B-Varianten sind für Consumer-Hardware konzipiert. Qwen3 von Alibaba umfasst dichte und Mixture-of-Experts-Modelle von unter 1 Milliarde bis über 200 Milliarden Parametern und legt einen starken Fokus auf Mehrsprachigkeit. Google Gemma 3, Microsoft Phi-3 und DeepSeek-R1 ergänzen das Feld mit kleineren, effizienteren Modellen und spezialisierten Reasoning-Varianten.

Laufzeiten

Laufzeiten ermöglichen den Betrieb der Modelle. Ollama bietet eine einheitliche Oberfläche und API, um verschiedene Modelle mit einem Befehl herunterzuladen und lokal bereitzustellen. Installation und Modellverwaltung erfolgen über eine Desktop-App und eine einfache CLI. LM Studio verfolgt einen ähnlichen Ansatz, fokussiert sich jedoch auf einen GUI-Workflow für Download, Benchmarking und Starten von Modellen und kann zusätzlich einen lokalen OpenAI-kompatiblen Server bereitstellen. AMD Gaia ergänzt diese Werkzeuge auf Windows, indem es lokale LLMs inklusive RAG-Agenten über eine ONNX-basierte Backend-Schicht zugänglich macht und AMD-Ryzen-AI-Systeme optimiert.

Anbindung in Schreibwerkzeuge

Die Anbindung in Schreibwerkzeuge ist entscheidend für den Workflow. Continue.dev ist eine verbreitete Erweiterung für VS Code und JetBrains, die lokale Modelle über Ollama oder LM Studio als Chat- und Inline-Assistent einbindet. Für Obsidian existieren mehrere Community-Plugins wie „AI LLM“ oder Copilot-Integrationen, die sich direkt mit lokalen Ollama- oder LM-Studio-Servern verbinden.

Für die Generierung von Texten sind die Hardware-Anforderungen für ein LLM weniger anspruchsvoll als für komplexes Codieren oder Multi-Modal-Reasoning. Die LM-Studio-Dokumentation empfiehlt für Windows-Systeme mindestens 16 GB RAM und eine GPU mit mindestens 4 GB VRAM, besonders bei größeren Kontextfenstern.

Ein 3–4B-Modell wie Phi-3-Mini läuft bereits auf reinen CPU-Systemen mit 16 GB RAM in 4-Bit-Quantisierung nutzbar schnell, sofern die Kontextlänge bei 4–8 K Tokens bleibt. Für 7–8B-Modelle wie Llama 3.1 8B oder Qwen3-8/14B empfiehlt sich eine GPU mit 8 GB VRAM oder mehr, um eine flüssige Interaktion mit 8–32 K Kontext zu ermöglichen. Eine Faustregel besagt, dass für ein 8B-Modell in 4-Bit-Quantisierung etwa 6–8 GB VRAM ausreichen, wobei bei 32K Kontext zusätzliche 4–6 GB VRAM für den KV-Cache hinzukommen können. Für 14–32B-Modelle sind entsprechend mehr Speicher oder Multi-GPU-Setups erforderlich.

Für den reinen Schreibbetrieb empfiehlt sich ein Mittelweg: 16–32 GB RAM, eine GPU mit 8–12 GB VRAM (oder Apple Silicon mit Unified Memory) und ein gut quantisiertes 7–14B-Modell. Dies ermöglicht angenehme Antwortzeiten, konsistente Texte und die Bearbeitung längerer Blogreihen in einer Sitzung.

Modellauswahl und Kontext

Für das Schreiben ist ein stabiles, natürlich klingendes Sprachgefühl entscheidender als der letzte Benchmark-Punkt, besonders im Deutschen. Ein aktueller Überblick zu offenen LLMs für Deutsch hebt Qwen3-235B-A22B, Meta-Llama-3.1-8B-Instruct und Qwen3-14B als besonders starke Kandidaten hervor, aufgrund ihrer Multilingualität und robusten deutschen Sprachkompetenz. Qwen3 wurde auf rund 36 Billionen Tokens trainiert und unterstützt 119 Sprachen und Dialekte, darunter Deutsch.

Meta Llama 3.1 8B ist in der 3.1-Generation ausdrücklich als multilingual beschrieben und bietet einen 128 K Kontext, was für Schreibprojekte mit vielen Notizen und Referenzen attraktiv ist. Gemma-2 und Gemma-3 zeichnen sich durch Effizienz aus; Gemma-2-2B-IT performt in europäischen Sprachen gut. Gemma 3 erhöht die Kontextfenster auf 32 K bei 1B-Varianten und 128 K bei größeren Modellen.

Microsofts Phi-3-Mini-4K-Instruct ist mit 3,8 B Parametern klein gehalten, schneidet aber in Benchmarks stark ab und eignet sich für Notebooks oder schwächere Desktops. DeepSeek-R1 und seine abgeleiteten Modelle sind im Reasoning-Bereich stark und open Source verfügbar. Bedenken bezüglich Datenschutz bei Online-Nutzung sprechen für strikt lokal betriebene Varianten.

Für einen alltagstauglichen Schreib-Workflow haben sich drei Klassen bewährt:

• Kleine Modelle (2–4B) wie Phi-3-Mini oder Gemma-2-2B-IT auf schwächerer Hardware, für kurze Texte, Notizen und Ideensammlungen.
• Mittelgroße Modelle (7–8B) wie Llama 3.1 8B oder Qwen3-8B/14B als „Sweet Spot“ für Blogartikel mit solider Kohärenz und guter Deutschqualität.
• Größere Modelle (14–32B) für anspruchsvolle Projekte oder lange Serien; hier steigen Speicherbedarf und Energieverbrauch, was sich eher auf Workstations lohnt.

Die Kontextlänge entscheidet, wie viel Text das Modell gleichzeitig verarbeiten kann. Für einen typischen Blogartikel mit 1500–2500 Wörtern reichen 4–8 K Tokens aus. Bei umfangreichen Recherchen, früheren Artikeln oder SEO-Briefings wird ein 32 K-Fenster attraktiv. Qwen3 wurde standardmäßig auf 32 K Kontext trainiert und kann auf 128 K erweitert werden. Llama 3.1 hebt den Kontext für die 8B-Modelle ebenfalls auf 128 K Tokens, was die Verarbeitung ganzer Content-Sammlungen ermöglicht.

Der Preis langer Kontexte ist quadratische Komplexität: Eine Vergrößerung des Kontextfensters von 8 K auf 128 K kann die Rechenlast theoretisch um den Faktor 256 steigern. Lange Kontexte sollten nur dort eingesetzt werden, wo sie Mehrwert bringen, z. B. beim Rewriting mehrerer Artikel oder umfangreichen Recherchedossiers. Für Blog-Schreiben haben sich ein kompaktes 8 K-Fenster für schnelle Ideengenerierung und ein 32 K-Fenster für große Projekte bewährt. LM-Studio-Leitfäden empfehlen, Kontextlänge und KV-Cache-Bedarf bei der Modellwahl zu berücksichtigen, da ein 32 K-Kontext bei 8B-Modellen zusätzliche 4–6 GB VRAM beanspruchen kann.

Integration in Editoren

Die Integration eines lokalen LLM direkt in den Editor ist entscheidend für einen effizienten Workflow.

VS Code: Inline-Schreibassistent

Continue.dev ist eine Open-Source-Erweiterung für VS Code, die lokale Modelle via Ollama oder LM Studio als Editor-Assistenten einbindet. Die Konfiguration erlaubt es, den API-Endpunkt eines lokalen Servers (z. B. http://localhost:11434 bei Ollama) als Quelle für Chat und Inline-Vervollständigungen zu hinterlegen. Ein gängiger Praxisweg ist die Installation von Ollama, das Herunterladen eines Modells wie Llama 3.1 8B oder Qwen3-14B und das Starten als Server. Continue wird in VS Code installiert und so konfiguriert, dass alle Anfragen an diesen lokalen Endpoint gehen. Inline-Vorschläge helfen dann beim Formulieren von Einleitungen, Zwischenüberschriften oder Übergängen, während Chat-Prompts längere Abschnitte umschreiben oder in andere Tonalitäten übertragen.

Wer LM Studio bevorzugt, kann dessen Server-Modus aktivieren und ihn über Erweiterungen wie CodeGPT als lokalen AI-Provider anbinden. Eine Anleitung zeigt, wie der lokale LM-Studio-Server in VS Code als Quelle für Chat-Interaktion und Textvorschläge genutzt wird.

Video-Tipps für die Praxis (VS Code & Modelle):

„Build a FREE AI Coding Assistant Locally in VS Code“ – sinnvoll für die Grundkonfiguration von Continue + Ollama, die sich auf Schreibmodelle übertragen lässt.

„Local AI Coding in VS Code: Installing Llama 3 with Continue“ – zeigt exemplarisch, wie Llama 3 lokal mit Continue verbunden wird; dasselbe Setup funktioniert für Schreib-Prompts.

Obsidian: Wissensmanagement und Schreiben in einem

Für Schreibende, die Obsidian als Zettelkasten oder Content-Datenbank nutzen, ist eine lokale Integration besonders spannend. Der „AI LLM“-Plugin-Eintrag beschreibt explizit die Unterstützung von lokalen LLMs über Ollama, inklusive Funktionen zum Erweitern und Umschreiben von Text direkt im Markdown-Dokument. Eine Anleitung zeigt, wie Obsidian-Copilot mit LM Studio verbunden wird, indem der lokale Server unter einer OpenAI-kompatiblen URL konfiguriert wird.

Ein Praxisbeispiel: In LM Studio läuft ein Qwen3-7B-Instruct-Modell, das über den „Local LLM Service“ als Server bereitgestellt wird; Obsidian-Copilot oder das AI-LLM-Plugin sendet ausgewählte Absätze an diesen Server, um Vorschläge für bessere Übergänge, alternative Formulierungen oder Meta-Beschreibungen zu erzeugen – ohne dass Daten in die Cloud gelangen.

Video-Tipps für Obsidian + lokal:

„How To Run Local AI With Obsidian Copilot Plugin + LM Studio“ zeigt Schritt für Schritt, wie LM Studio als lokaler Anbieter für Obsidian-Copilot eingerichtet wird.

„Ollama + Obsidian (LocalGPT): Writing with local models“ demonstriert, wie ein lokales Ollama-Modell über ein Obsidian-Plugin beim Schreiben unterstützt.

Datenschutz und Risiken

Offline-Betrieb bietet eine Lösung für Datenschutzfragen. Es ist jedoch wichtig zu prüfen, welche Modelle und Oberflächen tatsächlich nur lokal arbeiten. DeepSeek hat den Open-Source-Diskurs stark geprägt, aber auch Kritik wegen möglicher staatlicher Zugriffe in China auf Cloud-Dienste erhalten. Die tschechische NÚKIB warnte offiziell davor, DeepSeek-Produkte in kritischen Infrastrukturen zu verwenden, da chinesische Gesetze Unternehmen zur Zusammenarbeit mit Behörden verpflichten. Solche Bedenken betreffen vor allem gehostete Dienste, weniger lokal gespeicherte Modellgewichte. Dennoch ist es wichtig, die verwendeten Tools zu prüfen: Manche grafische Oberflächen verbinden standardmäßig lokale Modelle und Cloud-APIs im gleichen Interface, und Telemetrie kann auch beim reinen Localhost-Betrieb Daten senden.

In regulierten Branchen können lokale LLMs eine Brücke schlagen: Patient:innen- oder Kundendaten bleiben im eigenen Netz, während das Modell nur auf synthetische oder anonymisierte Informationen zugreift. Die Pflicht, jeden generierten Text fachlich und rechtlich zu prüfen, bleibt bestehen; keine der aktuellen Studien empfiehlt einen Einsatz ohne menschliche Kontrolle.

Lokale Schreib-KI hat sich zu einem ernstzunehmenden Baustein im Schreibworkflow entwickelt. Ein gut konfiguriertes „local llm for writing offline“ – wie Llama 3.1 8B, Qwen3-14B oder ein effizientes Gemma- oder Phi-Modell – liefert heute Qualität für Entwürfe, Varianten und Strukturvorschläge für Blogs, Newsletter oder Longform-Texte, ohne dass Inhalte die eigene Infrastruktur verlassen. Die Integration in Editoren wie VS Code oder Obsidian ist dabei entscheidend. Wer bereits ein Setup für lokale Programmier-Assistenz aufgebaut hat, kann dieselbe Infrastruktur nutzen, um Inhalte zu schreiben. Das Modell übernimmt Rohfassungen, Varianten und Vorschläge, während Struktur, Faktenprüfung und letzter Schliff beim Nutzer bleiben. Lokale Schreib-KI agiert als produktiver Co-Autor, der nie das Haus verlässt.