Large Language Models (LLMs) bilden die Grundlage vieler moderner KI-Anwendungen – von Chat-Assistenten über Coding-Tools bis hin zu intelligenten Agenten.
Im Kern wird ein LLM darauf trainiert, den nächsten Token vorherzusagen.
Bei:
The capital of France is
wird das Modell beispielsweise Paris eine hohe Wahrscheinlichkeit geben.
Aus diesem zunächst einfachen Trainingsziel entstehen bei sehr großen Modellen Fähigkeiten wie Übersetzung, Zusammenfassung, Programmierung und Analyse.
Wichtig ist jedoch: Ein LLM ist nicht automatisch eine verifizierte Wissensdatenbank. Es erzeugt wahrscheinliche Fortsetzungen von Text.
Tokens
Text wird vor der Verarbeitung in kleinere Einheiten, sogenannte Tokens, zerlegt.
Die Anzahl der Tokens beeinflusst unter anderem:
- API-Kosten
- Latenz
- maximale Eingabegröße
- maximale Ausgabegröße
- Auslastung des Context Windows
Transformer
Die meisten modernen LLMs basieren auf der Transformer-Architektur.
Ihr zentraler Mechanismus ist Attention.
Attention ermöglicht dem Modell festzustellen, welche Teile eines Textes für einen bestimmten Token besonders relevant sind.
Die bekannte Formel lautet:
Attention(Q,K,V) = softmax(QKᵀ / √dₖ)V
Für die Anwendungsentwicklung muss diese Formel nicht auswendig gelernt werden. Entscheidend ist das Konzept:
Attention bestimmt, welche anderen Tokens bei der Verarbeitung eines Tokens besonders berücksichtigt werden sollen.
Embeddings
Tokens werden zunächst in numerische Vektoren umgewandelt, die Embeddings genannt werden.
Sie bilden sprachliche und semantische Eigenschaften in einem multidimensionalen Raum ab.
Query, Key und Value
Attention verwendet drei Repräsentationen:
- Query: Welche Information wird gesucht?
- Key: Welche Information ist hier vorhanden?
- Value: Welche Information soll übertragen werden, wenn sie relevant ist?
Multi-Head Attention
Transformer verwenden mehrere Attention-Mechanismen parallel.
Unterschiedliche Heads können unterschiedliche Beziehungen erkennen, beispielsweise grammatische Strukturen, semantische Zusammenhänge oder Referenzen zwischen weit auseinanderliegenden Textteilen.
Positionsinformation
Die Reihenfolge von Tokens ist entscheidend.
Dog bites man
und
Man bites dog
haben ähnliche Wörter, aber unterschiedliche Bedeutungen.
Daher benötigt ein Transformer zusätzliche Informationen über die Position der Tokens.
Wie erzeugt ein LLM Text?
Nach dem Prompt berechnet das Modell Wahrscheinlichkeiten für den nächsten Token.
Ein Token wird ausgewählt und anschließend erneut eine Vorhersage durchgeführt.
Der Prozess sieht vereinfacht so aus:
Prompt → Token → Token → Token → ...
Temperature
Temperature steuert, wie deterministisch die Token-Auswahl ist.
Niedrige Werte eignen sich meist für:
- Datenextraktion
- Klassifikation
- strukturierte Ausgaben
- Tool-Aufrufe
Höhere Werte sind eher für kreative Aufgaben geeignet.
Eine höhere Temperature macht das Modell nicht intelligenter, sondern vor allem weniger deterministisch.
Prompting
Ein Prompt ist in produktiven Anwendungen die Schnittstelle zwischen Software und Sprachmodell.
Ein guter Prompt beschreibt:
- Aufgabe
- verfügbare Informationen
- Einschränkungen
- gewünschtes Verhalten
- Ausgabeformat
Statt:
Analyze this customer.
ist beispielsweise besser:
Analyze the customer information. Classify churn risk as low, medium or high. Do not invent missing information.
Zero-Shot und Few-Shot
Bei Zero-Shot erhält das Modell lediglich die Aufgabe.
Bei Few-Shot werden zusätzlich Beispiele bereitgestellt.
Few-Shot ist besonders hilfreich, wenn Kategorien oder Ausgabeformate projektspezifisch definiert wurden.
System Prompt
Grundlegende Regeln einer Anwendung können als System Instruction formuliert werden:
You are a CRM assistant. Never modify customer data without authorization.
Die eigentliche Benutzeranfrage wird separat übermittelt.
Diese Trennung ist für Agent-Systeme wichtig, weil Sicherheitsregeln nicht vom Benutzer kontrolliert werden sollten.
Structured Output
Für Softwareintegration sind strukturierte Antworten oft besser als freier Text.
Beispiel:
{
"risk": "high",
"confidence": 0.81
}Auch solche Ausgaben müssen jedoch im Backend validiert werden.
Context Window
Das Context Window beschreibt die Informationsmenge, die ein Modell während einer einzelnen Verarbeitung berücksichtigen kann.
Dazu können gehören:
- System Prompt
- Conversation History
- aktuelle Anfrage
- abgerufene Dokumente
- Tool-Ergebnisse
- generierte Antwort
Man kann das Context Window als temporären Arbeitsspeicher des Modells betrachten.
Mehr Kontext ist dabei nicht automatisch besser. Zu viele Informationen erhöhen Kosten und Latenz und können relevante Informationen verdecken.
Die bessere Regel lautet:
Nur den tatsächlich relevanten Kontext bereitstellen.
RAG
Bei Retrieval-Augmented Generation werden zunächst relevante Dokumente gesucht und anschließend nur die passenden Abschnitte dem Modell übergeben.
Question → Retrieval → Relevant Documents → LLM → Answer
Dadurch können große Wissensbestände verwendet werden, ohne sie vollständig in jeden Prompt einzufügen.
Halluzinationen
Von einer Halluzination spricht man, wenn ein Modell überzeugend klingende, aber falsche oder unbelegte Informationen generiert.
Es kann beispielsweise erfinden:
- Quellen
- Statistiken
- API-Funktionen
- Kundeninformationen
- Produktmerkmale
Reduzieren lässt sich dieses Risiko unter anderem durch:
- Grounding
- RAG
- Tool Use
- klare Anweisungen
- strukturierte Ausgaben
- programmatische Validierung
- menschliche Freigabe bei kritischen Entscheidungen
Tool Use
Ein LLM sollte aktuelle Geschäftsdaten nicht erraten.
Stattdessen kann eine Anwendung Tools bereitstellen wie:
get_customer(customer_id)
get_order_status(order_id)
create_lead(data)
send_email(to, subject, body)
Ein typischer Ablauf lautet:
User → LLM → Tool Request → Backend → API/Database → Tool Result → LLM → User
Dadurch kann aus einem reinen Chatbot ein Agent werden, der kontrolliert mit realen Systemen arbeitet.
Tool-Aufrufe absichern
Wenn das Modell beispielsweise vorschlägt:
delete_customer(218)
sollte das Backend diesen Aufruf niemals blind ausführen.
Zu prüfen sind mindestens:
- Authentication
- Authorization
- Schema Validation
- Business Rules
- Risiko
- gegebenenfalls User Confirmation
Das zentrale Prinzip lautet:
Das Modell kann eine Aktion vorschlagen. Die Anwendung entscheidet, ob sie ausgeführt werden darf.
Praktisches Beispiel: CRM-Agent
Anfrage:
Prüfe den aktuellen Status von Acme und setze die Opportunity auf Won, wenn sie bereit ist.
Ein robustes System würde:
- die Absicht erkennen,
get_account('Acme')aufrufen,- reale CRM-Daten analysieren,
- bei fehlenden Daten nachfragen,
- eine mögliche Änderung vorschlagen,
- Berechtigungen prüfen,
- gegebenenfalls eine Bestätigung verlangen,
- erst danach die Änderung durchführen.
Genau diese Kontrollen unterscheiden einen Demo-Agenten von einem produktionsfähigen System.
Praktische Architektur
Frontend
↓
Backend / Agent Controller
↓
LLM
↓
Tool Router
↓
CRM / Database / Search / External APIs
Das Backend sollte unter anderem Authentication, Authorization, Validierung, Logging, Retries und Risk Controls verwalten.
Prompt oder Code?
Prompts eignen sich für:
- Aufgabenbeschreibung
- Antwortstil
- Verhaltensanweisungen
- Ausgabeformat
Code sollte verwendet werden für:
- Authentication
- Authorization
- Validierung
- sicherheitskritische Regeln
- finanzielle Grenzen
- Ausführung von Aktionen
Eine sicherheitskritische Regel sollte niemals ausschließlich durch einen Prompt geschützt werden.
Zusammenfassung
Ein LLM ist grundsätzlich eine Maschine zur Vorhersage des nächsten Tokens.
Transformer modellieren Beziehungen zwischen Tokens.
Prompts definieren Aufgabe und Verhalten.
Das Context Window bestimmt, welche Informationen aktuell verfügbar sind.
Halluzinationen zeigen, dass plausibler Text nicht automatisch wahr ist.
Tool Use verbindet das Modell mit realen Daten und realen Aktionen.
Entscheidend ist:
Ein leistungsfähiges LLM allein ergibt noch kein vertrauenswürdiges KI-System. Dafür benötigt man kontrollierten Kontext, Tools, Validierung, Berechtigungen, Logging und eine solide Softwarearchitektur.
Mit diesen Grundlagen lassen sich anschließend Themen wie AI Agents, ReAct, Planning, Memory, Reflection, RAG und Adaptive Autonomy verstehen.