Lernziele
- Den Begriff Token korrekt verwenden
- Die schrittweise Textgenerierung beschreiben
- Erklären, warum Modelle keine Fakten „nachschlagen“
Text wird zerlegt
Modelle verarbeiten keine Buchstaben und keine Wörter, sondern Tokens: kleine Textbausteine, oft Wortteile. „Kontextfenster“ kann als drei oder vier Tokens repräsentiert sein. Deshalb zählen Grenzen und Kosten in Tokens, nicht in Wörtern, und deshalb reagieren Modelle empfindlich auf Rechtschreibung und ungewöhnliche Zeichen.
Bei der Erzeugung berechnet das Modell für jeden Schritt eine Wahrscheinlichkeitsverteilung über alle möglichen nächsten Tokens und wählt eines davon aus. Dann wiederholt es den Vorgang mit dem verlängerten Text. Es gibt keinen Plan, keine Gliederung im Voraus, keine Datenbankabfrage.
Was daraus zwingend folgt
Erstens: Modelle erzeugen flüssigen Text auch dann, wenn sie nichts Verlässliches beitragen können — Flüssigkeit ist kein Wahrheitssignal. Zweitens: Was am Anfang der Ausgabe steht, beeinflusst alles Folgende; ein früher Fehler pflanzt sich fort. Drittens: Gleicher Input kann verschiedene Outputs erzeugen, weil die Auswahl zufallsbehaftet ist.
Viertens, und praktisch am wichtigsten: Wissen steckt implizit in den Parametern, nicht in einem durchsuchbaren Speicher. Wenn Sie Aktualität oder Belegbarkeit brauchen, müssen Sie die Quelle in die Eingabe hineinreichen — das ist die Grundidee von Retrieval, die im Aufbaupfad vertieft wird.
Beispiel
Frage nach einer Norm-Ziffer: Ohne Quelle im Kontext liefert das Modell eine plausibel klingende Ziffer. Mit dem Normtext im Kontext liefert es die belegte Stelle. Der Unterschied liegt nicht am Modell, sondern an der Eingabe.
Kernaussagen
- Sprachmodelle setzen Text tokenweise fort.
- Flüssigkeit sagt nichts über Richtigkeit.
- Belegbarkeit entsteht durch Quellen im Kontext, nicht durch bessere Fragen.
Übung
Stellen Sie dieselbe Faktenfrage zweimal: einmal ohne, einmal mit der relevanten Quelle im Prompt. Vergleichen Sie Präzision und Belegbarkeit der Antworten.
Wissenscheck · formativ
Warum liefern Modelle manchmal erfundene Details?
Dieser Wissenscheck dient dem Lernen. Er ist kein Prüfungselement und hat keine Wirkung auf Zertifizierung oder Zulassung.