Curriculum

Modul 2 · Wie moderne Modelle funktionieren Lektion 6 von 25

Multimodalität und Werkzeugnutzung

Wie Modelle Bilder, Tabellen und Werkzeuge einbeziehen — und wo dabei neue Fehlerquellen entstehen.

15 Minuten

0/25 Lektionen · 0%

Lernziele

  • Multimodale Eingaben realistisch einschätzen
  • Werkzeugaufrufe als eigenständiges Risiko verstehen
  • Die Rolle von Agenten grob einordnen

Andere Modalitäten, gleiches Prinzip

Bilder, Audio und Tabellen werden ebenfalls in Zahlenfolgen übersetzt und im selben Verarbeitungsschritt berücksichtigt. Die Stärke liegt in der Beschreibung und Zuordnung, nicht in der Messung: Ein Modell beschreibt zuverlässig, was auf einem Diagramm zu sehen ist, liest aber Werte ungenau ab.

Werkzeuge verschieben das Risiko

Wenn ein Modell Werkzeuge aufrufen darf — Suche, Datenbank, E-Mail-Versand —, wird aus einem Textgenerator ein handelndes System. Damit wird jeder Fehler wirksam, statt nur sichtbar zu sein. Die entscheidende Frage lautet nicht mehr „Ist die Antwort gut?“, sondern „Welche Aktionen darf dieses System ohne Bestätigung auslösen?“

Für die Foundation-Ebene genügt diese Haltung: Lesende Werkzeuge sind vergleichsweise unkritisch, schreibende Werkzeuge brauchen eine Freigabe. Die technische Vertiefung erfolgt im Track AI Agent & Automation Architect.

Kernaussagen

  • Multimodal heißt beschreiben können, nicht exakt messen können.
  • Werkzeugzugriff macht aus Ausgaben Handlungen.
  • Schreibende Aktionen brauchen eine Freigabestufe.

Übung

Listen Sie für ein Werkzeug, das Sie nutzen, alle Aktionen auf, die es ohne Rückfrage ausführen darf. Markieren Sie die schreibenden.

Wissenscheck · formativ

Was ändert sich, wenn ein Modell Werkzeuge aufrufen darf?

Dieser Wissenscheck dient dem Lernen. Er ist kein Prüfungselement und hat keine Wirkung auf Zertifizierung oder Zulassung.