Curriculum

Modul 1 · Was künstliche Intelligenz ist — und was nicht Lektion 3 von 25

Erwartungsmanagement und die Grenzen der Demo

Warum beeindruckende Vorführungen selten etwas über den Produktivbetrieb aussagen.

14 Minuten

0/25 Lektionen · 0%

Lernziele

  • Demo-Bedingungen von Betriebsbedingungen unterscheiden
  • Die typischen Verzerrungen einer Vorführung benennen
  • Sinnvolle Pilotkriterien formulieren

Warum Demos gelingen

Eine Vorführung nutzt ausgewählte Eingaben, geduldige Beobachter und keinen Zeitdruck. Im Betrieb treffen dieselben Modelle auf unvollständige Daten, mehrdeutige Anfragen, Sonderfälle und Nutzer, die den Output nicht prüfen, weil er plausibel aussieht.

Der belastbare Test ist deshalb nie die Demo, sondern eine Stichprobe echter Fälle — inklusive der unangenehmen: der alten Vertragsvariante, der schlecht gescannten Seite, der Anfrage in gebrochener Sprache.

Kriterien für einen ehrlichen Piloten

Ein Pilot braucht vorher festgelegte Erfolgskriterien, sonst wird er nachträglich zum Erfolg erklärt. Legen Sie fest: Welche Fälle, welche Menge, welcher Vergleichsmaßstab, welche Schwelle, wer entscheidet über Fortführung.

  • Repräsentative Fallauswahl, inklusive Randfälle
  • Vergleich gegen den heutigen Prozess, nicht gegen Nichts
  • Vorab definierte Schwelle für Fortführung oder Abbruch
  • Erfassung von Prüfaufwand, nicht nur von Modellqualität

Kernaussagen

  • Demos zeigen das Mögliche, Piloten zeigen das Tragfähige.
  • Erfolgskriterien gehören vor den Piloten, nicht danach.
  • Der Prüfaufwand ist Teil der Wirtschaftlichkeit.

Übung

Formulieren Sie für einen denkbaren Piloten in Ihrer Organisation drei Abbruchkriterien. Abbruchkriterien sind aussagekräftiger als Erfolgsziele.

Wissenscheck · formativ

Was macht einen Piloten belastbar?

Dieser Wissenscheck dient dem Lernen. Er ist kein Prüfungselement und hat keine Wirkung auf Zertifizierung oder Zulassung.