Inzwischen zeigen zahlreiche Studien und Praxiserfahrungen ein klares Muster: Viele GenAI-Pilotprojekte kommen über die Experimentierphase nicht hinaus. Nur ein kleiner Teil schafft den Sprung in den produktiven Einsatz und erzielt tatsächlich messbaren Mehrwert im Unternehmen.

Wir sehen in vielen Pilotprojekten immer wieder, dass eine entscheidende Fähigkeit unterschätzt oder gar nicht erst berücksichtigt wird: die Fähigkeit der GenAI-Systeme zu lernen und ihre eigene Unsicherheit zu erkennen.

Warum die meisten Piloten in der Sackgasse landen

In vielen Organisationen starten Pilotprojekte mit viel Begeisterung, oft getrieben von Innovationsdruck oder dem Wunsch, „auch etwas mit GenAI zu machen“. Häufig entstehen dabei beeindruckende Demonstratoren: kleine Systeme, die auf einem kuratierten Datenset – etwa zehn bis zwanzig PowerPoint- oder PDF-Dateien – Fragen beantworten oder kürzere Workflows automatisieren können.

Diese Piloten sind wertvoll, weil sie zeigen, wie die Technologie grundsätzlich Mehrwert im Arbeitsalltag schaffen kann. Aber sie bleiben meist auf dieser Demonstrationsstufe stehen. Sobald der Schritt in die Realität erfolgt, mit echten, heterogenen Daten, komplexen Kontexten und vielfältigen Nutzerfragen, geraten viele Projekte ins Wanken.

Der Grund: Das Datenchaos in Unternehmen trifft auf unvorbereitete Systeme. Was in der Testumgebung noch gut funktioniert, verliert plötzlich an Präzision und Relevanz, sobald unstrukturierte, unvollständige oder widersprüchliche Informationen hinzukommen.

Von null auf hundert – der gefährliche Sprung

Aus unserer Erfahrung zeigt sich: Viele Unternehmen versuchen, von null direkt auf hundert zu gehen. Sie starten mit einem statischen Piloten und erwarten dann, dass sich dieser plötzlich auf das gesamte Unternehmenswissen übertragen lässt. Doch echte Skalierung braucht einen anderen Ansatz – einen, der Lernen und Anpassung von Beginn an integriert.

Denn im Unternehmensalltag entstehen Antworten selten allein aus Dokumenten. Sie entstehen im Zusammenspiel von Wissen, Kontext und Erfahrung. Ein Beispiel: In der Instandhaltung weiß ein erfahrener Mitarbeiter nicht nur, wo die Dokumente für Wartungsmaßnahmen abliegen, sondern erinnert sich auch an einen ähnlichen Ausfall vor zwölf Monaten und kann daraus ableiten, wo zu suchen ist und welche Maßnahmen helfen könnten. Dieses Kontextwissen fehlt in der Datenbank, ist aber entscheidend für eine wirklich intelligente Antwort.

Wie erfolgreiche Projekte skalieren

Wer generative KI und Agentensysteme wirklich im Unternehmen verankern will, sollte nicht nur evaluieren, sondern evolvieren. Ein Pilot ist kein Testlauf, sondern ein Lernsystem im Kleinen, das zeigen muss, wie es mit Feedback, Datenvielfalt und Komplexität wächst.

Statt also ein abgeschlossenes Testdatensatz zu verwenden, sollten Pilotprojekte so aufgesetzt sein, dass sie kontinuierlich lernen:

• Mitarbeitende stellen im Alltag echte Fragen. Zu Beginn auf einem kleinen Datensatz.
• Jede Anfrage und jedes Feedback zeigt auf, wo Wissen fehlt oder Kontext unklar ist.
• Diese Erkenntnisse fließen direkt in die Weiterentwicklung des Systems ein.

Entscheidend ist dabei, von Anfang an auch organisatorische Strukturen zu etablieren: Es braucht klare Verantwortlichkeiten und definierte Nutzerrollen. Eine zentrale Rolle übernimmt dabei der “Knowledge Owner“: eine Person, die bewertet, welches Feedback der Testnutzenden relevant ist und wie es in die Weiterentwicklung einfließt. Diese Rolle prüft unvollständige Antworten, identifiziert Lücken in der Wissensbasis und ergänzt gezielt die fehlenden Informationen. So kann das System auf eine immer breitere und dennoch relevante Wissensgrundlage zugreifen. Oft zeigt sich dabei, dass Businesslogik oder Fachwissen nachgerüstet werden muss. Wenn ein System etwa Produktvarianten verwechselt, kann ein strukturierter Produktkatalog bereitgestellt werden. Wenn interne Abkürzungen oder Begriffe unbekannt sind, können diese ergänzt werden. Oder das System lernt als Kontextinformation, dass im Einkauf nicht der Listenpreis, sondern der letzte verhandelte Wert aus den Meetingsnotizen relevant ist.

Knowledge Owner sollten idealerweise aus dem jeweiligen Fachbereich kommen – etwa aus dem Vertrieb, der HR-Abteilung oder der Instandhaltung –, da sie das Prozess- und Kontextwissen besitzen, das für die Interpretation und Priorisierung von Feedback entscheidend ist.

Ebenso wichtig ist die Einbindung der gesamten Nutzergruppe: Mitarbeitende sollten ermutigt werden, qualitatives Feedback zu geben. Statt rein quantitativer Metriken („89 % der Antworten waren korrekt“) sollte u.a. hinterfragt werden,

• ob die richtigen Quellen genutzt wurden,
• ob Informationen fehlten und welche,
• und ob das Format und die Verständlichkeit des Outputs den Anforderungen entsprachen.

Aus diesem Feedback entstehen konkrete Maßnahmen, die ein Agentensystem schrittweise verbessern. So wächst nicht nur die Datenbasis, sondern auch das Kontextverständnis des Agenten. Ein so gestalteter GenAI-Pilot wächst organisch mit dem Unternehmen mit. Statt alles auf einmal auszurollen, kann das System schrittweise in neue Regionen oder Abteilungen erweitert werden – jeweils mit dem Ziel, dort das spezifische Wissen, die lokalen Prozesse und den individuellen Kontext zu erlernen.

Unser Fazit

Skalierung beginnt nicht nach, sondern während der Pilotphase. Es geht nicht darum, die „eine perfekte Version“ zu entwickeln, sondern ein System zu schaffen, das lernt, sich anpasst und mit dem Unternehmen mit wächst. Wer den Piloten als Lernprozess denkt, nicht als Showprojekt, hat die besten Chancen, später wirklich Wert zu stiften und skalierbare Wirkung zu entfalten.