Was du vorher nicht messen konntest, misst auch AI nicht

Diesen Beitrag gibt es auch auf Englisch: AI Won't Measure the Role You Couldn't Measure Before

Vor rund fünfzehn Jahren hab ich Enterprise-Search-Projekte gemacht, und die Business Cases damals haben ziemlich genau so ausgeschaut wie die AI-Business-Cases, die ich heute sehe. Die Leute suchen so und so viele Minuten am Tag nach Dokumenten, das multiplizierst du mit der Kopfzahl und einem Stundensatz, und schon stehen ein paar hunderttausend Euro Ersparnis auf der Folie. Auf dieser Basis sind die Projekte gestartet. Ein paar Monate nach dem Go-live von einem davon hat mich ein C-Level beim Kunden gefragt, und zwar mit einer ordentlichen Portion Sarkasmus, wo denn jetzt diese Hunderttausenden seien, weil er sie in den Zahlen des Unternehmens nirgends finden könne. Gefunden haben die Leute ihre Dokumente vermutlich wirklich schneller, nur hatte niemand festgelegt, was mit den gesparten Minuten passieren soll, und so sind sie im Arbeitstag versickert und nie in einer Zeile gelandet, die irgendwer lesen kann.

Die Frage ist zurück, diesmal zu AI, und für manche von uns ist der Tag, an dem sie gestellt wird, schon da. Ich halte sie für völlig berechtigt. Jemand gibt ein Budget frei, Lizenzen, ein paar Monate Arbeitszeit von Leuten, und will wissen, was dabei herausgekommen ist. Darüber sollte sich niemand ärgern, am wenigsten die, die das Ding verkaufen oder bauen.

Was mir auffällt, ist, wie unterschiedlich die Frage ankommt, je nachdem, um welche Rolle es geht, und genau darum geht es hier. Manche Rollen in einem Unternehmen wurden immer schon in Zahlen gemessen. Bei anderen hat nie jemand sagen können, was ihr Beitrag eigentlich ist, und der ehrliche Grund dafür ist, dass er sich in Zahlen nicht sagen lässt. Meine These ist einfach, und ich sag sie gerade heraus: Wenn eine Rolle heute nicht messbar ist, macht AI sie auch nicht messbar. So funktioniert das nicht, und wer so tut, als ob, programmiert das Scheitern des Projekts für den Tag, an dem die Zahl fällig ist.

Manche Rollen haben eine Zahl, manche hatten nie eine

Nimm ein Support-Team. Tickets kommen rein, Tickets werden geschlossen, es gibt eine Lösungszeit und einen Rückstau, und alle sind sich einig, dass das die richtigen Dinge zum Zählen sind. Oder ein Team, das Rechnungen verarbeitet, mit Belegen pro Stunde, Fehlerquote und Kosten pro Beleg. Gibst du diesen Leuten einen AI-Assistenten, kannst du vorher und nachher mit demselben Maßstab messen, den du immer schon verwendet hast. Das ROI-Gespräch ist dann manchmal unangenehm, aber es ist ein normales Gespräch.

Dann gibt es die andere Art von Rolle, und davon hat jedes Unternehmen jede Menge. Die Person, die eine Abteilung zusammenhält. Die Enterprise-Architektin, deren beste Arbeit das Projekt ist, das nie schiefgegangen ist. Die interne Kommunikation, das Community-Management, die Kollegin, die alle anrufen, wenn etwas unklar ist. Frag eine Führungskraft, was der Beitrag so einer Rolle ist, und du bekommst Sätze wie „es läuft halt rund“ oder „wir würden es merken, wenn sie fehlt“. Ich sag nicht, dass diese Rollen weniger wert sind, oft ist es eher umgekehrt. Aber ihr Beitrag wurde nie in Zahlen zerlegt, weil niemand Zahlen gefunden hat, die ihn erfassen, ohne ihn zu verzerren.

Mein Fußballhirn hat dafür einen Vergleich. Schau dir an, wer den Ballon d’Or gewinnt. Der letzte Verteidiger war Fabio Cannavaro im Jahr 2006, und seither ist er meistens an den gegangen, der die Tore schießt. Die Tore sieht jeder, und wer genauer hinschaut, sieht auch, was ein guter Innenverteidiger leistet. (Sorry, dass ich jetzt mit Fußball daherkomm, aber als gelernter „Vorstopper“ ist es mir jahrelang genau so gegangen, zugegeben nie auf einem Niveau, wo irgendwer zugeschaut hätte.) Aber jede Mannschaft hat einen 6er oder 8er, dessen Arbeit dir erst richtig auffällt, wenn er verletzt oder gesperrt ist und plötzlich nichts mehr zusammenpasst. Rodri ist die Ausnahme, die das bestätigt, statt es zu widerlegen. Er hat den Ballon d’Or 2024 als defensiver Mittelfeldspieler gewonnen, ein paar Wochen nachdem er sich das Kreuzband gerissen hatte, und Manchester City ist ohne ihn durch eine der schwächsten Phasen der Guardiola-Jahre gegangen. Die meisten Rollen, die ich meine, sind dieser 6er, und denen überreicht vorher niemand einen Preis.

AI ist kein Messinstrument

Die Annahme, über die ich immer wieder stolpere, oft unausgesprochen, lautet so: Sobald AI im Spiel ist, wird die unscharfe Rolle irgendwie zählbar. Copilot hinterlässt ja Spuren. Es gibt Prompts, den Copilot-Nutzungsbericht im Admin Center, gesparte Minuten laut Umfrage. Also wird der Beitrag doch endlich in einem Dashboard auftauchen.

Wird er nicht, und der Grund ist fast langweilig. Der Nutzungsbericht sagt dir, dass etwas verwendet wurde, nicht, was es wert war. „Zwanzig Minuten pro Woche gespart“ ist eine Aussage über Zeit, und zu Geld wird sie erst, wenn jemand sagen kann, was in diesen zwanzig Minuten sonst entstanden wäre. Bei einer Ticket-Queue lässt sich das beantworten. Bei der Architektin nicht, und am Tag, bevor Copilot gekommen ist, ging es auch nicht. AI verändert, wie Arbeit gemacht wird, aber nicht, was die Organisation über den Wert dieser Arbeit weiß. Hat es den Maßstab vorher nicht gegeben, muss ihn das Projekt mitbringen, und das Projekt ist ein schlechter Ort, um einen zu erfinden, weil dann schon alle ein Interesse an der Antwort haben.

Dazu kommt ein zweiter Effekt, der es schlimmer macht. Sobald an einer Rolle ein AI-Projekt hängt, bekommen die Zahlen, die es gibt, die ganze Aufmerksamkeit. Der messbare Teil der Arbeit, vielleicht ein Drittel davon, ist plötzlich die ganze Geschichte, weil er als einziger auf eine Folie passt, und ab dann haben die Leute jeden Grund, auf das hinzuarbeiten, was gezählt wird.

Auf dem Papier liegt die Latte überraschend niedrig

Bei Solvion haben wir uns einmal mit unserem Steuerberater hingesetzt und die einfache Rechnung gemacht. Du nimmst die vollen Kosten einer Mitarbeiter:in in Österreich, also alles, was der Arbeitgeber zahlt, und nicht nur das Bruttogehalt, legst den Preis einer Microsoft 365 Copilot-Lizenz daneben, das waren bei unserer Rechnung 2025 laut Liste 28,10 Euro pro User und Monat, und fragst, wie viele Minuten pro Woche die Lizenz einsparen muss, damit sich beides aufhebt.

Bei 2.000 Euro brutto im Monat sind es rund 19 Minuten pro Woche, bei 4.000 Euro unter zehn, bei 7.000 Euro fünfeinhalb. Gemessen an einer 40-Stunden-Woche muss die Lizenz also zwischen 0,2 und 0,8 Prozent der Arbeitszeit zurückgeben, und mir fallen nicht viele Werkzeuge ein, die daran scheitern würden, wenn die Leute sie wirklich verwenden.

Um das greifbarer zu machen, hab ich in meinen eigenen Kalender geschaut. Viva Insights zählt bei mir 111 Stunden Meetingzeit in den vier Wochen bis Anfang November.

Ein Teil davon sind Reisen und ein paar private Blöcke, aber auch der Rest reicht locker, damit ein Copilot-Meeting-Recap nicht besonders gut sein müsste, um mir neunzehn Minuten pro Woche zu sparen, den schlechtesten Fall im Diagramm. Meeting-Zusammenfassungen wären bei mir also vielleicht wirklich eine Hilfe. Ob ich die Zeit, die sie mir sparen, in etwas anderes stecken würde als in einen Cappuccino, ist eine andere Frage, und genau die kann das Diagramm nicht beantworten.

So weit die einfache Mathematik, und ganz so einfach ist es nicht, weil das Diagramm annimmt, dass jede gesparte Minute eine bezahlte Arbeitsminute ist, aus der etwas anderes wird, und genau diesen Schritt haben die Search-Business-Cases damals übersprungen.

Mit dieser Lücke zwischen gesparter Zeit und etwas, das man verbuchen kann, bin ich nicht allein. Das britische Department for Business and Trade hat Ende 2024 tausend Copilot-Lizenzen an seine Leute vergeben und 2025 die Auswertung veröffentlicht. Die Leute haben Zeit gespart, vor allem beim Schreiben, manche anderen Aufgaben haben länger gedauert als vorher, und die Auswertung hat keinen Beleg gefunden, dass aus der gesparten Zeit messbar mehr Produktivität geworden ist. In Dänemark haben Anders Humlum und Emilie Vestergaard Umfragen zur Chatbot-Nutzung mit den amtlichen Arbeitsmarktdaten des Landes verknüpft und zwei Jahre nach dem Start von ChatGPT präzise Nulleffekte bei Einkommen und erfassten Arbeitsstunden gefunden. Verändert hat sich der Aufbau der Arbeit, mit neuen Aufgaben wie dem Prüfen und Einbauen von AI-Ergebnissen, die Minuten sind also in Arbeit geflossen, die in keinem Business Case stand, und das ist die Search-Geschichte noch einmal, nur diesmal sauber gemessen.

In manchen unserer eigenen Kundengespräche hat das Muster inzwischen einen Namen, der Cappuccino Use Case. Das ist der Assistent, der ein Meeting-Protokoll entwirft oder eine Mail glattbügelt, und der wirklich ein paar Minuten spart, ungefähr so viel, wie man braucht, um sich einen Kaffee zu holen. Den Kaffee will ich niemandem ausreden. Aber wenn ein Use Case nicht mehr kann als das, gibt es keinen Beitrag zu berichten, und tausend Kaffeepausen auf einer Folie zusammenzuzählen macht noch keinen daraus.

Der Soziologe Hartmut Rosa hat eine gute Erklärung dafür, wo diese Minuten hingehen, und er hat sie geschrieben, lange bevor irgendwer über generative AI geredet hat. In Beschleunigung fragt er, warum wir uns jedes Jahr gehetzter fühlen, obwohl uns die Technik ständig Zeit spart. Sein Beispiel ist die E-Mail, die viel schneller geschrieben ist als ein Brief, nur schreiben wir heute so viel mehr davon, dass die gesparte Zeit mehrfach wieder weg ist. Solange die Menge der Arbeit schneller wächst als das Tempo, mit dem wir sie erledigen, fühlt sich jeder Zeitgewinn nach mehr Druck an und nicht nach weniger, und aus einem Cappuccino Use Case können drei zusätzliche Protokolle werden, die niemand bestellt hat, bevor der Kaffee ausgetrunken ist.

Auf der anderen Seite würde ich das nicht als Grund nehmen, die Zahlen aufzugeben. Gemessen daran, was eine Mitarbeiter:in kostet, ist der Gewinn, den AI bei den aktuellen Lizenzpreisen bringen muss, nicht der pure Wahnsinn. Bei tausenden Lizenzen ist das ein anderes Gespräch, weil niemand verfolgen kann, was tausende Leute mit ihren Minuten machen, und die Cappuccinos sich still summieren. Wo ein Unternehmen die Leute wirklich begleiten kann, während sie ihre Arbeitsweise umstellen, schaut es ganz anders aus. Diese Begleitung kostet auch Geld und gehört in die Rechnung, aber sie ist auch der Teil, der entscheidet, ob die Minuten in einen Kaffee gehen oder in die Arbeit.

Die Frage verrät dir was, also nutz sie

Von der anderen Seite betrachtet find ich die ROI-Frage nützlich, und zwar nicht nur als Hürde. Ein Unternehmen, das gefragt wird, „was trägt diese Rolle bei, in Zahlen?“, und keine Antwort hat, hat gerade etwas über sich selbst gelernt, lange bevor irgendeine AI im Spiel ist. Entweder hat die Rolle einen Beitrag, den nie jemand ordentlich beschrieben hat, oder sie trägt weniger bei, als alle angenommen haben, oder der Beitrag ist echt, liegt aber an Stellen, die eine Tabelle nicht erreicht. Alles davon ist wissenswert, und nichts davon herauszufinden ist die Aufgabe der AI.

Deshalb ist die Reihenfolge wichtig. Wenn der Plan ist, eine Rolle mit AI zu unterstützen und das später mit einer Zahl zu rechtfertigen, müssen die Zahlen vorher vereinbart werden, mit den Leuten, die die Arbeit machen, und am besten, solange es die alte Arbeitsweise zum Vergleichen noch gibt. Das ist unspektakuläre Arbeit, man setzt sich hin und fragt, wie ein guter Monat in dieser Rolle ausschaut, wie ein schlechter, und wer den Unterschied merken würde. Manchmal ist die Antwort eine Zahl. Oft ist sie eine Einschätzung, und dann ist es richtig, das auch so zu sagen, statt eine Einschätzung als Kennzahl zu verkleiden.

Was ich stattdessen machen würde

Bei Rollen, die nie in Zahlen gemessen wurden, würde ich aufhören, so zu tun, als hätte die ROI-Frage eine Antwort in Zahlenform, und sie in einer anderen Form beantworten. Sag in einfachen Worten, bevor es losgeht, was die AI an der Arbeit verändern soll. Leg fest, was du sehen würdest, wenn es funktioniert, und sei klar darüber, ob man das zählen kann oder ob es jemand erkennt, der die Rolle kennt. Dann lass genau diese Person nach ein paar Monaten noch einmal hinschauen, mit derselben Aufmerksamkeit, die du einer Budgetprüfung schenken würdest. Das ist eine schwächere Antwort als ein Prozentwert, aber eine ehrliche, und die zählt mehr, wenn die nächste Budgetrunde kommt.

Bei den messbaren Rollen ändert sich nichts, und diese Projekte würde ich gern an ihren Zahlen messen. Dort soll sich AI beweisen müssen.

Was das für die heißt, die entscheiden

Wenn du nach dem ROI gefragt wirst, ist der unangenehme Teil, dass du die Antwort nicht an ein Werkzeug auslagern kannst. Das Werkzeug kann Leute schneller machen, und es kann Spuren hinterlassen. Ob schneller für genau diese Rolle besser ist, muss jemand beurteilen, und je klarer die Rolle vorher war, desto leichter geht das. Wenn du die Person bist, die fragt, würde ich dieselbe Frage einmal für die Rolle stellen, bei der du gar keine AI einsetzt, und schauen, wie gut sie dort hält. Ich wette, die Antwort sagt dir mehr als jedes Dashboard aus dem AI-Projekt.

Und wenn du es einführst, schau auf die Leute. Wenn Rosa recht hat, ist das Risiko nicht nur, dass Copilot zu wenig Zeit spart, sondern dass alles, was er spart, wieder mit mehr vom Gleichen aufgefüllt wird, und die Leute in den 6er-Rollen spüren das meistens als Erste und sagen es als Letzte.