Die Messung der Effektivität einer KI-Anwendung beginnt mit der Definition klarer „Business-KPIs“. Diese KPIs sind von entscheidender Bedeutung, da sie Aufschluss darüber geben, welche Aspekte Ihrer Geschäftsabläufe Sie verbessern möchten und wie Sie diese Verbesserungen messbar machen können. Für ein Versicherungsunternehmen können diese Ziele beispielsweise lauten: Steigerung des Umsatzes, Verbesserung der Kundenbindung, Erhöhung der Versicherungsdichte Steigerung der STP-Akzeptanz. Die Festlegung dieser KPIs bietet einen Rahmen sowohl für die Entwicklung als auch für die Bewertung der KI-Anwendung.

Mensch und Maschine

In der Praxis arbeiten KI-Anwendungen oft mit menschlichen Experten zusammen. Daher ist es wichtig, die Leistung sowohl der KI als auch des Menschen einzeln und gemeinsam zu messen. Dies gibt Aufschluss über die Effektivität der Zusammenarbeit und hilft Ihnen zu bestimmen, wo Verbesserungen möglich sind.

Beispiel: Aktives Kundenmanagement: Angenommen, Sie haben einen KI-Algorithmus, der Kunden mit einer hohen Kündigungswahrscheinlichkeit identifiziert. Wenn der Innendienst oder der Berater diesen Hinweisen nicht angemessen nachgeht, kann die angestrebte Reduzierung der Kündigungen ausbleiben. Durch die Messung der Leistung jedes einzelnen Mitarbeiters können Sie feststellen, ob bestimmte Mitarbeiter bessere Ergebnisse erzielen als andere. Diese Erkenntnisse können dann weitergegeben werden, um das Team als Ganzes zu stärken.

Technische Leistung

Um die technische Leistungsfähigkeit eines Vorhersagealgorithmus zu bewerten, werden verschiedene Indikatoren verwendet: Genauigkeit oder Accuracy (gibt an, wie oft der Algorithmus die richtige Vorhersage trifft), Präzision (dieser Maßstab betrachtet speziell die Zuverlässigkeit positiver Vorhersagen), Sensitivität (misst, wie gut ein KI-Modell in der Lage ist, alle relevanten Ergebnisse zu erkennen), Area Under Curve (bietet einen Überblick über die Vorhersagequalität des Modells über verschiedene Schwellenwerte hinweg) und Log Loss oder logarithmischer Verlust (misst, wie nah die vorhergesagten Wahrscheinlichkeiten an den tatsächlichen Ergebnissen liegen).

Neben diesen Indikatoren sind auch Geschwindigkeit, Effizienz und Skalierbarkeit von Bedeutung. Die Geschwindigkeit, also die Latenz, bestimmt, wie schnell die KI-Anwendung auf eine Anfrage reagiert. Die Effizienz wird anhand des Speicherverbrauchs der Anwendung gemessen, und die Skalierbarkeit wird anhand der Anzahl der innerhalb einer bestimmten Zeit realisierten Vorhersagen (Durchsatz) bewertet. Diese Faktoren geben Aufschluss über die Skalierbarkeit eines Algorithmus.

Robust und ethisch

Eine KI-Anwendung muss nicht nur technisch gut funktionieren, sondern auch robust und ethisch vertretbar sein. Dazu gehört die Fähigkeit des Modells, auch dann weiterhin gut zu funktionieren, wenn sich die Eingabedaten oder die Umgebung ändern (Modelldrift und -shift). Darüber hinaus muss das Modell empfindlich auf Änderungen in den Daten reagieren, mit denen es trainiert wurde (Datendrift und -shift). Ethische Überlegungen, wie die Vermeidung von Diskriminierung aufgrund von Geschlecht, ethnischer Zugehörigkeit oder Alter, sind ebenfalls von entscheidender Bedeutung, um sicherzustellen, dass die KI fair und verantwortungsbewusst arbeitet.

„Die Messung der Effektivität einer KI-Anwendung ist ein komplexer, aber notwendiger Prozess.“

Verfügbarkeit und Zuverlässigkeit

Wie bei jeder cloudbasierten Anwendung ist die Verfügbarkeit einer KI-Anwendung von entscheidender Bedeutung, insbesondere in Produktionsumgebungen. Ein üblicher Standard in einem Service Level Agreement (SLA) ist eine Verfügbarkeit von 99,9 Prozent. Das bedeutet, dass von 1.000 Interaktionen mit der Anwendung nicht mehr als eine fehlschlagen darf. Um diese Zuverlässigkeit zu gewährleisten, wird häufig eine Reserveanwendung eingesetzt, die bei einem Ausfall die Aufgaben übernehmen kann.

Vom Prototyp zur Produktion

Die Einrichtung einer KI-Anwendung ist ein schrittweiser Prozess. In der Prototypenphase liegt der Schwerpunkt vor allem auf der Prüfung der Vorhersagbarkeit des Algorithmus und der Minimierung möglicher Diskriminierung. Wenn die KI-Anwendung diese Tests besteht, besteht der nächste Schritt darin, zu beurteilen, ob die Anwendung tatsächlich die gewünschten geschäftlichen KPIs verbessert. Auch die Skalierbarkeit des Modells wird bereits in dieser Phase berücksichtigt.

Sobald die KI in Betrieb genommen wurde, verlagert sich der Fokus auf die Gewährleistung der Verfügbarkeit und die Überwachung der Robustheit der KI im Laufe der Zeit. Durch systematisches Messen und Bewerten können Sie kontinuierliche Verbesserungen vornehmen und sicherstellen, dass Ihre KI-Anwendung jetzt und in Zukunft das tut, was sie tun soll.

Messung der Auswirkungen

Eine der effektivsten Methoden, um zu messen, ob eine KI-Anwendung die gewünschten Ergebnisse liefert, ist das A/B-Testing. Dabei wird die Zielgruppe zufällig in zwei Gruppen aufgeteilt: Eine Gruppe (Gruppe A) nutzt die neue KI-Anwendung, während die andere Gruppe (Gruppe B) die herkömmliche Methode oder eine frühere Version des Systems ohne KI nutzt. Durch den Vergleich der Leistungen beider Gruppen können Sie feststellen, wie effektiv die KI bei der Verbesserung der Geschäfts-KPIs ist.

Der Erfolg einer KI-Anwendung hängt stark davon ab, wie die Erkenntnisse aus A/B-Tests in die Unternehmensführung integriert werden. Wenn ein A/B-Test beispielsweise zeigt, dass ein bestimmtes KI-Tool zu einer höheren Versicherungsdichte führt, kann dies Anlass sein, das Tool innerhalb des Unternehmen breiter einzusetzen.

Effektiv

Die Messung der Effektivität einer KI-Anwendung ist ein komplexer, aber notwendiger Prozess. Er beginnt mit der Definition klarer geschäftlicher KPIs und der Bewertung sowohl der technischen Leistung als auch der Zusammenarbeit zwischen Mensch und Maschine. Robustheit, ethische Überlegungen und Verfügbarkeit sind ebenso wichtig wie die Vorhersagbarkeit des Algorithmus. Mithilfe von A/B-Tests können Sie außerdem zuverlässig feststellen, ob die KI-Anwendung tatsächlich zur Erreichung Ihrer Geschäftsziele beiträgt. Es ist von entscheidender Bedeutung, dass sie nicht nur technisch gut funktioniert, sondern auch effektiv zur Verbesserung Ihrer Geschäftsergebnisse beiträgt.

Der Originalartikel wurde im VVP veröffentlicht, lesen Sie hier den Artikel online.