Interpretierbares Machine Learning

07.06.19

Machine Learning

In meiner experimentellen Masterthesis zusammen mit der TU Darmstadt beschäftigte ich mich mit dem Thema „Trust in Recommender Systems – Einfluss erklärender Mechanismen auf das Vertrauen“. Dabei wurde LIME als eine Möglichkeit von Black Box Machine Learning-Modellen verwendet und dessen Auswirkungen in einem Nutzerexperiment evaluiert.

Drucken

Wichtigkeit transparenter Recommender Systems

Recommender Systems – übersetzt Empfehlungsdienste - bieten dem Nutzer die Möglichkeit, aus einer immer größer werdenden Anzahl von Kauf- und Konsumoptionen schneller die beste Wahl zu treffen und sind gängige Praxis in einer Vielzahl von E-Commerce und Medien-Diensten. Das Vertrauen in den Dienst beeinflusst dabei wesentlich die Intention des Nutzers, den Empfehlungen zu folgen und trägt zu einer höheren Nutzung oder einer Steigerung des Umsatzes bei. Transparente Systeme, bei denen der Nutzer die Empfehlung des Dienstes versteht, fördern und verbessern zudem das Vertrauen und die Wahrnehmung des Nutzers in den Dienst. 

Arten von Empfehlungsdiensten

Grundsätzlich lassen sich vier Arten von Empfehlungsdiensten unterscheiden. Content-based Recommender nutzen inhaltliche Eigenschaften, beispielsweise das Genre eines Films oder das Alter eines Nutzers. Collaborative Filtering-Ansätze nutzen hingegen die Informationen aus den Interaktionen zwischen Nutzer und Item zur Generierung von Empfehlungen, beispielsweise die vergangenen Bewertungen von Filmen. Hybrid-Recommender kombinieren diese beiden Ansätze. Die letzte Art, die Knowledge-based-Methoden, werden in Fällen, in denen Interaktionen seltener vorkommen, verwendet. So werden beim Autoverkauf wichtige Eigenschaften, wie die Anzahl an Türen direkt abgefragt und mit dem vorhandenen Wissen über den Gegenstand verglichen. INFOMOTION hat mit den beschriebenen Ansätzen bereits Erfahrung gesammelt und hilft bei der Auswahl, der Prototypisierung, der Umsetzung und der Inbetriebnahme von Lösungen. 

Black Box und Lösungsansätze

Als Black Box-Modelle oder -Systeme werden Lösungen bezeichnet, die dem Nutzer wie eine schwarze Box vorkommen, in die er keinen Einblick hat. Oft sind in diesem Fall nur der Eingabewert und die Ausgabe in Form eines Wertes oder einer vorhergesagten Klasse gegeben, ohne weitere Informationen zur Funktionsweise des Systems oder einer Begründung des Ergebnisses. Viele Decision Support und Recommender Systeme der letzten Jahre liefern sehr gute und genaue Ergebnisse, sind jedoch selbst Black Boxen, bedingt durch die Art der verwendeten Modelle und Algorithmen.

Black Box Lösungen

Die Lösungen des Black Box-Problems lassen sich wie in der Abbildung zu sehen gliedern. Dabei wird zum einen das „Transparente Box Design“ unterschieden, das das (Re-)Design des Modells als transparentes System beschreibt sowie drei Möglichkeiten der Erklärung des Black Box-Modells. Bei Modell-Erklärungslösungen wird die innere Logik des gesamten Modells erklärt. Bei der Ausgabeerklärung besteht das Ziel darin, die Begründung für eine gegebene Ausgabe des Systems zu erklären. Bei der Modellinspektion geht es schließlich darum, das interne Verhalten der Black Box bei sich veränderndem Input zu erklären. Die Bereitstellung von Erklärungen kann dabei unterschiedliche Ziele verfolgen und ist an dem Adressaten auszurichten, etwa den Nutzer des Dienstes, einen technisch versierteren Entwickler oder Compliance- und gesetzlichen Vorgaben, wie die der DSGVO.

TRANSPARENZ: Erklärt, wie der Dienst funktioniert
EFFEKTIVITÄT: Hilft dem Nutzer gute Entscheidungen zu treffen
VERTRAUEN: Erhöht das Vertrauen des Nutzers in den Dienst
ÜBERZEUGUNGSKRAFT: Überzeugt den Nutzer vom Ausprobieren oder Kaufen
ZUFRIEDENHEIT: Erhöht die Benutzerfreundlichkeit oder das Vergnügen 
BILDUNG: Ermöglicht dem Nutzer etwas vom Dienst zu lernen
ÜBERPRÜFBARKEIT: Ermöglicht Fehlverhalten des Dienstes zu erkennen
EFFIZIENZ: Hilft schnellere Entscheidungen zu treffen
DEBUGGING: Hilft Fehlerquellen des Dienstes zu identifizieren

Verwendung von LIME zur Erklärung der Ausgabe

LIME, kurz für Local Interpretable Model-Agnostic Explanations, ist eine mögliche Lösung für die Ausgabeerklärung. Dabei werden die Erklärungen nur lokal für einzelne zu erklärende Instanzen erzeugt, wobei diese durch einen Menschen interpretierbar sind. Der Begriff Model-Agnostic meint, dass die Methode unabhängig vom zu erklärenden Modell ist. LIME kann damit für verschiedene Machine Learning-Modelle unabhängig von ihrer Funktionsweise verwendet werden, da es alleine auf der Ein- und Ausgabe der Modelle arbeitet und aufgrund diesen Erklärungen erzeugt.

Vereinfacht geht LIME für tabellarische Daten nach folgendem Schema vor, um die Erklärung für eine zu erklärende Ausgabe/Instanz eines Modells zu erzeugen. 
1. Wähle die zu erklärende Instanz aus
2. Nutze eine Variation des (Trainings-) Datensatzes als Input und erzeuge weitere Vorhersagen des Modells
3. Gewichte die Vorhersagen je nach Nähe zu der erklärenden Instanz
4. Trainiere ein neues, gewichtetes und interpretierbares Modell auf dem Datensatz der Variationen und erhaltenen Vorhersagen
5. Erzeuge die Erklärung der zu erklärenden Instanz durch Interpretation des lokalen Modells

LIME kann derzeit mit tabellarischen Daten, Bildern und Texten verwendet werden, sofern LIME aus dem Input Variationen erstellen kann. Die Ausgabe des Modells muss in Form einer festgelegten Klasse oder eines Wertes möglich sein, damit LIME die Resultate des geänderten Inputs bewerten kann.  

LIME Ansatz

Obige Darstellung hilft dem intuitiven Verständnis des LIME-Ansatzes. Die komplexere Entscheidungsfunktion des Black Box-Modells ist hier durch den blau/pinken Hintergrund dargestellt. Diese kann global nicht gut durch ein lineares Modell approximiert werden. Das hervorgehobene rote Kreuz ist die Instanz, die durch LIME erklärt werden soll. Dazu werden verschiedene andere Instanzen genommen und deren Vorhersagen durch die Entscheidungsfunktion des Black Box-Modells bestimmt. Diese werden je nach Nähe zur erklärenden Instanz gewichtet, im Bild durch die Größe der Kreuze und Kreise symbolisiert. Die gestrichelte Linie ist das gelernte Modell, das lokal (jedoch nicht global) zutrifft. Dieses wiederum wird so gewählt, dass es gut interpretierbar ist. Aus diesem wird die Erklärung der Instanz erzeugt. LIME stellt dabei nur einen Ansatz zur Erklärung von Machine Learning-Modellen dar.

Ergebnis: Erklärungen steigern das Vertrauen in Recommender Systems

In der Masterthesis wurden verschiedene Recommender-Algorithmen getestet und obiger LIME-Ansatz prototypisch mit einem Content-based und einem Hybrid Recommender umgesetzt. Dieser Dienst mitsamt Empfehlungen und Erklärungen wurde anschließend von 150 Teilnehmern evaluiert, in dem die Nutzer zunächst mindestens acht Filme, die sie mögen, bewerten und anschließend ihre Filmempfehlungen erhalten. Zusätzlich zu den Filmempfehlungen erhalten manche Nutzer Erklärungen. Es gab zwei Arten von Erklärungen. Die eine ist ein „Präferenzprofil des Nutzers“, also beispielsweise, welches Genre der Nutzer besonders mag und die andere „LIME-Erklärung der Empfehlung“ zeigt die relevanten Eigenschaften an, die zur Filmempfehlung geführt haben, wie eine hohe Übereinstimmung im Genre. Die Ergebnisse zeigen, dass nur eine Kombination aus Nutzerpräferenzen und Erklärung je Empfehlung die wahrgenommene Nützlichkeit, das Vertrauen in die Kompetenz und in das Wohlwollen des Empfehlungsdienstes steigert. Die wahrgenommene Transparenz ist bei Verwendung beider Erklärungen am höchsten, jedoch bereits  bei Verwendung nur einer signifikant höher. 

Praktische Implikationen

Praktische Implikationen Recommender Systems

Erklärungen können das Vertrauen, die wahrgenommene Nützlichkeit und die Intention des Nutzers das Produkt zu kaufen oder das Medium zu konsumieren, signifikant steigern. Es bietet sich daher an, diese Erkenntnisse zur Verbesserung existierender Empfehlungsdienste zu verwenden und diese in Form von A/B Tests in realen Szenarien zu quantifizieren. Relevant ist dies besonders, da existierende Empfehlungsdienste einen bedeutenden Anteil zum Erfolg von E-Commerce- und Medien-Anbietern beitragen, ein Differenzierungsmerkmal darstellen und somit zu einem entscheidenden Wettbewerbsvorteil führen können. Auch in anderen Anwendungsbereichen des Machine Learning, in dem Black Box-Modelle Anwendung finden, können Erklärungen zur Steigerung der Transparenz eingesetzt werden.

INFOMOTION Videocast: Machine Learning

Podcast Machine Learning

Weiterführende Informationen

Autor

Nikolas Lauer

Masterand

Nikolas Lauer arbeitete neben seinem Studium der Wirtschaftsinformatik an der TU Darmstadt als Werkstudent in der Business Unit Strategy and Digital Solutions bei INFOMOTION. Später entschied er sich für eine Masterarbeit in Kooperation mit INFOMOTION und schloss als Masterand seine Abschlussarbeit im Bereich Big Data erfolgreich ab.

E-Mail senden