Samstag , September 12 2020

Von der Modellierung zur Bewertung: Finden eines optimalen Klassifizierungsschwellenwerts basierend auf Kosten und Gewinn

Klicken Sie hier, um mehr über Co-Autor Maarit Widmann zu erfahren.

Klicken Sie hier, um mehr über Co-Autor Alfredo Roccato zu erfahren.

Wie ein Hamster im Data Science-Zyklus rollen? Sie wissen nicht, wann Sie mit dem Training Ihres Modells aufhören sollen?

Die Modellbewertung ist ein wichtiger Teil eines Data Science-Projekts. Genau dieser Teil gibt an, wie gut Ihr Modell ist, wie stark es sich gegenüber der vorherigen Version verbessert hat und wie viel Es ist besser als das Modell Ihres Kollegen und wie viel Verbesserungspotenzial es noch gibt.

In dieser Reihe von Beiträgen überprüfen wir
verschiedene Bewertungsmetriken: für Klassifizierung, numerische Vorhersage, unausgeglichen
Datensätze und andere ähnliche mehr oder weniger herausfordernde Modellbewertungsprobleme.

Heute:
Bestrafung und Belohnung von Klassifizierungsergebnissen mit einer Gewinnmatrix

Verwirrungsmatrix und Klassenstatistik fassen die Leistung eines Klassifizierungsmodells zusammen: die tatsächliche und vorhergesagte Zielklassenverteilung, die Genauigkeit der Zuordnung in die positive Klasse und die Fähigkeit, die positive Klasse zu erkennen Veranstaltungen. Diese Statistiken berücksichtigen jedoch nicht die Kosten eines Fehlers, dh eine Vorhersage in die falsche Zielklasse.

Wenn die Zielklassenverteilung ist
Unausgeglichene, korrekte Vorhersage von Ereignissen in der Minderheitsklasse erfordert hohe Anforderungen
Modellleistung, während die Vorhersage von Ereignissen in der Mehrheitsklasse leicht möglich ist
zufällig passieren. Wäre es nicht sinnvoll, dies und das Gewicht zu berücksichtigen?
die Ergebnisse bei der Bewertung der Modellleistung unterschiedlich?

Letztendlich ist das Endziel der
Die Klassifizierung bestimmt, ob es sinnvoll ist, bestimmte Kosten zu verursachen
Arten von Klassifizierungsergebnissen. Kosten sind nützlich, wenn falsche Vorhersagen in
Eine Zielklasse hat schwerwiegendere Konsequenzen als falsche Vorhersagen
die andere Klasse (n). Oder anders ausgedrückt: Korrigieren Sie Vorhersagen in einer Klasse
haben günstigere Konsequenzen als korrekte Vorhersagen in die andere
Klassen). Zum Beispiel keinen kriminellen Passagier am Flughafen entdecken
Sicherheitskontrolle hat schwerwiegendere Konsequenzen als die irrtümliche Klassifizierung von a
nicht bedrohlicher Passagier als gefährlich. Daher sind diese beiden Arten falsch
Vorhersagen sollten unterschiedlich gewichtet werden. Es sind keine Kosten erforderlich, wenn alle Ziele
Klassen sind gleichermaßen interessant oder wichtig, und die Folgen eines Unrechts
Die Vorhersage in eine Zielklasse ist genauso schlecht wie für die anderen Klassen. Dies
ist der Fall, wenn wir zum Beispiel die Farbe eines Weins oder das Geschlecht von vorhersagen
ein Kunde.

Von der Modellgenauigkeit zum erwarteten Gewinn

Zusätzlich zur Genauigkeitsstatistik wird die
Die Leistung eines Klassifizierungsmodells kann am erwarteten Gewinn gemessen werden. Das
Der Gewinn wird in einer konkreten Einheit gemessen, die durch das Endziel der
Klassifizierung.

Wenn wir Klassifizierung verwenden, ergibt sich in
In der Praxis weisen wir jeder vorhergesagten Klasse eine andere Behandlung zu: Kriminell
Passagiere werden festgenommen, nicht bedrohliche Passagiere werden durchgelassen. Riskant
Kunden sind keine verlängerten Kredite, kreditwürdige Kunden sind! Und so weiter. Das
Die wünschenswertesten Klassifizierungsergebnisse führen zu Gewinnen, wie z. B. der Sicherheit von
ein Flughafen oder das Geld, das ein Kreditinstitut verdient. Wir messen diesen Gewinn
in einer vordefinierten Einheit wie der Anzahl der Tage ohne Terroralarm oder
Euro. Die unerwünschtesten Ergebnisse verursachen Kosten – ein Terroralarm bei der
Flughafen oder Geld von einer Bank verloren – und wir messen die Kosten in der gleichen Einheit wie
der Gewinn.

Hier bewerten wir die Genauigkeit und
erwarteter Gewinn eines Klassifizierungsmodells, das die Kreditwürdigkeit von vorhersagt
Kreditantragsteller. In einer Kredit-Scoring-Anwendung, Vorhersage der Person
Kundenverhalten hat eine Konsequenz in Bezug auf Gewinn (oder Verlust). Gut ablehnen
Kredite können zum Verlust von Gewinnmargen führen (kommerzielles Risiko). Gutschrift für genehmigen
Antragsteller mit hohem Risiko können zu Forderungsausfällen führen (Kreditrisiko).

Optimierung der Klassifizierungsschwelle

Ein Klassifizierungsmodell sagt a voraus
positive Klassenbewertung für jedes Ereignis in den Daten. Standardmäßig werden die Ereignisse zugewiesen
an die positive Klasse, wenn ihre Punktzahl höher als 0,5 ist, und ansonsten an die
negative Klasse. Wenn wir den Klassifizierungsschwellenwert ändern, ändern wir den
Zuordnung zur positiven und negativen Klasse. Folglich sind die Werte von
Genauigkeit und erwartete Gewinnänderung.

Die Daten

In diesem Beispiel verwenden wir den bekannten deutschen Kreditdatensatz aus dem Archiv der Universität von Kalifornien für maschinelles Lernen und intelligente Systeme. [19659004] Der Datensatz besteht aus 1000
Kunden. Die Eingangsvariablen sind die einzelnen Merkmale der
Themen wie soziodemografische, finanzielle und persönliche sowie solche
im Zusammenhang mit dem Darlehen, wie der Darlehensbetrag, der Zweck des Abonnements,
und Vermögensindikatoren. Ziel ist die Bewertung des Kreditantragstellers
Kreditwürdigkeit der Bank (2 = riskant und 1 = kreditwürdig).

In diesem Datensatz 700 Antragsteller (70%)
werden als kreditwürdig und 300 (30%) als riskant eingestuft.

Wir bezeichnen die riskanten Kunden als die
positive Klasse und die kreditwürdigen Kunden als negative Klasse.

Workflow zur Erzielung eines erwarteten Gewinns für verschiedene Klassifizierungsschwellen

Der in Abbildung 1 gezeigte Workflow beginnt
mit Datenzugriff und Vorverarbeitung. Bewertung der Vorhersagefähigkeiten von
Im Modell ist der ursprüngliche Datensatz in zwei gleich große Tabellen unterteilt.
jeweils den Trainingssatz und den Validierungssatz benannt. Als nächstes eine Logistik
Das Regressionsmodell wird anhand des Schulungssatzes trainiert, um die
Kreditwürdigkeit.

Innerhalb der "Profit by Threshold"
Metanode, Bewerber im Validierungssatz werden den beiden zugeordnet
Bonitätsklassen „riskant“ und „kreditwürdig“ basierend auf der positiven Klasse
Ergebnisse, die vom logistischen Regressionsmodell vorhergesagt werden, und a
Klassifizierungsschwelle. Die Klassifizierung wird mehrmals wiederholt.
Beginnen Sie mit einem niedrigen Wert des Schwellenwerts und erhöhen Sie ihn jeweils
Wiederholung. Die Ausgabetabelle des Metanodes enthält die Genauigkeitsstatistik
und erwarteter Gewinn, wie er unter Verwendung der verschiedenen Schwellenwerte und a erhalten wird
vordefinierte Gewinnmatrix.

Schließlich die Modellleistung
Statistiken für verschiedene Schwellenwerte werden in einem interaktiven Verbund angezeigt
Ansicht, wie sie von der Komponente „Gewinnansichten“ erstellt wurde.

Sie können diesen Workflow von herunterladen
the:

  • Hub
  • BEISPIELServer (BEISPIELE / 04_Analytics / 10_Scoring / 02_Optimizing_Classification_Threshold_Based_on_Profit)
Abbildung 1: Workflow zum Trainieren eines Klassifizierungsmodells und zum Erstellen von Genauigkeitsstatistiken und erwarteten Gewinnen basierend auf den vorhergesagten positiven Klassenwerten Matrix und variierende Werte der Klassifizierungsschwelle. Ein optimaler Schwellenwert kann empirisch aus der interaktiven zusammengesetzten Ansicht und der Tabellenausgabe definiert werden, die die Genauigkeit und den erwarteten Gewinn durch verschiedene Schwellenwerte zeigen. Der Workflow kann vom EXAMPLES-Server und auf dem Hub heruntergeladen werden.

Profit Matrix

Zur Bewertung von Fehlklassifizierungen
des erwarteten Gewinns wird eine Gewinnmatrix für die Zuordnung der Kosten angefordert
unerwünschte Ergebnisse.

Wir führen negative Kosten (-1) für die False Negatives – riskante Antragsteller, denen ein Kredit genehmigt wurde – und einen positiven Gewinn (0,35) für die True Negatives – kreditwürdige Antragsteller, denen ein Kredit genehmigt wurde. Die Gewinnmatrix in Tabelle 1 zeigt die Kosten- und Gewinnwerte für diese Klassifizierungsergebnisse.

Tabelle 1: Gewinnmatrix, die einen Gewinn in die Klassifizierungsergebnisse einführt: Kosten für genehmigte schlechte Kredite und Gewinn für genehmigte gute Kredite.

19659033] Die in Tabelle 1 angegebenen Werte für Kosten und Gewinn basieren auf der folgenden Hypothese [1] : Nehmen wir an, dass eine korrekte Entscheidung der Bank am Ende eines bestimmten Zeitraums, beispielsweise 3-5 Jahre, zu einem Gewinn von 35% führen würde . Wenn das Gegenteil der Fall ist, dh die Bank sagt voraus, dass der Antragsteller kreditwürdig ist, sich jedoch als schlechte Kreditwürdigkeit herausstellt, beträgt der Verlust 100%.

Berechnung des erwarteten Gewinns

Die folgenden Formeln werden verwendet Geben Sie die Modellleistung in Bezug auf den erwarteten Gewinn an:

Wobei p der Anteil der positiven (riskanten) Klassenereignisse aller Daten ist.

Wobei n die Zahl ist von Kreditantragstellern. Allgemeiner kann unter der Annahme, dass die Klasse mit negativem Risikopotential als positive Klasse definiert ist, ein durchschnittlicher Gewinn für ein Klassifizierungsmodell mit einer Gewinnmatrix unter Verwendung der folgenden Formel berechnet werden:

Wobei n der ist Anzahl der Ereignisse in den Daten. In diesem Beispiel haben wir 500 Kreditantragsteller im Validierungssatz mit einem durchschnittlichen Darlehen von 10 000 €. 70% der Bewerber sind kreditwürdig und 30% sind riskant. Berechnen wir zunächst eine Basis für die Gewinnstatistik ohne Verwendung eines Klassifizierungsmodells:

Wenn wir eine Gutschrift für alle genehmigen
Antragsteller, der erwartete Verlust beträgt 225.000 €.

Als nächstes berechnen wir den erwarteten Verlust
Gewinn ist, wenn wir die Kreditwürdigkeit anhand eines Klassifizierungsmodells bewerten
und wir wägen die Ergebnisse mit der Gewinnmatrix ab.

Der Mindestschwellenwert für die positive Klasse zur Erzielung eines Gewinns ungleich Null [2] kann aus der Kostenmatrix wie folgt berechnet werden:

Dieser Wert kann empirisch angepasst werden
wie in der folgenden Beschreibung beschrieben.

Der in Abbildung 2 gezeigte Workflow iteriert über verschiedene Schwellenwerte zu den positiven Klassenwerten, die von einem Klassifizierungsmodell, hier einem logistischen Regressionsmodell, vorhergesagt wurden. Die Schwellenwerte reichen von 0 bis 1 mit einer Schrittgröße von 0,01. Der Workflow erzeugt die Gesamtgenauigkeit für jeden Wert des Schwellenwerts durch Vergleichen der tatsächlichen (in jeder Iteration unveränderten) und vorhergesagten (in jeder Iteration geänderten) Zielklassenwerte. Um den erwarteten Gewinn zu berechnen, werden die Klassifizierungsergebnisse jeder Iteration mit den Werten in der Gewinnmatrix gewichtet. In der Ausgabetabelle dieses Workflows entspricht jede Zeile einem Wert des Klassifizierungsschwellenwerts. Außerdem werden die Modellgenauigkeitsstatistik, der durchschnittliche Gewinn pro Antragsteller, der durchschnittliche Betrag pro Antragsteller und der durchschnittliche Gesamtbetrag für jeden Klassifizierungsschwellenwert angezeigt.

Abbildung 2: Erstellen der Genauigkeit und des erwarteten Gewinns für verschiedene Klassifizierungsschwellenwerte von 0 bis 1 mit einer Schrittgröße von 0,01. Eingabedaten enthalten die tatsächlichen Zielklassenwerte, positive Klassenwerte, die von einem Klassifizierungsmodell vorhergesagt wurden, und Gewinnmatrixwerte.

Die Ergebnisse

Die interaktive zusammengesetzte Ansicht in Abbildung 3 zeigt, wie die Werte von vier verschiedenen Modellleistungen sind Indikatoren entstehen, wenn der Wert der Klassifizierungsschwelle von 0 auf 1 steigt. Die Leistungsindikatoren sind: 1. Gesamtgenauigkeit (Liniendiagramm in der oberen linken Ecke) 2. Gesamtdurchschnittsbetrag (Liniendiagramm in der oberen rechten Ecke), 3. Durchschnittlicher Gewinn pro Antragsteller (Liniendiagramm in der unteren linken Ecke) und 4. Durchschnittlicher Betrag pro Antragsteller (Liniendiagramm in der unteren rechten Ecke).

Abbildung 3: Eine interaktive zusammengesetzte Ansicht zur Darstellung der Entwicklung von 1. Gesamtgenauigkeit , 2. Durchschnittlicher Gesamtbetrag, 3. Durchschnittlicher Gewinn pro Antragsteller und 4. Durchschnittlicher Betrag pro Antragsteller, wenn der Klassifizierungsschwellenwert von 0 auf 1 steigt.

Basierend auf einer empirischen Bewertung von ist der optimale Schwellenwert 0,51 i n in Bezug auf die Gesamtgenauigkeit und 0,27 in Bezug auf den erwarteten Gewinn. Tabelle 2 zeigt die Leistung des logistischen Regressionsmodells unter Verwendung der Standard- und optimierten Schwellenwerte in Bezug auf die Gesamtgenauigkeit und den durchschnittlichen Gewinn pro Antragsteller:

Tabelle 2: Erwarteter Gewinn und Gesamtgenauigkeit, wenn die Kreditwürdigkeit überhaupt nicht vorhergesagt wird und wann wird unter Verwendung der Standard- und optimierten Klassifizierungsschwellen vorhergesagt. 0,113 Gewinn pro Antragsteller ergibt einen Durchschnittsbetrag von 1.130 € und basierend auf 500 Antragstellern beträgt der durchschnittliche Gesamtbetrag 565.000 €.

Referenzen

[1] Wang, C., & Zhuravlev, M. Eine Analyse des Gewinns und
Kundenzufriedenheit in der Konsumentenfinanzierung. Fallstudien in der Wirtschaft,
Industrie- und Regierungsstatistik
2 (2), Seiten 147-156, 2014.

[2] C. Elkan. Die Grundlagen des kostensensitiven Lernens. In Proceedings of
die siebzehnte internationale gemeinsame Konferenz über künstliche Intelligenz
,
Seiten 973-978, 2001.

About BusinessIntelligence

Check Also

5-stufiger Prozess für aufschlussreiche datengesteuerte Geschäftsentscheidungen

Big Data wird bei Geschäftsentscheidungen immer wichtiger. Der Markt für Datenanalyseanwendungen und -lösungen wird voraussichtlich …

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.