Montag , Juli 27 2020

Sicherstellung der Genauigkeit des Vorhersagemodells im Alter von COVID-19

Eine wachsende Anzahl von Organisationen in jeder Branche hat sich auf Vorhersagemodelle verlassen, um die betriebliche Effizienz, die Kundenbeziehungen und die finanzielle Leistung zu verbessern. Die plötzlichen und dramatischen Auswirkungen der COVID-19-Pandemie haben sich jedoch negativ auf die Genauigkeit vieler Vorhersagemodelle ausgewirkt.

Allmähliche Änderungen von Daten wie Einkaufsmustern können zu einer Drift des Konzepts führen, was bedeutet, dass sich die Genauigkeit des Vorhersagemodells zunehmend verschlechtert. Michael Berthold, CEO und Mitbegründer von KNIME, einem Open-Source-Anbieter von Analyseplattformen, sagte, dass Konzeptdrift schwer zu erkennen sein kann, da es sich möglicherweise um einen zufälligen Effekt handelt. Da der COVID-19-Aufprall jedoch so plötzlich auftrat, kam es stattdessen zu einem Konzeptsprung.

Wie COVID-19 die Genauigkeit des Vorhersagemodells beeinflusste.

In der jüngeren Geschichte sind mehrere Pandemien aufgetreten, wie beispielsweise die H1N1-Influenzapandemie im Jahr 2009, aber ihre Die Auswirkungen waren im Vergleich zu COVID-19 gering. Die aktuelle Gesundheitskrise hat Leben und Geschäfte auf der ganzen Welt zerstört.

"Im November oder Dezember [2019] haben wir möglicherweise versucht, zu entscheiden, ob wir am Wochenende ein Special in unserem Hotel veranstalten möchten. Jetzt machen wir uns Sorgen ob Sie überhaupt jemanden in ein Hotel bringen können ", sagte Fallaw Sowell, Associate Professor für Wirtschaftswissenschaften an der Tepper School of Business der Carnegie Mellon University. "Höchstwahrscheinlich sind die Modelle, die wir uns angesehen haben und die wichtig waren, nicht mehr wirklich aussagekräftig, weil wir über andere Kriterien nachdenken."

Und es ist nicht so, dass Unternehmen andere Ziele verfolgen als vor einigen Monaten: Sie gehen Sowell sagte,

Eine der Herausforderungen sei das Fehlen relevanter Daten. Während die Auswirkungen der spanischen Grippe eher COVID-19 als den jüngsten Pandemien ähneln, sind nur wenige Daten über die Pandemie von 1918 verfügbar. Während vergangene Finanzkrisen dazu beitragen können, aktuelle Wirtschaftsmodelle zu informieren, sind der Dotcom-Crash von 2001 und die Finanzkrise von 2008 auf ganz andere Umstände zurückzuführen.

"Obwohl sich diese Wirtschaftskrise von der vorherigen unterscheidet, gibt es bestimmte [lessons] wir kann vorankommen ", sagte Anand Rao, globaler Leiter für künstliche Intelligenz bei PwC. "Wir alle kennen die U-Kurve, die J-Kurve, die V-Kurve und die W-Kurve – all diese unterschiedlichen wirtschaftlichen Szenarien, mit denen die Leute angefangen haben zu arbeiten. Auch wenn Sie nicht wissen, auf welcher Kurve Sie sich befinden, können Sie das Schauen Sie sich 'Wie bereite ich mich auf die verschiedenen Typen vor?' "

Warum es schwierig bleibt, die Genauigkeit des Vorhersagemodells aufrechtzuerhalten

Die sich schnell ändernde Natur von COVID-19 bedeutet, dass Datenwissenschaftler Modelle nicht einfach anhand von 2020-Daten neu trainieren können. [19659005] "Wenn ich jetzt [using] die Kundenverhaltensdaten des letzten Jahres trainiere, wird mein Modell völlig chaotisch sein, da es einige normale Daten, einige Gesamtsperrdaten und einige Sperrdaten enthält", sagte Berthold. "Man bekommt das schlechteste aller drei Modelle."

Rao sagte, dass das Interesse an Szenariomodellen in jüngster Zeit gestiegen ist, weil Unternehmen auf mehrere Ergebnisse vorbereitet sein wollen. Beispielsweise wollte ein Unternehmen für Konsumgüter (CPG) die Nachfrage anhand verschiedener COVID-19-Szenarien untersuchen, die PwC mit nur 20 Datenpunkten durchführte. Rao sagte, er hätte die Idee eines solchen Projekts erst vor wenigen Monaten sofort verworfen.

"COVID-19 beschleunigte verschiedene Arten der KI-Annäherung in einem kürzeren Zeitraum mit einer Datenmenge von [smaller] ", so Rao sagte. "Ich sage nicht, dass die KI alles richtig gemacht hat, aber es ermöglicht Ihnen, verschiedene Optionen zu erkunden, vielleicht flinker als es die Leute sicher gewohnt sind."

Andere kreative Problemlösungen finden aus der Notwendigkeit heraus statt. Sowell sagte, das Zentrum für die Kontrolle und Prävention von Krankheiten (CDC) sei mit einem Datenqualitätsproblem konfrontiert, das darin bestehe, dass verschiedene Standorte im Land COVID-19-Todesfälle unterschiedlich erfassen und melden. Eine andere Möglichkeit, sich dem Problem zu nähern, besteht darin, die Anzahl der übermäßigen Todesfälle zu berechnen. Anhand von Daten aus fünf Jahren (2015 bis 2019) kann die CDC die durchschnittliche Anzahl der Todesfälle pro Monat nach Ort mit der tatsächlichen Anzahl der Todesfälle im Jahr 2020 vergleichen.

"Sie gehen jetzt zu einer besseren Datenquelle und etwas anders Modell, um die Frage zu beantworten ", sagte Sowell. "Sie bauen auf der Idee auf [that] es ist eine Pause. Wenn wir es richtig betrachten können, können wir einige aussagekräftige Informationen über die Gesamtzahl der Todesfälle erhalten."

Was könnte ein zukünftiger Rückblick bedeuten?

Will Datenwissenschaftler wünschten, sie hätten die heutigen Probleme anders gelöst? Wenn ja, was könnten sie vorschlagen? Berthold glaubt, dass Organisationen der menschlichen Überwachung automatisierter Vorhersagesysteme Priorität einräumen werden.

"Aus datenwissenschaftlicher Sicht kann man ein Ereignis wie [COVID-19] nicht nur anhand von Daten erkennen", sagte Berthold. "Sie werden in ein paar Minuten oder ein paar Stunden herausfinden – je nachdem, wonach Sie suchen -, dass sich etwas massiv geändert hat, aber ohne Kontextwissen werden Sie das nicht finden. Ich denke, die Leute sind es Die Erkenntnis, dass das Ausführen von Vorhersagemodellen auf völlig unbegrenzte und nicht überwachte Weise gefährlich ist. "

Vikas Khorana, Mitbegründer und CTO von Ntooitive, einem Unternehmen für digitales Marketing und Technologie, erwartet, dass extreme Tests zur Norm werden und dass die Ergebnisse erzielt werden angewendet auf Prozesse, einschließlich Business Continuity und Disaster Recovery.

Rao glaubt, dass Datenwissenschaftler ihre eigene Form von Agile annehmen werden.

"Das ist etwas, was die Leute jetzt tun, aber wir hätten es vor der Pandemie tun sollen", sagte Rao sagte. "Jeder hat gesagt, dass es sechs oder acht Wochen dauert, bis man ein Modell bauen kann, aber die Leute sterben langsam. Man braucht etwas schnelles und schmutziges, um es zu verfeinern. Eine Methodik für einige dieser Dinge entwickelt sich noch weiter und das ist etwas, das wir wahrscheinlich herausfinden sollten, wie es am besten geht. "

About BusinessIntelligence

Check Also

Die Datenreise: Von Rohdaten zu Erkenntnissen

Blog Wir leben in einer Welt der Daten: Es gibt mehr davon als je zuvor …

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.