Samstag , Juli 11 2020

Modernisieren Sie Ihre ETL-Prozesse und entdecken Sie bessere Einblicke

Blog

Wir leben in einer Welt der Daten: Es gibt mehr davon als je zuvor in einer unaufhörlich wachsenden Anzahl von Formen und Orten. Umgang mit Daten ist Ihr Fenster in die Art und Weise, wie Datenteams die Herausforderungen dieser neuen Welt angehen, um ihren Unternehmen und Kunden zu helfen, erfolgreich zu sein.

In den letzten Jahren haben wir festgestellt, dass Daten für Daten erheblich verfügbarer werden Unternehmen. Dies ist hauptsächlich auf den Anstieg von Data Warehouses, die Senkung der Kosten für die Datenspeicherung und moderne ETL-Tools zurückzuführen, mit denen das Speichern und Zugreifen auf Daten zugänglicher als je zuvor ist. Dies hat es Unternehmen ermöglicht, in allen Bereichen ihres Geschäfts immer datengesteuerter zu werden. In der Tat ist es im heutigen Klima allgegenwärtig und unerlässlich geworden, datengesteuert zu sein. In diesem Artikel wird auf hoher Ebene erläutert, wie moderne Unternehmen neue Technologien einsetzen, um eine größere Vielfalt von Datenquellen aufzunehmen.

Laut dem SaaS-Trendbericht 2020 von Bissfully für 2020 verwenden kleinere Unternehmen (0 bis 50 Mitarbeiter) durchschnittlich 102 SaaS-Anwendungen, während mittelständische Unternehmen (101 bis 250 Mitarbeiter) etwa 137 SaaS-Anwendungen verwenden. Unternehmen können mittlerweile bis zu 288 SaaS-Anwendungen im gesamten Unternehmen verwenden!

Diese SaaS-Produkte reichen von CRMs über Marketing-Automatisierungs-Apps bis hin zu Abrechnungssoftware für Helpdesk-Tools usw. Diese Anwendungen können Tausende bis Millionen von Anwendungen protokollieren Datenzeilen, die über die API verfügbar gemacht werden und von denen viele wertvolle Erkenntnisse für Unternehmen liefern können. Hinzu kommen die firmeneigenen intern gesammelten Produktdaten, und es ist klar, dass selbst kleine und mittlere Unternehmen mit den ihm zur Verfügung stehenden Daten viel anfangen können. In diesem Artikel werden wir behandeln, was der ETL-Prozess ist, warum es wichtig ist, datengesteuerte Unternehmen mit Strom zu versorgen und wie der Aufstieg moderner ETL-Tools den ETL-Prozess für immer verändert hat.

 Sisense for Cloud Data Teams

Der ETL-Prozess: Gründung datengesteuerter Unternehmen

Jedes Unternehmen möchte, dass jedes Team in seinem Unternehmen intelligentere, datengesteuerte Entscheidungen trifft. Kundensupportteams untersuchen Trends bei Supporttickets oder führen Textanalysen zu Gesprächen durch, um zu verstehen, wo sie ein besseres Onboarding und eine bessere Dokumentation bieten können. Marketingteams möchten eine bessere Übersicht über ihre Anzeigenleistung auf verschiedenen Plattformen und den ROI ihrer Ausgaben. Produkt- und Entwicklungsteams untersuchen Produktivitätsmetriken oder Fehlerberichte, um ihre Ressourcen besser priorisieren zu können.

Der ETL-Prozess ermöglicht all diesen verschiedenen Teams, die Informationen zu erhalten, die sie benötigen, um ihre Aufgaben besser zu verstehen und auszuführen. Unternehmen nehmen Daten aus einer Vielzahl von Quellen über den ETL-Prozess auf, der für Extrahieren, Transformieren, Laden steht. Die vorbereiteten Daten stehen dann zur Analyse und Verwendung durch die verschiedenen Teams zur Verfügung, die sie benötigen, sowie zur erweiterten Analyse, Einbettung in Anwendungen und zur Verwendung für andere Datenmonetarisierungsbemühungen. Was auch immer Sie mit Daten tun möchten, Sie müssen sie zuerst ETL.

Erläutern des traditionellen ETL-Prozesses

Traditionell umfasst der -Extraktionsschritt des Prozesses das Batch-Abrufen der Daten aus der Quelle über Dateien, Anwendungsdatenbanken oder eine API. Im Transformationsschritt werden die Daten bereinigt und modelliert, sodass sie für die Analyse geeignet und vom Data Warehouse aufgenommen werden können. Schließlich werden die bereinigten Tabellen zur Analyse in das Data Warehouse geladen .

Dieser traditionelle ETL-Prozess ist sehr schwer zu skalieren. Es erfordert häufig Vollzeit-Dateningenieure, die Skripte zu entwickeln und zu warten, die den Datenfluss aufrechterhalten. Dies liegt daran, dass die Datenanbieter häufig Änderungen an ihren Schemas oder APIs vornehmen, wodurch die Skripts, die den ETL-Prozess unterstützen, beschädigt werden. Bei jeder Änderung bemühen sich die Dateningenieure, ihre Skripte zu aktualisieren, um sie zu berücksichtigen, was zu Ausfallzeiten führt. Da Unternehmen jetzt Daten aus so vielen unterschiedlichen (häufig sich schnell bewegenden) Datenquellen aufnehmen müssen, ist die Verwaltung von ETL-Skripten für jede einzelne nicht skalierbar.

Besseres Leben mit ETL-Tools: Der moderne ETL-Prozess

Der moderne ETL-Prozess folgt einer etwas anderen Reihenfolge von Operationen, die als ELT bezeichnet wird. Dieser neue Prozess entstand aufgrund der Einführung von Tools zur Aktualisierung des ETL-Prozesses sowie des Aufstiegs moderner Data Warehouses mit relativ geringen Speicherkosten.

Heute erledigen ETL-Tools das schwere Heben für Sie. Sie verfügen über Integrationen für viele der wichtigsten SaaS-Anwendungen und über Ingenieurteams, die diese Integrationen beibehalten und Ihr internes Datenteam entlasten. Diese ETL-Tools sind für die Verbindung mit den meisten wichtigen Data Warehouses konzipiert, sodass Unternehmen ihre Apps an einem Ende und ihr Warehouse am anderen Ende anschließen können, während die ETL-Tools den Rest erledigen.

Benutzer können die Orchestrierung normalerweise über einen einfachen Drop steuern -down-Auswahl innerhalb der Apps, wodurch die Notwendigkeit verringert wird, eigene Server oder EC2-Boxen einzurichten oder DAGs für die Ausführung auf Plattformen wie Airflow zu erstellen. ETL-Tools bieten in der Regel auch robustere Optionen zum schrittweisen Anhängen neuer Daten oder zum Aktualisieren neuer und geänderter Zeilen, wodurch häufigere Ladevorgänge möglich sind und Echtzeitdaten für das Unternehmen näher kommen. Mit diesem vereinfachten Prozess zur Bereitstellung von Daten für die Analyse können sich Datenteams darauf konzentrieren, neue Anwendungen für Daten zu finden, um Wert für das Unternehmen zu generieren.

 Optimale Nutzung Ihrer digitalen Transformation

Der ETL-Prozess und Data Warehouses

] Data Warehouses sind Gegenwart und Zukunft von Daten und Analysen. Die Speicherkosten in Data Warehouses sind in den letzten Jahren drastisch gesunken, sodass Unternehmen so viele Rohdatenquellen wie möglich laden können, ohne die gleichen Bedenken zu haben, die sie zuvor hatten.

Heute können Datenteams Rohdaten vor der Transformation aufnehmen und dies zulassen Sie führen die Transformationen im Lager anstelle eines separaten Bereitstellungsbereichs durch. Mit der erhöhten Verfügbarkeit von Daten und einer gemeinsamen Sprache für den Zugriff auf diese Daten, SQL, kann das Unternehmen seine Daten flexibler nutzen, um die richtigen Entscheidungen zu treffen.

Der moderne ETL-Prozess: Bessere Ergebnisse liefern, schneller.

Unter dem Im traditionellen ETL-Prozess stieg mit zunehmenden Daten- und Verarbeitungsanforderungen auch die Wahrscheinlichkeit, dass lokale Data Warehouses ausfallen würden. In diesem Fall musste die IT-Abteilung vorbeischauen, um das Problem zu beheben, was normalerweise das Hinzufügen weiterer Hardware bedeutete.

Der moderne ETL-Prozess in den heutigen Data Warehouses umgeht dieses Problem, indem das Rechenressourcenmanagement in das Cloud Data Warehouse verlagert wird. Viele Cloud-Data-Warehouses bieten eine Computerskalierung, die bei Bedarf eine dynamische Skalierung ermöglicht. Auf diese Weise können Datenteams weiterhin eine skalierbare Leistung erzielen, während sie eine größere Anzahl rechenintensiver Datenmodelle halten und größere Datenquellen aufnehmen. Die geringeren Kosten für die Rechenleistung sowie die Skalierung der Rechenleistung in Cloud-Data-Warehouses ermöglichen es Datenteams, Ressourcen effizient nach ihren Anforderungen zu vergrößern oder zu verkleinern und Ausfallzeiten besser sicherzustellen. Das Fazit ist, dass Sie Ihr internes Daten- und / oder IT-Team nicht über Ihre Datenspeicherungs- und Computerprobleme beunruhigen müssen, sondern dies so gut wie vollständig an den Data-Warehouse-Anbieter auslagern können.

Datenteams können dann Tests erstellen zusätzlich zu ihrem Cloud-Data-Warehouse, um ihre Datenquellen auf Qualität, Aktualität usw. zu überwachen und ihnen eine schnellere und proaktivere Übersicht über Probleme mit ihren Datenpipelines zu geben.

Von ETL zu ELT und darüber hinaus

Daten, Analysen, und BI haben sich seit ihrer Gründung radikal weiterentwickelt. Wir sind weit über Excel-Tabellen und On-Prem-zentrierte Datenquellen hinaus. Cloud-native Data Warehouses, Cloud-native Architektur in Analytics- und BI-Plattformen und eingebettete Analytics, die auf diesen Systemen basieren, haben neu definiert, was es bedeutet, in unserer modernen Zeit wirklich datengesteuert zu sein.

Der ETL-Prozess wurde aktualisiert und kann Jetzt liefern Sie Erkenntnisse aus einer Vielzahl von Datensätzen, mit denen Unternehmen und Teams aller Art schneller intelligentere Entscheidungen treffen können. Es öffnet auch die Türen für erweiterte Analysefunktionen, Datenmonetarisierung der nächsten Ebene und vieles mehr. Unabhängig davon, was Sie mit Ihren Daten erstellen, hilft Ihnen ein modernes ELT-Setup dabei, mehr aus Ihren Daten herauszuholen.

Während wir eine große Migration zu Data Warehouses mit Blick auf die Zukunft gesehen haben, sehen wir möglicherweise sogar eine weitere Entwicklung Datenseen werden häufiger als ursprüngliches Ziel für alle Rohdatenquellen verwendet, was noch weitere Kostenvorteile bietet. Darüber hinaus nehmen neue Tools Gestalt an, die eine Transformation innerhalb dieser Datenseen ermöglichen und so die Entwicklung von Tools und Prozessen innerhalb der Datenpipeline auf dem Weg von ETL zu ELT fortsetzen.

 Sisense for Cloud Data Teams

Adam Luba ist Analytics Engineer bei Sisense und verfügt über fast fünf Jahre Erfahrung im Bereich Daten und Analytics. Er ist begeistert davon, datengesteuerte Geschäftsentscheidungen zu ermöglichen, und liebt es, über den gesamten Lebenszyklus hinweg mit Daten zu arbeiten.

About BusinessIntelligence

Check Also

Wie kann das Geschäft mit Apple Maps profitieren?

Können Sie sich Ihr Leben ohne Navigation über Ihr Mobilgerät vorstellen? Heutzutage sind elektronische Karten …

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.