Mittwoch , Mai 20 2020

DataOps verstehen – DATAVERSITY

DataOps (Datenoperationen) hat seine Wurzeln im Agilen
Philosophie. Es basiert stark auf Automatisierung und konzentriert sich auf die Verbesserung der Geschwindigkeit
und Genauigkeit der Computerverarbeitung, einschließlich Analyse, Datenzugriff,
Integration und Qualitätskontrolle. DataOps wurde als bestes System gestartet
Praktiken, hat sich aber allmählich zu einem voll funktionsfähigen Ansatz für gereift
Umgang mit Datenanalyse. Darüber hinaus ist es auf Gutes angewiesen und fördert es
Kommunikation zwischen dem Analyseteam und der Informationstechnologie
Betriebsteam.

Bei DataOps geht es im Wesentlichen darum, die Art und Weise, wie Daten verwaltet und Produkte erstellt werden, zu optimieren und diese Verbesserungen mit den Geschäftszielen zu koordinieren. Wenn das Unternehmen beispielsweise das Ziel hat, die Kundenabwanderungsrate zu senken, können Kundendaten verwendet werden, um eine Empfehlungs-Engine zu entwickeln, die Produkte für bestimmte Kunden basierend auf deren Interessen bereitstellt und möglicherweise den Kunden die gewünschten Produkte zur Verfügung stellt.

Die Implementierung eines DataOps-Programms erfordert jedoch einige Arbeitskräfte und Organisation (und einige Finanzmittel). Das Data Science-Team muss in der Lage sein, auf die Daten zuzugreifen, die zum Erstellen der Empfehlungs-Engine und der Tools für deren Bereitstellung erforderlich sind, bevor sie sie in die Website integrieren können. Die Implementierung eines DataOps-Programms erfordert eine sorgfältige Abwägung der Unternehmensziele und Budgetprobleme.

Beseitigung von Verwirrung über Agile, DevOps und DataOps

Das Agile Manifest von 2001 brachte die Gedanken einiger visionärer Softwareentwickler zum Ausdruck, die beschlossen, dass „Software entwickeln“ ein völliges Umdenken erfordert, einschließlich der Umkehrung einiger Grundannahmen. Diese Querdenker schätzten Individuen und Interaktionen mehr als Prozesse und Werkzeuge. Sie betonten auch die Arbeit an Software anstelle einer umfassenden Dokumentation, die Reaktion auf Änderungen, anstatt sich in einem Plan festzumachen, und die Zusammenarbeit mit Kunden anstelle von Vertragsverhandlungen. Agile bezieht sich auf eine Philosophie, die sich auf Kundenfeedback, Zusammenarbeit und kleine, schnelle Releases konzentriert. DevOps wurde aus der Agile-Philosophie geboren.

DevOps bezieht sich auf eine Praxis, bei der das Entwicklungsteam (die Codeersteller) und das Betriebsteam (die Codebenutzer) zusammengeführt werden. DevOps ist eine Softwareentwicklungspraxis, die sich auf die Kommunikation, Integration und Zusammenarbeit zwischen diesen beiden Teams konzentriert, mit dem Ziel, Produkte schnell bereitzustellen.

Die Idee zu DevOps entstand 2008 bei Andrew Clay
Shafer und Patrick Debois diskutierten das Konzept einer Agilität
Infrastruktur. Die Idee verbreitete sich 2009 mit dem ersten DevOpsDays-Event.
die in Belgien stattfand. Ein Gespräch über mehr Effizienz in
Die Softwareentwicklung entwickelte sich allmählich zu einem Feedback-System für
Ändern Sie jeden Aspekt der traditionellen Softwareentwicklung. Die Änderungen reichen von
Kodierung bis zur Kommunikation mit verschiedenen Stakeholdern und weiterhin
Bereitstellung der Software.

DataOps wurde aus der DevOps-Philosophie geboren. DataOps ist eine Erweiterung der Agile- und DevOps-Philosophie, konzentriert sich jedoch auf die Datenanalyse. Es ist nicht an eine bestimmte Architektur, ein bestimmtes Werkzeug, eine bestimmte Technologie oder eine bestimmte Sprache gebunden. Es ist bewusst flexibel. Tools, die DataOps unterstützen, fördern die Zusammenarbeit, Sicherheit, Qualität, den Zugriff, die Benutzerfreundlichkeit und die Orchestrierung.

DataOps wurde erstmals von Lenny Liebmann, einem mitwirkenden Redakteur für InformationWeek, in einem Artikel mit dem Titel 3 Gründe, warum DataOps für den Erfolg von Big Data unerlässlich ist vorgestellt. Das Jahr 2017 verzeichnete für DataOps einen Wachstumsschub mit einer signifikanten Abdeckung durch Analysten, Umfragen, Veröffentlichungen und Open Source-Projekten. Im Jahr 2018 stellte Gartner DataOps im Hype Cycle (Vorhersagen zum Lebenszyklus neuer Technologien) für das Datenmanagement vor.

DataOps verfügt über ein eigenes Manifest und konzentriert sich darauf, Wege zu finden, um die Menge zu reduzieren Zeitaufwand für die Fertigstellung eines Datenanalyseprojekts, angefangen von der ursprünglichen Idee bis zur Fertigstellung von Grafiken, Modellen und Diagrammen für Kommunikationszwecke. Oft wird SPC (Statistical Process Control) verwendet, um den Datenanalyseprozess zu überwachen und zu steuern. Mit SPC wird der Datenfluss ständig überwacht. Sollte eine Anomalie auftreten, wird das Datenanalyseteam durch eine automatische Warnung benachrichtigt.

Die Vorteile von DataOps

Ziel von DataOps ist es, die Zusammenarbeit zwischen Datenwissenschaftlern, IT-Mitarbeitern und Technologen zu fördern, wobei jedes Team synchron arbeitet um Daten schneller und intelligenter zu nutzen. Je besser das Datenmanagement, desto besser und verfügbarer die Daten. Größere Datenmengen und bessere Daten führen zu einer besseren Analyse. Dies führt wiederum zu besseren Einsichten, besseren Geschäftsstrategien und höheren Gewinnen. Nachfolgend sind fünf Vorteile aufgeführt, die sich aus der Entwicklung eines DataOps-Programms ergeben:

  • Daten
         Problem- / Lösungsmöglichkeiten:
    Es wurde festgestellt, dass die Menge von
         Die erstellten Daten verdoppeln sich alle 12 bis 18 Monate. DataOps hilft dabei, roh zu werden
         Datenmaterial schnell und effizient in wertvolle Informationen umwandeln.
  • Verbesserte Datenanalyse: DataOps fördert den Einsatz vielfältiger Analysetechniken. Neue Algorithmen für maschinelles Lernen, die Daten durch alle Phasen der Analyse führen sollen, werden immer beliebter. Diese Algorithmen helfen Datenspezialisten, Daten zu sammeln, zu verarbeiten und zu klassifizieren, bevor sie an den Kunden geliefert werden. Es liefert auch innerhalb kürzester Zeit Feedback vom Kunden und fördert schnelle Reaktionen auf sich schnell ändernde Marktanforderungen.
  • Neue Möglichkeiten finden: DataOps öffnet die Tür zur Flexibilität und verändert den gesamten Arbeitsprozess innerhalb eines Organisation. Prioritätenwechsel und neue Möglichkeiten bieten sich als Teil des Paradigmenwechsels. Es hilft beim Aufbau eines neuen Ökosystems ohne Grenzen zwischen Büros und Abteilungen. Verschiedene Mitarbeiter wie Entwickler, Betreiber, Dateningenieure, Analysten und Marketingberater können in Echtzeit zusammenarbeiten und Wege planen und organisieren, um Unternehmensziele zu erreichen. Die Synergie, verschiedene Spezialisten zusammenzubringen, beschleunigt die Reaktionszeit und bietet einen besseren Kundenservice, was wiederum die Gewinne des Unternehmens steigert.
  • Langfristige Anleitung: DataOps fördert die kontinuierliche Praxis des strategischen Datenmanagements. Es nutzt die mandantenfähige Zusammenarbeit, um die Bedürfnisse verschiedener Kunden zu verhandeln. Datenspezialisten können Daten organisieren, Datenquellen auswerten und das Feedback von Kunden untersuchen. Implementierung von maschinellem Lernen DataOps kann diese Prozesse (und mehr) automatisieren und das Geschäft effizienter machen.

DataOps sollte als unterstützende Einbahnstraße betrachtet werden
vollständige Interoperabilität (Austausch und Verwendung von Informationen) zwischen den Daten
Quellen und die Datenbenutzer. Datenanalyse und Datenmanagement werden
durch den Einsatz automatischer Prozesse optimiert. Diese Schritte sorgen für schnell und
nahtlose Verbesserungen bei der Produktlieferung und -bereitstellung.

Continuous Analytics

Continuous Analytics ist eine neuere Entwicklung. Die Verwendung komplexer Batch-Daten-Pipelines und ETLs entfällt und wird durch Cloud- und Microservices ersetzt. Die kontinuierliche Datenverarbeitung unterstützt Interaktionen in Echtzeit und bietet sofortige Einblicke bei geringerem Ressourcenverbrauch.

Der kontinuierliche Ansatz ist so konzipiert, dass mehrere ausgeführt werden
Staatenlose (keine Daten speichern) Engines gleichzeitig, die bereichern, analysieren und
auf die Daten einwirken. Der daraus resultierende Ansatz der „kontinuierlichen Analyse“ bietet eine schnellere Lösung
Antworten, während gleichzeitig die Arbeit der IT einfacher und kostengünstiger wird.

Traditionell wurden Datenwissenschaftler von IT-Entwicklungsteams getrennt. Ihre Fähigkeiten (Mathematik, Statistik und Datenwissenschaft) unterscheiden sie von der IT. Dank des kontinuierlichen Bereitstellungsansatzes können Big-Data-Teams ihre Software jedoch in verkürzten Zyklen veröffentlichen. In dieser Situation schreiben Datenwissenschaftler ihren Code mit demselben Code-Repository wie die regulären Programmierer. Die Datenwissenschaftler speichern ihren Code in Git, ebenso wie die Programmierer, die APIs schreiben, die eine Verbindung zu Datenquellen herstellen. Die Big Data- und DevOps-Ingenieure codieren Playbooks und Skripte in Ansible und Docker. Das Testen ist normalerweise ein automatisierter Teil des Prozesses.

Kontinuierliche Analyse ist im Wesentlichen eine Erweiterung des kontinuierlichen
Entwicklungssoftware-Entwicklungsmodell. Das Ziel bei der Verwendung dieses Modells ist es, zu entdecken
neue Möglichkeiten, das Schreiben von Analysecode mit der Installation von Big-Data-Software zu verbinden,
vorzugsweise in einem System, das die Software automatisch testet.

Implementieren von DataOps

Unternehmen, die von einem unflexiblen System und Daten von schlechter Qualität herausgefordert werden, haben DataOps als Lösung entdeckt. DataOps enthält Tools und Prozesse, die eine schnellere und zuverlässigere Datenanalyse ermöglichen. Während es keinen einzigen Ansatz für die Implementierung eines DataOps-Programms gibt, sind einige grundlegende Schritte:

  • Demokratisierung der Daten: Ein Mangel an Datenzugriff / Informationen ist ein Hindernis für eine bessere Entscheidungsfindung. Geschäftsinteressenten, CEOs, Datenwissenschaftler, IT-Mitarbeiter und das allgemeine Management sollten Zugriff auf die Unternehmensdaten haben. Ein Self-Service-Datenzugriffsprogramm und die dazu unterstützende Infrastruktur sind unerlässlich. Deep Learning- und Machine Learning-Anwendungen benötigen einen konstanten Fluss neuer Daten, um zu lernen und zu verbessern.
  • Anwenden von Plattformen und Open Source-Tools: Eine Data Science-Plattform muss zusammen mit der Unterstützung von Frameworks und Sprachen in ein DataOps-Programm aufgenommen werden . Plattformen für Datenverschiebung, Integration, Orchestrierung und Leistung sind ebenfalls wichtig. Das Rad muss nicht neu erfunden werden, solange Open Source-Tools verfügbar sind.
  • Automatisieren, automatisieren, automatisieren: Um bei datenintensiven Projekten eine schnellere Fertigstellung zu erreichen, ist die Automatisierung eine absolute Notwendigkeit. Zeitaufwendige manuelle Anstrengungen wie die Überwachung der Datenanalyse-Pipeline und das Testen der Qualitätssicherung entfallen. Microservices fördern die Selbstversorgung und geben Datenwissenschaftlern die Freiheit, Modelle als APIs zu erstellen und bereitzustellen. Auf diese Weise können Ingenieure Code nach Bedarf integrieren, ohne ihn umgestalten zu müssen. Insgesamt führt dies zu Produktivitätsverbesserungen.
  • Govern
         mit Sorgfalt:
    Ein Wort der Vorsicht: Bis eine Blaupause für den Erfolg vorliegt
         etabliert (Adressierung der Tools, Prozesse, Prioritäten, Infrastruktur,
         und die wichtigsten Leistungsindikatoren, die Ihre Data Science-Teams benötigen)
         Vorsicht bei Entscheidungen, die sich langfristig auf das Geschäft auswirken.
  • Smash Silos: Die Zusammenarbeit ist für ein erfolgreiches DataOps-Programm von entscheidender Bedeutung. Datensilos, die Daten bis auf wenige für alle unzugänglich machen, sollten beseitigt werden. Die Plattformen und Tools, die bei der Implementierung eines DataOps-Programms verwendet werden, sollten das größere Ziel unterstützen, Menschen zusammenzubringen, um Daten effektiver zu nutzen.

Bild, das unter Lizenz von Shutterstock.com verwendet wird

About BusinessIntelligence

Check Also

5 Verrückte und leistungsstarke datengesteuerte Internetstatistik im Jahr 2020

Big Data verändert die Zukunft des Internets. Das World Wide Web existierte lange bevor „Big …

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.