DataOps: Bessere Datenanalysen, die schneller erreicht werden

Von Greg Henson, CEO der Henson Group

dataops

Continuous Integration and Continuous Delivery (CI/CD) ist das Wichtigste, was DevOps mit dem viel neueren Prozess DataOps gemeinsam hat.

DevOps, der Zusammenschluss von Softwareentwicklern und IT-Betreibern, um die Geschwindigkeit, mit der ein Softwareprodukt auf den Markt gebracht werden kann, radikal zu erhöhen, tat dies, indem es sofort Feedback von den Benutzern sammelte und es an die Entwickler zurückgab, die sofort und iterativ neue Upgrades programmierten. Dies führte dazu, dass viele Unternehmen Dutzende von Upgrade-Iterationen pro Tag durchführen konnten!

Der Bedarf an schnellerem Wissen durch bessere Analysen

Viele Initiativen zur digitalen Transformation beginnen mit der klaren Erkenntnis: Je mehr Daten zur Verbesserung der Geschäftsergebnisse genutzt werden können, desto besser. Daten werden oft als "der neue Speck" oder "das neue Öl" bezeichnet, um das enorme Monetarisierungspotenzial der Daten, die ein Unternehmen bereits besitzt, zu würdigen.

Dies hat eine neue Dringlichkeit geschaffen, aus riesigen Datenmengen einen Wert zu schöpfen und fortschrittliche Analysen durchzuführen, um nützliche Antworten zu erhalten.

Randy Bean, CEO von NewVantage Partners, erklärt: "DataOps-Firmen haben erkannt, dass die Prozesse und Tools, die sie anbieten, dazu beitragen müssen, eine datengesteuerte Kultur aufzubauen und zu stärken."

In Bezug auf die Ähnlichkeiten und Unterschiede zwischen DataOps und den involvierenden und iterativen Qualitäten von DevOps fügt Bean hinzu: "DataOps zielt darauf ab, dasselbe zu tun, wenn es darum geht, den Endbenutzern im Unternehmen mithilfe agiler Datenverwaltungspraktiken analytische Geschwindigkeit zu liefern."

Was wird durch DataOps ersetzt?

Chief Data Officers (CDO) und Datenanalytiker reagieren auf diese Herausforderungen auf eine von drei Arten:

Heldentum - Datenanalytik-Teams arbeiten lange, um die Diskrepanz zwischen Leistung und Erwartungen auszugleichen. Wenn eine Aufgabe erfüllt ist, wird das Datenanalyseteam als Held gefeiert. Die Helden von gestern sind jedoch schnell vergessen, wenn es eine neue Aufgabe zu erfüllen gilt. Außerdem ist diese Strategie über einen längeren Zeitraum nur schwer aufrechtzuerhalten und führt letztlich nur dazu, dass die Erwartungen auf ein höheres Niveau zurückgesetzt werden, ohne dass zusätzliche Ressourcen bereitgestellt werden. Der Heroismus-Ansatz lässt sich auch nur schwer skalieren, wenn eine Organisation wächst.

Hoffnung - Wenn ein Termin eingehalten werden muss, ist es verlockend, einfach schnell eine Lösung mit minimalen Tests zu erstellen, sie an die Benutzer weiterzugeben und zu hoffen, dass sie nicht kaputt geht. Dieser Ansatz birgt Risiken in sich. Letztendlich wird eine Lösung Datenfehler enthalten, die die Benutzer verärgern und die hart erkämpfte Glaubwürdigkeit des Datenanalyseteams beschädigen.

Vorsicht - Das Team beschließt, jedem Datenanalyseprojekt einen längeren Entwicklungs- und Testplan zu geben. Dies ist eine Entscheidung, den Benutzern eine höhere Qualität, aber weniger Funktionen zu liefern. Eine Schwierigkeit bei diesem Ansatz besteht darin, dass die Benutzer oft nicht wissen, was sie wollen, bis sie es sehen, so dass sich eine detaillierte Spezifikation bis zum Ende eines Projekts erheblich ändern kann. Der langsame und methodische Ansatz kann auch dazu führen, dass die Benutzer unzufrieden sind, weil die Analysen langsamer geliefert werden, als sie es wünschen, und da sich die Anfragen häufen, besteht die Gefahr, dass das Datenanalyseteam als bürokratisch und ineffizient angesehen wird.

Keiner dieser Ansätze erfüllt die Bedürfnisse von Nutzern und Datenanalytikern in angemessener Weise, aber es gibt einen Ausweg aus diesem Dilemma. Die oben genannten Herausforderungen sind nicht nur im Bereich der Analytik zu finden, sondern auch in anderen Organisationen.

Warum DataOps

Randy Bean schreibt die Entwicklung von DataOps auch Andy Palmer zu, CEO und Mitbegründer von Tamr Inc., einem Unternehmen der nächsten Generation für Datenkuration, das 2013 zusammen mit dem Turing-Preisträger Dr. Mike Stonebraker gegründet wurde.

"Daten werden schon lange verwaltet", erklärt Palmer in seinem bahnbrechenden Artikel aus dem Jahr 2015, From DevOps to DataOps: Why It's Time to Embrace "DataOps" as a New Discipline, "aber wir sind jetzt an einem Punkt angelangt, an dem die Menge, Geschwindigkeit und Vielfalt der Daten, die einem modernen Unternehmen zur Verfügung stehen, nicht mehr ohne eine signifikante Änderung der grundlegenden Infrastruktur verwaltet werden können. Der Designpunkt muss sich auf die Tausenden von Quellen konzentrieren, die nicht zentral gesteuert werden und deren Schema sich häufig ohne Benachrichtigung ändert - ähnlich wie sich Websites häufig ändern, ohne dass die Suchmaschinen benachrichtigt werden."

DataOps definiert

Palmer schlägt vor: "Ich glaube, dass es an der Zeit ist, dass Dateningenieure und Datenwissenschaftler eine ähnliche neue Disziplin einführen - nennen wir sie 'DataOps' -, die sich im Kern mit den Bedürfnissen von Datenexperten im modernen Internet und im modernen Unternehmen befasst", und nennt die "Demokratisierung von Analysen" und die Implementierung von "zweckgebundenen" Datenbank-Engines als zwei Trends, die diese Notwendigkeit vorantreiben.

Anschließend erläutert er die deutlichen Unterschiede zwischen DevOps und DataOps, wobei er DevOps als Kombination aus Software-Engineering, Qualitätssicherung und Technologiebetrieb definiert und dann näher auf DataOps eingeht.

"DataOps erkennt die Verflechtung von Daten-Engineering, Datenintegration, Datenqualität und Datensicherheit/Datenschutz an und zielt darauf ab, ein Unternehmen bei der schnellen Bereitstellung von Daten zu unterstützen, die Analysen beschleunigen und zuvor unmögliche Analysen ermöglichen", erklärt Andy Palmer. "Das "ops" in DataOps ist durchaus beabsichtigt. Der Betrieb der Infrastruktur, die erforderlich ist, um die Menge, die Geschwindigkeit und die Vielfalt der heute im Unternehmen verfügbaren Daten zu unterstützen, unterscheidet sich grundlegend von dem, was traditionelle Datenverwaltungsansätze angenommen haben. Das Wesen von DataOps umfasst die Notwendigkeit, VIELE Datenquellen und VIELE Datenpipelines mit einer großen Vielfalt an Transformationen zu verwalten."

Auf ihrer Website bietet die DataOps.dev-Gemeinschaft noch mehr Klarheit und erklärt:

"Ähnlich wie DevOps die Art und Weise, wie wir Software entwickeln, verändert DataOps die Art und Weise, wie wir Datenprodukte erstellen. Durch den Einsatz von DevOps-Methoden haben die Teams Geschwindigkeit, Qualität und Flexibilität erreicht, indem sie eine Delivery Pipeline und eine Feedback-Schleife zur Erstellung und Pflege von Softwareprodukten einsetzen.

DataOps verwendet einen ähnlichen Workflow, um die gleichen Ziele für Teams zu erreichen, die Datenprodukte erstellen. Obwohl beide auf agilen Frameworks basieren, unterscheiden sie sich stark in ihrer Implementierung von Build, Test und Release.

DataOps erfordert die Koordination der sich ständig ändernden Daten und aller, die im gesamten Unternehmen mit Daten arbeiten, während DevOps die Koordination zwischen Softwareentwicklern und der IT erfordert."

Agile Wurzeln

Eine weitere Gemeinsamkeit zwischen DataOps und DevOps sind seine Wurzeln in der agilen Methodik. Als Hommage wurde ein DataOps-Manifest eingeführt, in dem es heißt,

Ob man sie nun Data Science, Data Engineering, Data Management, Big Data, Business Intelligence oder ähnliches nennt, durch unsere Arbeit haben wir die Analytik schätzen gelernt:

Individuen und Interaktionen vor Prozessen und Werkzeugen

Arbeitsanalytik über umfassende Dokumentation

Zusammenarbeit mit dem Kunden statt Vertragsverhandlungen

Experimentieren, Iteration und Feedback statt umfangreicher Vorabplanung

Funktionsübergreifende Verantwortung für die Abläufe statt isolierter Zuständigkeiten

Denken Sie an "Strategischen Marktvorteil".

Das Ziel ist es, die Daten, die Ihr Unternehmen bereits besitzt, durch eine schnellere Verarbeitung zu monetarisieren, um tiefere, wertvollere Analysen zu erstellen, die es Ihnen ermöglichen, mit gezielteren Angeboten für eine viel besser qualifizierte Zielgruppe schneller auf den Markt zu kommen. Wenn dies für Ihr Unternehmen von Interesse ist, wird Ihnen unser Team von DataOps-Ingenieuren kostenlos helfen. Kontaktieren Sie uns noch heute: DataOps | Henson Group Azure Expert MSP | Microsofts #1 Azure CSP Reseller