DataOps: mejores análisis de datos, obtenidos con mayor rapidez

Por Greg Henson, director general de Henson Group

dataops

La integración continua y la entrega continua (CI/CD) es lo más importante que DevOps comparte con el proceso mucho más nuevo DataOps.

DevOps, la unión de los desarrolladores de software y los operadores de TI para aumentar radicalmente la velocidad a la que un producto de software puede salir al mercado, lo hizo recogiendo inmediatamente los comentarios directamente de los usuarios y devolviéndolos a los desarrolladores, que codificaron inmediatamente y de forma iterativa nuevas actualizaciones. Esto dio lugar a que muchas empresas desplegaran docenas de iteraciones de actualización al día.

La necesidad de saber más rápido con mejores análisis

Muchas iniciativas de transformación digital comienzan con la clara percepción de que cuantos más datos puedan aprovecharse para mejorar los resultados empresariales, mejor. Los datos han sido denominados como "el nuevo tocino" o "el nuevo aceite" en reconocimiento del enorme potencial de monetización disponible a partir de los datos que una empresa ya posee.

Esto ha creado una nueva urgencia para extraer valor de enormes entidades de datos y realizar análisis avanzados sobre ellos para obtener respuestas útiles.

El director general de NewVantage Partners, Randy Bean, nos dice: "Las empresas de DataOps reconocen que el proceso y las herramientas que ofrecen tienen que ayudar a construir y reforzar una cultura impulsada por los datos."

Refiriéndose a las similitudes y diferencias entre DataOps y las cualidades involucradas e iterativas de DevOps, Bean añade: "DataOps tiene como objetivo hacer lo mismo cuando se trata de entregar la velocidad analítica para los usuarios finales en la empresa utilizando prácticas ágiles de gestión de datos."

¿A qué sustituye el DataOps?

Los directores de datos (CDO) y los profesionales del análisis de datos responden a estos retos de tres maneras:

Heroísmo - Los equipos de análisis de datos trabajan muchas horas para compensar la diferencia entre el rendimiento y las expectativas. Cuando se cumple un objetivo, el equipo de análisis de datos se considera un héroe. Sin embargo, los héroes de ayer se olvidan rápidamente cuando hay que cumplir un nuevo objetivo. Además, esta estrategia es difícil de mantener durante un largo periodo de tiempo y, en última instancia, sólo restablece las expectativas a un nivel superior sin proporcionar recursos adicionales. El enfoque del heroísmo también es difícil de ampliar a medida que la organización crece.

Esperanza - Cuando hay que cumplir un plazo, es tentador producir rápidamente una solución con un mínimo de pruebas, ponerla a disposición de los usuarios y esperar que no se rompa. Este enfoque tiene riesgos inherentes. A la larga, el producto final contendrá errores en los datos, lo que molestará a los usuarios y dañará la credibilidad del equipo de análisis de datos, que tanto ha costado conseguir.

Precaución - El equipo decide dar a cada proyecto de análisis de datos un calendario de desarrollo y pruebas más largo. En efecto, se trata de una decisión para ofrecer a los usuarios una mayor calidad, pero menos funciones. Una de las dificultades de este enfoque es que los usuarios no suelen saber lo que quieren hasta que lo ven, por lo que una especificación detallada podría cambiar considerablemente al final del proyecto. El enfoque lento y metódico también puede hacer que los usuarios estén descontentos porque los análisis se entregan más lentamente que sus requisitos de entrega declarados y, a medida que se acumulan las solicitudes, el equipo de análisis de datos corre el riesgo de ser visto como burocrático e ineficiente.

Ninguno de estos enfoques satisface adecuadamente las necesidades tanto de los usuarios como de los profesionales de la analítica de datos, pero hay una forma de salir de este atolladero. Los retos mencionados no son exclusivos de la analítica y, de hecho, son compartidos por otras organizaciones."

Por qué DataOps

Randy Bean también atribuye el mérito del desarrollo de DataOps a Andy Palmer, director general y cofundador de Tamr Inc. una empresa de curación de datos de nueva generación en 2013 junto con el Dr. Mike Stonebraker, ganador del premio Turing.

"La gente ha estado gestionando los datos durante mucho tiempo", explica Palmer en su artículo seminal de 2015, From DevOps to DataOps: Why It's Time to Embrace "DataOps" as a New Discipline, "pero ahora estamos en un punto en el que la cantidad, la velocidad y la variedad de los datos disponibles para una empresa moderna ya no pueden gestionarse sin un cambio significativo en la infraestructura fundamental. El punto de diseño debe centrarse en las miles de fuentes que no se controlan de forma centralizada y que cambian con frecuencia su esquema sin notificación, de forma muy parecida a como los sitios web cambian con frecuencia sin notificarlo a los motores de búsqueda".

Definición de DataOps

Palmer sugiere: "Creo que ha llegado el momento de que los ingenieros y científicos de datos adopten una nueva disciplina similar -llamémosla 'DataOps'- que, en esencia, responda a las necesidades de los profesionales de los datos en la Internet moderna y dentro de la empresa moderna", citando la "democratización de la analítica" y la implementación de motores de bases de datos "construidos para fines específicos" como dos tendencias que impulsan la necesidad.

A continuación, aclara las claras diferencias entre DevOps y DataOps, definiendo DevOps como la combinación de ingeniería de software, garantía de calidad y operaciones tecnológicas, para luego entrar en más detalles sobre DataOps.

"DataOps reconoce la naturaleza interconectada de la ingeniería de datos, la integración de datos, la calidad de los datos y la seguridad/privacidad de los datos, y tiene como objetivo ayudar a una organización a proporcionar rápidamente datos que aceleren la analítica y permitan una analítica antes imposible", explica Andy Palmer. "El "ops" en DataOps es muy intencionado. El funcionamiento de la infraestructura necesaria para soportar la cantidad, velocidad y variedad de datos disponibles en la empresa hoy en día es radicalmente diferente a lo que los enfoques tradicionales de gestión de datos han asumido. La naturaleza de DataOps abarca la necesidad de gestionar MUCHAS fuentes de datos y MUCHAS canalizaciones de datos con una amplia variedad de transformaciones."

En su sitio web, la comunidad DataOps. dev ofrece aún más claridad, explicando:

"Al igual que DevOps cambió la forma de desarrollar software, DataOps está cambiando la forma de crear productos de datos. Al aprovechar las metodologías de DevOps, los equipos han logrado velocidad, calidad y flexibilidad al emplear un conducto de entrega y un bucle de retroalimentación para crear y mantener productos de software.

DataOps emplea un flujo de trabajo similar para lograr los mismos objetivos para los equipos que construyen productos de datos. Aunque ambos se basan en marcos ágiles, difieren en gran medida en su implementación de la construcción, la prueba y la liberación.

DataOps requiere la coordinación de los datos en constante cambio y de todos los que trabajan con los datos en toda una empresa, mientras que DevOps requiere la coordinación entre los desarrolladores de software y las TI."

Raíces ágiles

Otra cosa que DataOps comparte con DevOps son sus raíces en la metodología ágil. En homenaje, se introdujo un Manifiesto Data Ops que dice,

Ya sea denominada ciencia de los datos, ingeniería de los datos, gestión de los datos, big data, inteligencia empresarial o similares, a través de nuestro trabajo hemos llegado a valorar la analítica:

Las personas y las interacciones por encima de los procesos y las herramientas

Análisis de trabajo sobre documentación exhaustiva

Colaboración del cliente sobre la negociación del contrato

Experimentación, iteración y retroalimentación en lugar de un diseño inicial exhaustivo

Propiedad interfuncional de las operaciones en lugar de responsabilidades aisladas

Piense en la "ventaja estratégica de mercado"

El objetivo es rentabilizar los datos que su empresa ya posee procesándolos más rápidamente para generar análisis más profundos y valiosos que le permitan llegar al mercado más rápidamente con ofertas más precisas dirigidas a un público mucho más cualificado. Si eso le interesa a su empresa, nuestro equipo de ingenieros de DataOps le ayudará sin coste inicial. Póngase en contacto con nosotros hoy mismo: DataOps | Henson Group Azure Expert MSP | Microsoft's #1 Azure CSP Reseller