NOTICIAS / CONSULTORÍA DE DATOS
28 de octubre de 2020
Las plataformas Data han revolucionado la forma en que las marcas almacenan, analizan y utilizan data, pero para utilizarlas de forma más eficaz necesitan empezar a integrar data governance como código, escriben Justine Nerce, Directora de Consultoría de Data, y Jean-Baptiste Charruey, Director de Data Engineering, en Artefact.
A medida que las economías mundiales comienzan a recuperarse del shock inicial del coronavirus, podemos esperar un periodo de consolidación y reevaluación por parte de las empresas. Sin embargo, la necesidad de innovación no va a ninguna parte aunque los presupuestos sean ajustados. El lanzamiento de nuevos productos y servicios sigue representa más de 25% de los ingresos y beneficios totales.
La innovación debe guiarse por una data precisa y de alta calidad. Sin embargo, para que esto sea posible, las empresas necesitan una base de fácilmente accesible, documentada y estandarizada data a la que recurrir. Los ciclos de desarrollo de nuevos productos y servicios son cada vez más cortos y competitivos, por lo que las organizaciones deben evolucionar su enfoque de la data para seguir el ritmo.
El auge del data platform ha servido a las empresas para acelerar el acceso al data, especialmente a aquellas que buscan construir la próxima generación de soluciones de IA. Sin embargo, está claro que las marcas necesitan ahora un enfoque más robusto, eficiente y cualitativo para que su caso data platforms sea agnóstico: mantenible, operativo y escalable para cualquier infraestructura cloud, on-prem o híbrida..
Auge y declive del data platform
Las empresas revolucionan constantemente su enfoque del data para obtener ventajas en el mercado. A lo largo de las décadas, los almacenes de data -grandes depósitos de data filtrada- han dado paso a los lagos de data -vastos almacenes centralizados de data bruta sin refinar. Sin embargo, estos enormes almacenes de data han demostrado ser poco manejables y difíciles de gobernar. Los plazos de entrega se alargaron porque no existía un proceso claro y ágil para racionalizar el desarrollo.
Como consecuencia, lo que estamos viendo es el paso de los entornos monolíticos de antaño a una arquitectura data más distribuida, basada en múltiples data platforms. Se trata de conjuntos de software y servicios que rodean un lago data para ayudar a que éste sea más explotable. Las organizaciones suelen construir múltiples data platforms para cada dominio empresarial y para cada nuevo proyecto. Esto proporciona a los equipos de desarrollo acceso rápido al data y a los conocimientos que necesitan para crear un nuevo valor empresarial que responda a sus necesidades actuales.
Sin embargo, con la descentralización trae fragmentación y duplicación. Muchas empresas dedican grandes cantidades de tiempo y recursos a construir un data platform para un entorno concreto. Luego tienen que hacerlo todo de nuevo para el siguiente proyecto o caso de uso, con discrepancias significativas en función de los conocimientos técnicos del equipo. Los costes se multiplican varias veces, ya que los equipos empiezan esencialmente de cero cada vez que se inicia un nuevo proyecto.
Gran parte del trabajo más valioso que realizan las empresas hoy en día -incluso en torno al artificial intelligence- es interdepartamental e interdominio. La data de alta calidad tiene que ser compartida entre equipos y diferentes data platforms para desarrollar todo su potencial, pero ¿cómo mantener la calidad cuando la data está sometida a una gama de políticas contradictorias? Hay que encontrar un compromiso entre dar a los equipos la propiedad local del data para que lo personalicen y creen, y la estandarización del enfoque para construir una base tecnológica sólida.
Introduzca la malla data
Sin algún tejido de conexión entre los diferentes dominios, data platforms no conseguirá ofrecer la calidad data y la rentabilidad que las marcas necesitan para un desarrollo rápido. Afortunadamente, tienen una forma de hacer evolucionar su enfoque. Deben hacer evolucionar su arquitectura data de una colección dispar de data platforms a lo que Zhamak Dehghani define como una ‘malla data’.
Una malla data es una arquitectura en la que los data platforms distribuidos, propiedad de equipos interfuncionales independientes, están conectados a través de una ‘malla’ de políticas, gobernanza y herramientas comunes. Este enfoque aporta flexibilidad y resistencia al data platforms estableciendo una base compartida, al tiempo que se da libertad a los equipos para personalizar su propio dominio.
Este enfoque convierte un data platform de un proyecto único a un activo a largo plazo, eliminando la duplicación de trabajo y el gasto innecesario de recursos. Sin embargo, el inconveniente de la malla data es que los equipos individuales tienen que hacer mucho trabajo para garantizar que se ha completado la industrialización. Esto puede llevar mucho tiempo con un resultado que dista mucho de ser perfecto. Disponer de una plantilla que se ocupe de todos los requisitos para lograr una solución lista para la producción es clave. Sin embargo, ¿qué forma debe adoptar esta plantilla?
El componente principal es un conjunto de códigos comunes que se aplican a todos los data platforms. Este ‘centinela data’ es una mezcla de soluciones que facilitan el tratamiento y el análisis del data y la transición a la industrialización. Su función es supervisar y racionalizar todos los flujos de data -como la recogida de metadata y la depuración- mediante el desarrollo de módulos en torno a la calidad y la documentación de data..
Un centinela data libera a los equipos y especialistas data de las tareas mundanas y repetitivas de la gestión data. En su lugar, pueden centrarse en tareas más estratégicas e innovadoras que creen nuevo valor para la empresa.
En el núcleo de data centinela, data governance como código debe estar firmemente incrustado en el diseño de la plataforma y continuarse con cada nuevo caso de uso. Gracias al data governance como código, el data es desde el principio “propiedad”, de alta calidad, documentado, seguro y conforme, así como fácilmente accesible a través de los modelos data en toda la organización.
Hacer de la innovación algo corriente
Las plataformas Data deben ser productos en evolución, pensado para la activación data y el valor empresarial rápido. Cuando se mutualizan entre diferentes casos de uso y requisitos, hacen que la innovación y la invención sean más rápidas y rentables. De hecho, la mutualización de servicios puede reducir la velocidad de implementación en 40%, ayudando a los departamentos a generar valor al ofrecer la data calidad y variedad necesarias para sus casos de uso..
Las empresas tienen un flujo constante de nuevos casos de uso y productos que desarrollar, especialmente en el clima actual. Un enfoque mutualizado, data governance como código, proporciona un proceso de extremo a extremo en el que pueden industrializar verdaderamente estos casos de uso. El data de alta calidad y precisión puede compartirse fácilmente entre proyectos y equipos gracias a una solución robusta y altamente planificada. No se pierde tiempo cuando se necesita información para un nuevo producto.
La tecnología por sí sola no basta. Para que la data platform funcione, necesita adoptar un enfoque que sea iterativo y transversal. Es la única manera de hacer que la innovación sea algo corriente en su empresa.
Publicado por primera vez por ITPortal.com
