Autor
En este artículo, Pascal Coggia, Managing Partner en Artefact Reino Unido, explica qué es y qué no es la malla Data, por qué es tanto una mentalidad como un enfoque, y sus casos de uso, ventajas y retos.
¿Qué es una malla Data? ¿En qué se diferencia de una data lago?
El artífice original del término es Zhamak Dehghani, un Thoughtworks consultor y evangelista de la descentralización data. En términos sencillos, Data Mesh es un enfoque de arquitectura distribuida para gestionar data analíticos. Permite a los usuarios finales acceder y consultar fácilmente la data allí donde reside, sin transportarla primero a un lago o almacén de data. Una estrategia Data Mesh descentralizada trata la data como un producto y proporciona a los equipos de dominios específicos la propiedad de la data a través de una plataforma de autoservicio que lleva incorporada la data governance.
Los lagos Data son zonas de almacenamiento mínimamente gobernadas para data de dominio bruto. Fueron concebidos para proporcionar un acceso ilimitado a data en un intento de evitar el cuello de botella de los almacenes de data centralizados y estrictamente gobernados, pero tendían a sufrir problemas de mala calidad de data y de descubribilidad. Algunos proyectos de lagos data gobernados han abordado estas cuestiones con cierto éxito, pero como resultado tienden a reducir la accesibilidad relativa de los data. La Malla Data pretende resolver estos retos mediante la descentralización, evitando así por completo estos llamados “pantanos data”.
¿Qué se entiende por “data como producto”?
Pienso en ello un poco como en la tienda de aplicaciones. Uno se descarga una aplicación cuando quiere hacer otra cosa. ¿Por qué no iba a ser así con data? Piénselo estructuralmente: ¿cuáles son los componentes de un producto data?
Todo esto sugiere que un producto data se asienta sobre un tejido que le permite interactuar. No está aislado. No puede limitarse a juntar algunos data y meterlos en un cubo S3 y llamarlo producto data. Tiene que envolver la propiedad y la gobernanza a su alrededor.
¿Cuáles son las ventajas para las empresas?
Son muchas las ventajas que la malla Data puede ofrecer a las organizaciones y a los equipos multidisciplinares:
¿Cuáles son los retos para la adopción de la malla Data?
Es importante recordar que la malla Data no sólo requiere un tecnológico cambio, requiere un mentalidad cambio. Las organizaciones tienen que aprender a pensar en el data como un producto, en data governance y la propiedad. Cambiar las empresas de una propiedad centralizada a una descentralizada y hacer que las organizaciones pasen de las tuberías al producto, donde los dominios data son la preocupación de primer orden, va a costar trabajo.
Otras cuestiones son las citadas por Deloitte:
¿Cuándo está preparada una empresa para adoptar una estrategia de malla Data?
Depende de lo preparada que esté la empresa. Pero también depende de con quién hable. Un director de Data que haya construido una enorme organización central puede no estar preparado para la malla Data porque primero tendrá que establecer cómo federar esas funciones. Pero la mayoría de los líderes empresariales entienden la necesidad de democratizar el activo data hacia los bordes y el negocio porque a menudo se sienten frustrados con el enfoque centralizado.
También hay que saber lo que tiene que ocurrir a nivel de ingeniería para poder controlar y gobernar la malla, porque si no se establece correctamente, puede convertirse en el Salvaje Oeste. Así que hay que seguir una serie de pasos.
La transición a una Malla Data es un viaje incremental porque todos los elementos que ya tiene - lagos data, almacenes data - necesitan conectarse a la Malla Data, no pueden descartarse. La gente querrá esa información y el valor y la gobernanza que ya los envuelve.
¿Qué tipo de empresas están desplegando con éxito la malla Data?
En estos momentos, la malla Data se está adoptando con éxito en el sector de los servicios financieros. ING es un buen ejemplo. Para los bancos tiene sentido utilizar la malla Data: es compatible con la data governance más fuerte, por lo que ofrece una mayor seguridad. Con el Data Mesh, los sistemas de detección de fraudes no necesitan conectarse a otros sistemas y extraer el mismo data todos los días. En su lugar, las organizaciones pueden crear productos data centrados en el dominio que sus expertos en detección de anomalías pueden utilizar para crear mejores modelos y resultados.
Zalando, que es la plataforma en línea de moda líder en Europa, descentralizó su data en 2020 y convirtió su enorme lago de data en una malla de Data. En cuanto a otros sectores, tendremos que ver cómo va caso por caso. Porque cualquier caso empresarial que se cree para la Malla Data tendrá que adaptarse a los retos específicos de la organización -y del sector-, y éstos están en constante cambio.
Las estrategias de gestión Data evolucionan constantemente y las organizaciones deben estar preparadas para adaptarse a los cambios a fin de seguir siendo competitivas. Data Mesh es una forma de acabar con los silos de los sistemas de arquitectura monolítica poco manejables y descentralizar data para lograr una responsabilidad y escalabilidad de extremo a extremo. La cuestión es si Data Mesh es adecuado para su empresa, o no, o todavía no.
