Autor
En este artículo, Pascal Coggia, socio director de Artefact UK, explica qué es y qué no es Data Mesh, por qué es tanto una mentalidad como un enfoque, y sus casos de uso, ventajas y retos.
¿Qué es la malla Data ? ¿En qué se diferencia de un lago data ?
El arquitecto original del término es Zhamak Dehghani, consultor de Thoughtworks y evangelizador de la descentralización data . En términos sencillos, Data Mesh es un enfoque de arquitectura distribuida para la gestión analítica de data. Permite a los usuarios finales acceder y consultar fácilmente data allí donde reside, sin transportarla primero a un data lago o almacén. Una estrategia descentralizada de Data Mesh trata data como un producto y proporciona a los equipos de dominios específicos la propiedad de data a través de una plataforma de autoservicio que ha incorporado la gobernanza de data .
Data Los lagos son áreas de almacenamiento mínimamente controladas para dominios en bruto data. Fueron concebidos para proporcionar acceso ilimitado a data en un intento de evitar el cuello de botella de los almacenes centralizados y estrictamente gobernados de data , pero tendían a sufrir problemas de mala calidad de data y de descubribilidad. Algunos proyectos de lagos gobernados por data han abordado estos problemas con cierto éxito, pero tienden a reducir la accesibilidad relativa de data . Data Mesh pretende resolver estos problemas mediante la descentralización, evitando así por completo los llamados "pantanos dedata ".
¿Qué se entiende por "data como producto"?
Yo lo veo un poco como la tienda de aplicaciones. Simplemente descargas una aplicación cuando quieres hacer otra cosa. ¿Por qué no iba a ser así con data? Piénsalo estructuralmente: ¿cuáles son los componentes de un producto data ?
Todo esto sugiere que un producto data se asienta sobre un tejido que le permite interactuar. No está aislado. No puedes simplemente juntar algunos data y meterlos en un cubo de S3 y llamarlo producto data . Tienes que envolver la propiedad y la gobernanza a su alrededor.
¿Cuáles son las ventajas para las empresas?
Son muchas las ventajas que Data Mesh puede ofrecer a las organizaciones y a los equipos multidisciplinares:
¿Cuáles son los retos para la adopción de Data Mesh?
Es importante recordar que la malla Data no sólo requiere un cambio tecnológico, sino también de mentalidad. Las organizaciones tienen que aprender a pensar en data como un producto, en la gobernanza y la propiedad de data . Pasar de la propiedad centralizada a la descentralizada y de la canalización al producto, donde los dominios data son la primera preocupación, va a llevar tiempo.
Otros problemas son los citados por Deloitte:
¿Cuándo está preparada una Compañia para adoptar una estrategia de malla Data ?
Depende de lo preparado que esté Compañia . Pero también depende de con quién hables. Un Chief Data Officer que haya construido una enorme organización central puede no estar preparado para Data Mesh porque primero tendrá que establecer cómo federar esas funciones. Pero la mayoría de los líderes empresariales entienden la necesidad de democratizar el activo data hacia los bordes y el negocio porque a menudo se sienten frustrados con el enfoque centralizado.
También hay que saber lo que tiene que pasar a nivel de ingeniería para poder controlar y gobernar la malla, porque si no se configura correctamente, puede convertirse en el Salvaje Oeste. Así que hay que seguir una serie de pasos.
La transición a la malla Data es un proceso gradual, porque todos los elementos que ya existen (lagos data , almacenes data ) deben conectarse a la malla Data , no pueden descartarse. La gente querrá esa información y el valor y la gobernanza que ya les rodea.
¿Qué tipo de empresas están implantando con éxito Data Mesh?
En estos momentos, Data Mesh se está adoptando con éxito en el sector de los servicios financieros. ING es un buen ejemplo. Tiene sentido que los bancos utilicen Data Mesh: permite una gobernanza data más sólida, por lo que Servicios aumenta la seguridad. Con Data Mesh, los sistemas de detección del fraude no necesitan conectarse a otros sistemas y extraer el mismo data todos los días. En su lugar, las organizaciones pueden crear productos data centrados en el dominio que sus expertos en detección de anomalías pueden utilizar para crear mejores modelos y resultados.
Zalando, que es la principal plataforma en línea de moda de Europa, descentralizó su data en 2020 y convirtió su enorme lago data en una malla Data . En cuanto a otros sectores, tendremos que ver cómo va caso por caso. Porque cualquier caso de negocio que se cree para Data Mesh tendrá que adaptarse a los retos específicos de la organización -y del sector-, y éstos están en constante cambio.
Data Las estrategias de gestión evolucionan constantemente y las organizaciones deben estar preparadas para adaptarse a los cambios a fin de seguir siendo competitivas. Data Mesh es una forma de acabar con los silos de los engorrosos sistemas de arquitectura monolítica y descentralizar data para conseguir responsabilidad y escalabilidad de extremo a extremo. La cuestión es si Data Mesh es adecuado para su empresa, o no, o todavía no.
