Ver Repetición del taller (en francés) | Para activar los subtítulos en inglés, haga clic en el icono "CC" y luego en "Settings". A continuación, seleccione la opción "Subtítulos" y luego "Traducción automática" al inglés o al idioma de su elección.
El 27 de septiembre, en la conferencia Big Data & AI Paris 2022, Justine Nerce, socia de consultoría Data de Artefact, y Killian Gaumont, director de consultoría de Data de Artefact, junto con Amine Mokhtari, especialista en análisis de Data de Google Cloud, impartieron un taller sobre malla de Data . La malla de Data es uno de los temas más candentes en la industria de data hoy en día. Pero, ¿qué es? ¿Cuáles son sus ventajas para las empresas? Y, sobre todo, ¿cómo pueden las empresas implantarla con éxito en sus organizaciones?
Data mesh es un nuevo modelo organizativo y tecnológico para la gestión descentralizada de data . Se trata de un enfoque de arquitectura distribuida para la gestión analítica de data, que permite a los usuarios acceder y consultar fácilmente data allí donde reside, sin necesidad de transportarla primero a un lago o almacén data . Data mesh se basa en cuatro principios fundamentales:
El taller se dividió en tres partes:
- Valor empresarial: ¿Por qué adoptar un enfoque de producto/malla? Cómo sirve a los objetivos empresariales de Compañia?
- Enfoque de la implantación: ¿Cómo lograr el éxito? ¿Qué pasos hay que dar y qué modelo organizativo utilizar?
- Pila tecnológica: ¿Por qué elegir Google como solución tecnológica?
Para iniciar el debate sobre el valor empresarial, Justine Nerce explicó: "Una de las mejores razones para adoptar un enfoque producto/malla es que elimina dos círculos viciosos. El primero es "reinventar la rueda" cada vez que surge un nuevo uso de data : se forma un nuevo equipo que crea su propio pipeline data para atender sus necesidades específicas. ¿Cuál es el resultado? Cero compartibilidad, cero reutilización de las tecnologías elegidas. La segunda es la "construcción de un monolito", cuando un nuevo uso de data acaba en la lista de tareas pendientes de un equipo central de data y, a continuación, se transfiere a equipos no especializados endata que llevan a cabo la recopilación masiva de data , la transformación genérica y el desarrollo de casos de uso, con el riesgo de no responder a las necesidades de los usuarios".
Pero con un enfoque de producto, el círculo vicioso se convierte en virtuoso. Cuando surge un nuevo uso para data , en lugar de construir algo nuevo, la malla data busca lo que ya existe y puede reutilizarse. Identifica los dominios que ya se encargan de tratar determinados temas y busca los productos existentes de data que pueden acelerar la creación y el desarrollo de nuevas necesidades, ya sea tal cual o en procesos iterativos para crear nuevos productos personalizados. Y todos estos productos pueden publicarse en el catálogo de Compañia .
Cómo crean valor empresarial los productos de data
Data existen en las empresas desde hace mucho tiempo, pero en la malla data , los usos y cualificaciones de data son esencialmente diferentes, explica Killian Gaumont:
"El producto data actual es una combinación de data puesto a disposición de la empresa para su uso empresarial y características específicas que facilitan el uso y la reutilización de data".
Para ser incluido en la malla data , un producto data debe serlo:
- Dirigida por un equipo de propietarios comprometidos;
- Orientado al usuario final y ampliamente adoptado;
- De calidad durante todo su ciclo de vida;
- Reutilizable tal cual o para construir otros productos;
- Accesible a todos los usuarios;
- Estandarizados para que todos hablen el mismo idioma.
En Artefact, los productos de data se clasifican en tres familias de productos diferentes. "Hay productos brutos, como las bases de datos utilizadas para procesos empresariales, que no dejan de ser productos data ", asegura Killian. "A continuación están los productos data enriquecidos con algoritmos personalizados o recomendaciones de productos, como Interaction 360°. En la cúspide están los productos acabados orientados al uso, como los cuadros de mando. Son productos de línea de consumo, diseñados para crear valor vinculando el desarrollo de productos a la estrategia empresarial."
Implantación de la malla data en toda la empresa
ArtefactEl planteamiento de data para el despliegue de mallas empieza por lo básico, priorizando los casos de uso y los puntos débiles de la empresa. A continuación, se identifican todos los dominios y productos de data necesarios para cada caso de uso empresarial priorizado (desde la materia prima data hasta los productos acabados). Se reúne un futuro equipo para desarrollar los primeros productos y establecer normas. A continuación, se pueden identificar los productos relacionados que se construirán en el futuro.
Hay tres requisitos previos para el despliegue de la malla data . El primero: acabar con los silos.
"Para que la malla data sea un éxito, debemos avanzar hacia un modelo organizativo que rompa los silos entre TI, data y negocio para tener equipos de plataforma compuestos por equipos de dominios y productos cruzados, en todas las entidades", dice Killian. "No ocurrirá de la noche a la mañana, obviamente. Pero ya hemos empezado a romper silos integrando los equipos de negocio en los equipos de TI data para que los equipos de producto que desarrollan productos data puedan trabajar de forma más eficiente."
El segundo requisito previo es el propietario del producto Data , que desempeña un papel clave en la coordinación de la implantación de la malla data . El propietario del producto data tiene tres misiones: diseñar, construir y promover los productos data . Las dos primeras misiones se explican por sí solas; la tercera es igualmente importante, ya que la fuerza de un producto data reside en el hecho de que sea adoptado y utilizado por la empresa. "El propietario del producto data es responsable de garantizar que el producto data esté documentado, sea comprensible y accesible para los usuarios y se ajuste a las necesidades de la empresa. Los criterios de su éxito son sus KPI: uso, rendimiento técnico, calidad data ", añade Killian.
El último requisito previo es que la empresa sea capaz de definir de forma clara y continua sus dominios data y, una vez que el modelo haya demostrado su valor, sea capaz de ampliarlo.
Estas son las tres preguntas más frecuentes de los clientes que implantan la malla data , junto con las recomendaciones de Artefactpara definir con éxito los dominios, medir el éxito y saber cuándo es oportuno ampliar.
La pila tecnológica: gestión de la malla de data con Google Cloud
"Lo primero que necesitan data y los equipos informáticos para implantar la malla data es la capacidad de hacer que su data sea descubrible y accesible mediante su publicación en un catálogo data ", comienza Amine Mohktari. "Para lograrlo, Google cuenta con un primer pilar, Big Query, que permite crear conjuntos de datos compartibles. El segundo pilar, el catálogo propiamente dicho, es posible gracias a Analytics Hub, que crea enlaces a todos los conjuntos de datos creados por diversos miembros de la organización o sus socios para que los suscriptores puedan acceder a ellos fácilmente."
"Es importante entender que sólo se hacen enlaces a data , nunca copias. Gracias a este sistema, los abonados pueden utilizar data como si les pertenecieran, aunque permanezcan en su ubicación física original. Esto sigue siendo así incluso cuando se tienen conjuntos de data almacenados en una clouddiferente", asegura Amine.
La experiencia del usuario es un principio fundamental del sistema y se refleja en todos los aspectos de la malla data , no sólo al facilitar el uso compartido de data y la composición de data , sino al mantener data permanentemente disponible, independientemente del número de usuarios activos.
En cuanto a la seguridad y la gobernanza de data , Google tiene todo cubierto con Dataplex, su tejido inteligente data que ayuda a unificar data distribuida y a automatizar data la gestión y la gobernanza a través de esa data para potenciar el análisis a escala. Junto con un marco de Gestión de Identidades y Accesos (IAM) para asignar una identidad única a cada data consumidor, "Dataplex Servicios las empresas un conjunto de pilares técnicos que les permiten llevar a cabo cualquier implementación de gobernanza de la forma más sencilla posible", explica Amine.
"En Google Cloud, nuestro objetivo es proporcionarle una plataforma data sin servidor que permita a sus equipos de data centrarse en áreas como los procesos y los casos de uso empresarial, donde tienen un valor añadido que nadie más puede producir."
Dataplex de Google ofrece a los usuarios una visión de 360° de los productos publicados en data y su calidad
Conclusión: tres escollos que hay que evitar al implantar la malla data
NO > Quedarse estancado en una visión de proyecto en lugar de una visión de producto
HACER > Definir productos prioritarios data en función de los distintos usos;
NO > Ampliar el nuevo modelo demasiado rápido
SÍ > Probar el modelo con un modelo operativo bien definido;
NO > Desplegar un ecosistema técnico demasiado complejo.
HACER > Mantener la pila tecnológica pequeña para tener tantos actores como sea posible.
