Linee guida pratiche per implementare un Data Mesh

La maggior parte delle aziende oggi archivia dati ed esegue applicazioni in un ambiente multi-Cloud ibrido. I sistemi analitici tendono a essere centralizzati e isolati come Data Warehouse e Data Mart per BI, Hadoop o Data Lake memorizzati su Cloud per Data Science e sistemi analitici di streaming stand-alone per l’analisi in tempo reale.

Questi sistemi centralizzati si affidano a Data Engineer e Data Scientist che lavorano all’interno di ciascun silos per acquisire dati da molte fonti diverse, pulirli e integrarli per l’utilizzo in uno specifico sistema analitico o in modelli di Machine Learning.

Ci sono molti problemi con questo approccio centralizzato e in silos, tra cui più strumenti per preparare e integrare i dati, reinvenzione delle pipeline di integrazione dei dati in ogni silos e ingegneria dei dati centralizzata con scarsa comprensione dei dati di origine che non permettono di tenere il passo con le richieste del Business che richiedono sempre nuovi dati. Anche i Master Data non sono ben gestiti.

Per affrontare questi problemi è emerso un nuovo approccio che tenta di accelerare la creazione di dati da utilizzare in più workload analitici, l’approccio è il Data Mesh.

Questo seminario esamina in dettaglio il Data Mesh evidenziando i suoi punti di forza e di debolezza. Qual è la migliore Architettura per implementarlo? Come coordinare più team orientati al dominio e usare una comune infrastruttura software dati, come Data Fabric, per creare prodotti dati di qualità, conformi e riusabili in un Data Mesh e come usare i Data Marketplace per condividere i prodotti dati? L’obiettivo è abbreviare il time to value, garantendo al contempo che i dati siano gestiti correttamente in un ambiente decentralizzato.

Questo corso si sofferma inoltre sulle implicazioni organizzative del Data Mesh e su come creare prodotti dati condivisibili Master Data Management e per l’uso nell’analisi multi-dimensionale su un Data Warehouse, Data Science, Graph Analysis e real time streaming Analytics per creare valore di business. Le tecnologie discusse includono cataloghi di dati, Data Fabric per lo sviluppo collaborativo di pipeline di integrazione dati per creare prodotti dati, DataOps per velocizzare il processo, automazione della Data Orchestration, marketplace di dati e piattaforme di governance dei dati.