Creazione di prodotti dati in un Data Mesh, Data Lake o Lakehouse per l’utilizzo nell’Analitica

La maggior parte delle aziende oggi archivia dati ed esegue applicazioni in un ambiente multi-Cloud ibrido. I sistemi analitici tendono a essere centralizzati e isolati come Data Warehouse e Data Mart per BI, Hadoop o Data Lake memorizzati su Cloud per Data Science e sistemi analitici di streaming stand-alone per l’analisi in tempo reale.

Questi sistemi centralizzati si affidano a Data Engineer e Data Scientist che lavorano all’interno di ciascun silos per acquisire dati da molte fonti diverse, pulirli e integrarli per l’utilizzo in uno specifico sistema analitico o in modelli di Machine Learning.

Ci sono molti problemi con questo approccio centralizzato e in silos, tra cui più strumenti per preparare e integrare i dati, reinvenzione delle pipeline di integrazione dei dati in ogni silos e ingegneria dei dati centralizzata con scarsa comprensione dei dati di origine che non permettono di tenere il passo con le richieste del Business che richiedono sempre nuovi dati. Anche i Master Data non sono ben gestiti.

Per affrontare questi problemi, sono emerse nuove architetture di dati che tentano di accelerare la creazione di dati da utilizzare in più workload analitici. Data Mesh è un’architettura dati decentralizzata con proprietà dei dati orientata al dominio e ingegneria dei dati self-service decentralizzata per creare una rete di prodotti dati che servono più sistemi analitici. Inoltre, i Data Lake possono essere utilizzati per la stessa cosa e integrati con Data Warehouse o Lakehouse in modo che i prodotti dati a latenza più bassa possano essere creati una volta e utilizzati in streaming Analytics, Business Intelligence, Data Science e altri workload analitici.

Questo seminario esamina i punti di forza e di debolezza di Data Lake, Data Mesh e Data Lakehouse e le modalità con cui più team orientati al dominio possono utilizzare software di infrastruttura dati comune per creare prodotti dati affidabili, conformi e riutilizzabili in una rete dati o Data Lake per l’utilizzo in Data Warehouse, Data Lakehouse e Data Science per generare valore. L’obiettivo è abbreviare il time to value, garantendo al contempo che i dati siano gestiti correttamente in un ambiente decentralizzato.

Questo corso si sofferma inoltre sulle implicazioni organizzative di queste architetture e su come creare prodotti di dati condivisibili per la gestione dei Master Data per l’uso in più workload analitici. Le tecnologie discusse includono cataloghi di dati, integrazione di dati self-service, Data Fabric, DataOps, automazione del Data Warehouse, marketplace di dati e piattaforme di governance dei dati.