Creare Prodotti Dati Riusabili per l’Analitica

Molte aziende memorizzano dati e girano applicazioni in un ambiente ibrido multi-Cloud. I sistemi analitici tendono a essere centralizzati e messi in silos come Data Warehouse e Data Mart per la BI, Hadoop o Data Lake su Cloud per Data Science e sistemi streaming analitici stand-alone per analisi real-time. Questi sistemi centralizzati si affidano a Data Engineer e Data Scientist che lavorano all’interno di ciascun silos per acquisire dati da molte fonti diverse, pulirli e integrarli per l’utilizzo in uno specifico sistema analitico o modelli di Machine Learning.

Ma questi sistemi centralizzati e l’approccio silos creano diversi problemi tra cui tools diversi per preparare e integrare i dati, il doversi re-inventare pipelines di integrazione dati per ciascun silos e il data engineering centralizzato che, con una scarsa conoscenza della sorgente dati, non permette di tenere il passo con le richieste dell’azienda di nuovi dati. Anche il Master Data Management non è ben gestito.

Per indirizzare questi aspetti stanno emergendo nuove Architetture Dati che permettono di accelerare la creazione di dati da usare in differenti workload analitici. Data Mesh è una Architettura Dati decentralizzata con l’ownership dei dati  orientata al dominio e l’ingegneria dei dati self-service decentralizzata per creare una rete di prodotti dati che servono più sistemi analitici.

Anche i Data Lake possono essere utilizzati per la stessa ragione e integrati con Data Warehouse o Lakehouse in modo che i prodotti dati a latenza più bassa possano essere creati una volta e utilizzati in Analitica di streaming, Business Intelligence, Data Science e in altri workload analitici.

Questo seminario esamina i punti di forza e di debolezza di Data Lake, Data Mesh e Data Lakehouse e come differenti team orientate al dominio possono usare uno stesso software di infrastruttura dati per creare prodotti dati affidabili, compliant e riusabili in un Data Mesh o Data Lake da utilizzare in Data Warehouse, Data Lakehouse e Data Science per generare valore.

L’obiettivo è quello di creare valore in breve tempo ed essere sicuri che i dati siano governati correttamente in un ambiente decentralizzato. Ci si sofferma anche sulle implicazioni organizzative di queste Architetture e su come creare prodotti dati condivisibili per MDM che possano essere usati in differenti workload analitici. Le tecnologie discusse includono Cataloghi Dati, self-service Data Integration, Data Fabric, DataOps, Data Warehouse Automation, Data Marketplace e piattaforme di Data Governance.