Snellire le Architetture dati per ridurre al minimo la copia dei dati

C’è stato un tempo in cui le persone visitavano un negozio di dischi per acquistare una copia di un album da ascoltare a casa. C’è stato anche un tempo in cui le persone andavano in un negozio di video per noleggiare un DVD per averne una copia a casa e guardare il film. Non più, musica e video vengono trasmessi in streaming. Le persone non ascoltano più né guardano le copie. La musica tramite copia è stata sostituita da musica su richiesta e così il video.

Purtroppo, il mondo dei dati è rimasto invariato. I dati vengono ancora copiati, anzi  più volte prima ancora di essere consumati. Molte organizzazioni sono lontane anni luce dalle Architetture dati che supportano i dati on-demand.

La maggior parte delle Architetture dati è pesante a causa della duplicazione. Così tanti dati vengono duplicati più volte. Ad esempio, i dati su un cliente specifico possono essere archiviati in un sistema transazionale, un’area di staging, un Data Warehouse, in diversi Data Mart e in un Data Lake. Anche all’interno di un database, i dati possono essere archiviati più volte per supportare diversi consumatori di dati. Inoltre, le copie ridondanti dei dati vengono archiviate in ambienti di sviluppo e test. Ma anche gli utenti business copiano i dati. Potrebbero aver copiato i dati dai database centrali a file e fogli di calcolo privati. Inoltre, le infrastrutture dati sono attualmente costituite da Data Lake, Data Hub, Data Warehouse e Data Mart. E tutti questi sistemi contengono dati sovrapposti.

Oltre a queste forme intra-organizzative di copia dei dati, si verifica una massiccia copia inter-organizzativa. Quando le organizzazioni si scambiano dati tra loro, le organizzazioni riceventi archiviano i dati nei propri sistemi, creando ancora più copie dei dati.

È tempo di Architetture dati snelle che riducano al minimo la copia dei dati. I vantaggi di ciò sono molteplici, ad esempio l’Architettura è più flessibile, migliora la produttività e la manutenzione, riduce la bassa latenza dei dati consentendo soluzioni on-demand di dati reali o quasi reali e meno soggetta a errori.

In questo seminario, Rick van der Lans spiega come progettare un’Architettura dati snella e quali soluzioni e tecnologie sono disponibili per svilupparne una. Vengono discusse le linee guida di progettazione per Architetture dati a copia zero e a copia singola e un confronto con Architetture pesanti per la duplicazione. Viene discusso come ridurre al minimo la copia all’interno dell’organizzazione e fra organizzazioni. Viene presentato l’impatto sulle Architetture Data Warehouse, Data Lake e Data Hub esistenti. Viene fornito un quadro completo della progettazione di Architetture dati snelle in progetti presi dalla vita reale.