Mike Ferguson

by Mike Ferguson

Maggio 2007

Integrare Master Data Management e BI (Parte Seconda)

Come mettere insieme il MDM con la BI?

Il primo punto da prendere in considerazione è che, in un sistema di BI, un dato master viene rappresentato come dimensioni e non è associato con eventi (ad esempio, transazioni). L’introduzione di un sistema di gestione dei Dati Master all’interno dell’impresa dovrebbe produrre un impatto positivo sui sistemi di BI. Come esempio, in un sistema MDM è tipico il caso che i nomi degli attributi e le definizioni dei dati usate per descrivere le entità dei dati master costituiscano uno standard per l’intera impresa. Tali definizioni spesso fanno riferimento a un vocabolario condiviso all’interno dell’impresa (SBV-Shared Business Vocabulary) che, quindi, costituisce l’insieme dei Metadati Master.

In un sistema di BI, possiamo trarre profitto di un SBV dei dati master per migliorare il riutilizzo delle medesime definizioni dei dati all’interno di tutti i modelli dimensionali, cubi e rappresentazioni per gli strumenti di BI dell’impresa, con lo scopo di gestire la consistenza tra i dati dimensionali (Figura 8). L’utilizzo di un SBV in questo modo può solamente migliorare la comprensione dei dati presentati nei report di un sistema di BI, nelle analisi OLAP, nei cruscotti aziendali e nelle scorecard. Inoltre, contribuisce alla richiesta di conformità e alla percezione dell’utilità, oltre che al consolidamento della BI.

In aggiunta a una maggiore consistenza dei metadati, l’arrivo di un sistema MDM nell’impresa può anche impattare l’integrazione dei dati in un sistema di BI (comunemente indicato come processo di data warehousing o ETL). Se attualmente non disponete di un sistema di MDM, il vostro sistema di BI sarà verosimilmente basato sull’architettura di un data warehouse classico, nel quale i dati fondamentali risultano suddivisi all’interno di data store multipli, attivi nell’ambito dei sistemi applicativi dedicati alle singole linee di business. Pertanto, dovendo realizzare datidimensionali integrati in un sistema di BI, per poterne creare le dimensioni, normalmente utilizzerete uno strumento di integrazione che consenta di integrare i Dati Master mantenuti nei diversi sistemi applicativi.

In questo senso, quindi, possiamo anche affermare che il vostro sistema di BI sia attualmente l’unico posto nel quale consolidate e integrate i dati master (Figura 9)

Pertanto, non dobbiamo meravigliarci se rimane una certa confusione tra il concetto di hub dei dati master e quello di data warehouse, poiché entrambi ne prevedono l’integrazione. A questo punto, sorge la questione del perché dovreste aver bisogno di un sistema MDM se già disponete di un Data Warehouse? Secondo me questo è un modo erroneo di considerare la domanda, che dovrebbe essere così riformulata: perché dobbiamo integrare i dati master in un sistema di BI? I dati master non dovrebbero essere già integrati e trattati come fonte di informazioni dagli strumenti di integrazione dei dati utilizzati in un sistema di BI? In effetti, secondo la mia opinione questa sarebbe la situazione migliore, perché i dati master debbono essere forniti ad altri sistemi oltre che a quello di BI. Infatti, dovrebbero essere contemporaneamente a disposizione dei sistemi applicativi e di BI, oltre a dover essere forniti agli strumenti di integrazione dei dati dei sistemi di BI, almeno in tre modalità diverse:

Utilizzando i servizi di integrazione e corrispondenza di un software per la qualità dei dati compatibile con architetture SOA, in modo da fornire i dati master direttamente ad un data warehouse, oppure ai job ETL dei data warehouse stessi.

Utilizzando soluzioni MDM basate sulla registrazione per creare una fonte dei dati virtuale per i dati master, disponibile per l’accesso da parte dei sistemi di integrazione dei dati di un sistema di BI.

Utilizzando un hub per i dati MDM, costruito oppure acquistato sul mercato, come fonte permanente dei dati per gli strumenti di integrazione operanti per un sistema di BI.

DataFlux costituisce l’esempio di un venditore che può supportare la prima di queste opzioni. In aggiunta, un sistema MDM basato sulla registrazione può essere supportato, ad esempio, da Purisma, che offre un raccordo per Informatica PowerCenter, per mezzo del quale riesce a fornire i dati master allo strumento di integrazione dei dati di Informatica per la creazione dei dati dimensionali. PowerCentre può applicare gli identificatori globali determinati da Purisma ai dati dei clienti suddivisi tra i diversi sistemi applicativi, in modo da creare record integrati dei clienti in un sistema di BI. Purisma ha in atto anche una partnership con Business Objects come parte dell’iniziativa Enterprise Information Management (EIM) di quest’ultima società, per passare i dati master allo strumento Data Integrator della stessa Business Objects. I sistemi MDM basati sulla registrazione possono anche fornire le modifiche dei dati master agli strumenti di integrazione dei dati, con lo scopo di semplificare i processi di aggiornamento delle dimensioni.

Sotto certi aspetti, le prime due opzioni tra quelle appena indicate dovrebbero consentire un qualche effetto di semplificazione delle elaborazioni ETL classiche nei sistemi di BI, poiché questo tipo di operatività non potrebbe altrimenti essere conseguita nei job ETL corrispondenti.

La Figura 11 mostra come un hub MDM possa essere utilizzato come fonte dei dati per i sistemi di BI. Questo implicherebbe, naturalmente, una semplificazione significativa nei processi di realizzazione dei sistemi di BI, migliorando nel contempo la qualità dei dati dimensionali perché, in questo caso, la fonte di questi ultimi contiene già dati master integrati e di qualità elevata. Tuttavia, in questo approccio esiste anche un impatto molto più forte dovuto all’effettiva separazione dei dati dimensionali da quelli relativi ai fatti (transazioni). Potenzialmente, questo potrebbe significare che tutto quello che dobbiate fare sia combinare i dati master con quelli delle transazioni, per generare data mart con dimensioni conformi (comuni) a partire dai dati master e dalle transazioni come fonti dei dati. Questo approccio è molto simile a quello della soluzione MDM di Kalido. Infatti, possiamo affermare che sistemi MDM come quello di Kalido possono potenzialmente evitare la necessità dell’approccio a “un database unico e di grandi dimensioni” per realizzare un Data Warehouse d’impresa, se tutti i data mart usano dimensioni normalizzate. Lasciatemi chiarire che cosa intendo dire. In altre parole, il data warehouse dell’impresa diviene un insieme di data mart (che possono essere residenti su di un singolo server), ciascuno dei quali condivide i dati dimensionali. Si tratta di un cambiamento sottile di concetto, che non vuol dire che il warehouse dell’impresa non sia ancora vivo e vegeto, ma che la sua creazione avvenga combinando i dati master e i dati delle transazioni, in modo da creare un insieme di data mart collegati che condividono i dati dimensionali.

Il MDM può anche rendere più efficaci le analisi e il reporting dei sistemi di BI. Ad esempio, nell’area dei report con valore procedurale o statutario, per ragioni di coerenza dei dati è necessaria la consistenza univoca dei dati master per essere sicuri che i report risultino corretti nei confronti di uno o più sistemi di BI. Dati master accurati prevengono anche i problemi di riconciliazione che possono manifestarsi tra sistemi di BI, cubi e report. Ancora, se un sistema MDM supporta il controllo centrale delle gerarchie dei dati, questo significa che la modifica di queste ultime può essere diffusa facilmente tra modelli dimensionali multipli all’?interno delle diverse linee di business e dei singoli sistemi applicativi. Venditori di tecnologie MDM come Hyperion, Stratature e Siperian supportano tutti la gestione delle gerarchie dei dati master, anche con la possibilità di ricostruirne la storia (tracking). Questo significa che si possono creare versioni multiple delle gerarchie, consentendo di ri-creare versioni dimensionali multiple per ottenere report e analisi storiche più accurate. Anche i cubi possono essere ri-costruiti automaticamente con versioni diverse delle gerarchie, per consentire analisi di performance più accurate.

A tale proposito, consideriamo, ad esempio, i dati master di Prodotto. Se un prodotto che esiste nel 2005 viene spostato dalla sua categoria in una diversa per il 2006, allora si rendono necessarie modifiche nella gerarchia dei dati master di Prodotto.Tali modifiche debbono essere memorizzate e diffuse in tutti i sistemi elaborativi coinvolti. Rispetto alla BI, questo ci consente una corretta rilevazione delle vendite del prodotto stesso, con la possibilità di confrontare i risultati del 2005 con quelli del 2006, mediante la giusta attribuzione delle vendite per categorie di prodotti agli anni di rispettiva competenza. Pertanto, i sistemi MDM sono in grado di automatizzare la ri-creazione di versioni precedenti di una gerarchia di prodotto con lo scopo di produrre report di BI maggiormente significativi.

In sintesi, possiamo concludere affermando che le tecniche di Master Data Management rendono molto più efficaci i sistemi DW/BI (Data Warehouse/Business Intelligence):

Fornendo metadati master da utilizzare nei modelli di dati dimensionali e nei cubi

Fornendo dati master di alta qualità con funzione di fonte dei dati verificata per le elaborazioni ETL

Fornendo una visione completa e collegata dei dati master tra i diversi sistemi di reporting

Mantenendo traccia delle versioni delle gerarchie che si susseguono nel tempo

Automatizzando la ri-creazione di versioni diverse di una dimensione in uno schema a cubo o a stella, per riflettere i cambiamenti delle gerarchie

Fornendo dati verificati per il reporting e l’analisi dei dati

I sistemi MDM, quindi, forniscono le modifiche dei dati master sia ai sistemi applicativi che a quelli analitici. Non è verosimile che i dati master e i dati dimensionali di un DW siano costituiti dalla medesima istanza fisica, perché il dato master viene tipicamente normalizzato per supportare le elaborazioni OLTP, mentre i dati dimensionali vengono normalmente de-normalizzati per supportare le analisi dimensionali e semplificare il reporting. Nei prossimi anni, le imprese si muoveranno verosimilmente verso una gestione completa dei dati master e probabilmente non seguiranno fino in fondo la strada della fonte di dati unica. Se state acquistando soluzioni MDM, un percorso possibile forse consiste nel procedere per gradi, iniziando con un sistema MDM basato sulla registrazione, per passare poi a un hub dei dati e arrivando, infine, a un sistema MDM d’impresa. Come per la questione se costruire all’interno oppure acquistare sul mercato il sistema MDM, se la vostra organizzazione ha già in essere molte soluzioni precostituite, allora considerate l’acquisto di un sistema MDM basato su un hub come primo passo, per realizzare poi un sistema MDM d’impresa. Se, invece, nella vostra organizzazione la maggioranza delle applicazioni fondamentali utilizza già un database operativo comune, allora la soluzione migliore potrebbe essere la costruzione di un sistema MDM che riutilizzi le entità dei dati master delle applicazioni fondamentali, nell’ambito del proprio datastore. Quest’ultimo, infine, diventerebbe così una fonte per il data warehouse.

Mike Ferguson
November 2019

Upcoming events by this speaker:

Integrare Master Data Management e BI (Parte Seconda)

In recent years, software development practices have changed dramatically. Gone are the old ‘batch style’ ways of building monolithic software products with all the functionality built into one huge application and a new release every eighteen months.

Today we have a new agile software development approach with software made up of components (microservices) running in containers managed by technologies such as Kubernetes and deployed in serverless computing environments like the cloud. The impact on the software market has been dramatic. Component based software development combined with agile, lower cost, faster continuous development / continuous delivery methods has resulted in new software and new functionality being delivered at a pace. You just have to look at the data and analytics market over the last five years. We have seen an explosion of new software in the market including new types of database products, new data management tools and analytical tools. It’s been a technology deluge happening at a pace that many companies buying software can barely keep up with.

Many would argue that the pace has quickened so much that many companies can no longer keep up with it. There are lessons to be learned from what has happened in the software world especially when you apply them to an aspiration I have heard executives tell me so many times. That is that they want to become data driven. They want the business to be driven by the insights produced from analysing data. The problem is that they want to be data driven now. The expectation is that despite the fact that the number of data sources and data types is rapidly on the increase and so many different types of data store are now being used both on-premises and on multiple clouds, that it should still be easy to archive this. So much so that executives are approving investments in cloud, data management and machine learning technologies as a matter of urgency.

The problem is that with business units now in control of spend, many companies have ended up buying multiple overlapping technologies in a rush to deliver value without necessarily knowing what workloads are best suited to what technologies all before creating any kind of data architecture that could deliver the business value they want. The result is technology overspend, silos, slow speed of development, no metadata sharing and in some cases the wrong technology for the wrong workload. Using NoSQL document databases as a data warehouse for example, is just a poor choice.

It would be much better if companies designed the data architecture first to enable them to become data driven and deliver the business value they need and then select technologies that can be work together and be integrated to bring the end-to-end data architecture to life. In addition, if we look at the what has happened in the software market, the question is, could be do the same with data and analytics?

In other words, could be create a common data architecture and a component based data and analytics development combined with agile, lower cost, faster continuous development / continuous delivery methods has resulted in new data, new analytocs, new insights and new business value being delivered at a pace? Could this be the way to deliver data-driven?

The answer in my opinion is yes. We need to build data products (assets) and analytical assets (e.g. predictive models, prescriptive models, BI reports, dashboards, stories etc.) that for the components that we need to assemble to deliver value. It should be the case that data-driven becomes a continuous development / continuous delivery process. To do this we need to have people building data and analytical components, while other consume them, assemble them and drive value with them.

So what is required if you want to become data driven? Companies need to:

  • Establish a common business vocabulary of common data names and definitions for logical data entities. This is critical to being able to build, trust, share reusable data products. It also helps people understand what data means.
  • Make use of Common Data Fabric software as opposed to everyone using different tools in silos to prepare and analyze data. A stronger approach is to rationalize and use a common data fabric software that can connect to both on-premises and cloud based data stores and that allows you to create pipelines to prepare and analyze data.
  • Establish a Multi-Purpose Information Supply Chain A critical success factor here is that companies should organize themselves to become data driven. That means establishing an enterprise information supply chain through which to produce business ready data products that can be published in a data marketplace from where information consumers can shop for data An enterprise information supply chain is similar to a manufacturing production process where information producers curate business ready data products for information consumers to find and use. It is a continuous development process. The whole point here is to produce trusted, commonly understood, business ready data products that can be re-used in multiple places. The benefit is that we can save information consumers considerable amounts of time because they do not have to prepare all the data they may need from scratch. Instead we create ready-made data products or assets that are already fit for consumption. An example might be customer data, product data, orders data etc. Having data ‘ready-to-go’ should therefore shorten the time to value and reduce costs. It is important to recognize the role of the data lake in an information supply chain. A data lake is too valuable to be restricted to just data science – it needs to be multi-purpose and so can be used to produce data assets that help build master data in MDM systems, data warehouses and data needed in data science
  • The Need For Data And Analytical Pipelines In A Supply Chain Component based development of data pipelines is needed to accelerate delivery of business ready data in an enterprise information supply chain. Also, it should be possible to add analytics and visualizations to a pipeline even if they are developed in other tools. To do this means that it needs to be possible to add data products, analytics and visualizations to a marketplace (catalog) to maximize their ability to be reused. If this occurs, the time to value will get shorter with every new project as more business ready data, analytics and other artifacts become available
  • Publish trusted data and analytical assets as services in a marketplace for consumption across the enterprise A enterprise data marketplace is a catalog inside the enterprise where people can go to shop for business ready data and analytical assets. Esstablihing this means you can introduce publish and subscribe based operations into an information supply chain to speed up delivery even more. This is because reusable data and analytical components gives every project a jump start in the information supply chain. By focusing on value, an information supply chain can be used to create business ready data, predictive analytics and pre-built decision services to automate actions in the digital enterprise. Information consumers can shop for and find ready made data and analytics using the data marketplace to help them deliver value. It is this availability of re-usable business ready data, predictive analytics and pre-built decision services that enables mass contribution to common business goals across the enterprise. In other words, it helps the business to become a self-propelling data-driven business

Data architecture is critical to becoming a data driven enterprise. We shall be talking about this and all its related topics at the International Big Data Conference in Rome in December 2019. I hope you can join us.