Microsoft Azure Data Factory

Wat is Microsoft Azure Data Factory?

Azure Data Factory (ADF) is een cloud based ETL en data integratie service die ervoor zorgt dat data kan worden verplaatst en getransformeerd. Met behulp van ADF kun je data verplaatsen vanuit vele verschillende bronnen en systemen. Indien nodig kun je de data ook transformeren en wegschrijven naar een centraal punt. Dit kan vervolgens gemonitord en goed worden onderhouden.  

Daarnaast kan Azure Data Factory gegevens publiceren naar een database zoals Azure Synapse Analytics, waar bijvoorbeeld PowerBI er gebruik van kan maken om de data visueel weer te geven.  

Via ADF kunnen onbewerkte gegevens uiteindelijk worden ingedeeld in zinvolle Data Lakes/Hubs zodat er op basis van de data beslissingen kunnen worden genomen. Een Data Lake is de oplossing om alle beschikbare data, gestructureerd en ongestructureerd, op te slaan.

Wat doet het?

De eerste stap van het bouwen van een Data Factory is het verbinden van alle bronnen. Een Data Factory kan één of meerdere pijplijnen hebben. Een pijplijn is een logische groep activiteiten die samen een taak uitvoeren. Het voordeel van een pijplijn is dat de activiteiten als groep te beheren zijn in plaats van afzonderlijke activiteiten. De activiteiten in een pijplijn kunnen in een keten worden samengevoegd om na elkaar of onafhankelijk en parallel te worden uitgevoerd.  

Voorbeeld: 
Een startup wil inzicht in de cijfers en heeft daarvoor meerdere bronnen nodig om deze gegevens inzichtelijk te maken.  Namelijk het CRM systeem, het boekhoudprogramma en het logistieke systeem. ADF zorgt ervoor dat de data van deze systemen wordt opgehaald en wordt weggeschreven naar één centraal punt. ADF kan deze verschillende bronnen koppelen. Daarnaast kan de Startup de historie van het CRM systeem behouden worden door ADF. Dit gebeurd niet in het bronsysteem zelf.  

Azure Data Factory in actie

Rockfeather en Azure Data Factory

Bij Rockfeather gebruiken wij ADF om verschillende bronnen aan te sluiten op één Datahub. Hiermee zorg je dat verschillende bronsystemen op één plek worden aangesloten in de cloud. Daarnaast kunnen we door middel van Azure Analysis services ervoor zorgen dat deze verschillende bronsystemen met elkaar in verband kunnen worden gebracht. ADF is een data integratie oplossing die dit uitstekend kan.  

Daarnaast werken wij in ADF samen met Logics Apps. Deze combinatie van ADF samen met Logics Apps is een sterke combinatie. Zo kan ADF de data ophalen om vervolgens met Logic Apps de data door te sturen naar een andere bron. Daarnaast kan Logic Apps helpen bij het ontsluiten van complexere bronnen.