Wat is Microsoft Data Integration Services 

In deze blog vertellen we je alles over Microsoft Data Integratie Services. De Microsoft Data Integratie Services is onder te verdelen in twee categorieën:

• On-premise, (lokale) variant. Hierbij werkt men lokaal op een server en ontwikkel je de integraties en workflows op deze server. Dit noemen we Sql Server Integration Services (SSIS) 
• Azure Integration Services (AIS): Hierbij werkt men op het cloud platform van Micrsoft (Azure) en bestaat de Integratie service uit verschillende oplossingen welke tezamen de integratie oplossingen van Microsoft vormen. Deze set aan oplossingen samen heet de Microsoft Azure Integration Services. 

In deze blog zullen wij ons alleen focussen op de verschillende oplossingen in binnen het AIS platform. 

Wat doet Microsoft Azure Integration Services  

AIS is voornamelijk bedoeld om data te verplaatsen en is een overkoepelende naam voor 5 oplossingen die zich hierbinnen bevinden. Hierbij kun je denken aan het overbrengen van data uit de verschillende systemen van een organisatie naar een data warehouse (data hub) omgeving. AIS heeft connectoren om verbindingen te leggen naar dergelijke systemen. De data die opgehaald kan worden, kan verschillende vormen hebben:  

• Gestructureerde data (data in tabellen)  
• Semi-gestructureerde data (e-mail, PDF, html)  
• Ongestructureerde data (video en foto)  

De verschillende oplossingen binnen AIS zijn in 2 toepassingsgebieden onder te verdelen; Integratie as a service en Analytics 

Integratie as a service (IAAS) 

IAAS kenmerkt zich door real time data verschuivingen tussen tal van systemen en is vaak het hart van een bedrijf. Denk hierbij aan een order die in een webapplicatie geplaatst wordt en doormiddel van een IPAAS (Integration Platform as a Service) verplaatst wordt naar het boekhoudpakket en een ordermanagement systeem bijvoorbeeld. Dit type data integratie is vaak near real time en event gebaseerd. Ook zijn veel van de integraties gebaseerd op API’s. De oplossingen in de Azure Integration Services die hiervoor gebruikt worden zijn oa Logic Apps, Service Bus, API Management en Event Grid  

Analytics integratie

Bij analytics toepassingen worden verschillende systemen ontsloten en wordt deze data uit de verschillende bronnen weggeschreven in een data hub. Deze data kun je vervolgens gebruiken in tal van andere systemen. Denk bijvoorbeeld aan de rapportage tool PowerBI of Tableau. Waarbij het laden en prepareren van de data separaat gebeurt op een centrale omgeving. Hierdoor creëer je consistente resultaten welke hergebruikt kunnen worden. In dit geval wordt data (in tegenstelling tot IAAS) vaak batchgewijs geladen. Ook wordt er veel meer rechtstreeks geconnecteerd met bronsystemen en vinden data refreshes meestal gepland of getriggered plaats. De oplossingen in de Azure Integration Services die hiervoor gebruikt worden zijn oa Logic Apps, Azure Data Factory en Azure Analysis Services. 

Hierbij een kort overzicht van deze verschillende oplossingen van beide domeinen en wat ze kunnen: 

• Logic Apps: Met Logic Apps maak je overzichtelijke werkstromen (workflows) waarmee je connecteert naar verschillende systemen met behulp van APIs. Deze workflows worden in de vooraf definieerde volgorde uitgevoerd wanneer de trigger wordt geactiveerd. 
• Service Bus: Azure Service Bus is een berichtenservice in de cloud die wordt gebruikt om alle toepassingen, apparaten en services die in de cloud worden uitgevoerd, te verbinden met andere toepassingen of services. 
• API Management: Een hybride beheerplatform voor meerdere clouds voor API’s in alle omgevingen. Op deze manier kunnen interne en externe ontwikkelaars op ieder moment verbinding maken met de back-end systemen.  
• Event Grid: Event Grid is een geïntegreerde service voor het beheer van de routering van alle gebeurtenissen, vanuit elke bron naar elke bestemming (wat gebeurd wanneer en waar moet op basis van de gebeurtenis de data heen).  
• Azure Data Factory: Azure Data Factory is een cloudgebaseerde gegevensintegratieservice waarmee je datagedreven workflows in de cloud maakt en hierbij kun je gegevensverplaatsing en gegevenstransformatie automatiseren.  

Voordelen van Microsoft Data Integration Services  

1. Centraal te beheren 
2. Consistente transformaties op de data 
3. Overzichtelijke om mee te werken door middel van process flows 
4. Ongekend veel connectoren om bronsystemen te ontsluiten 
5. Makkelijk om transformaties op de date te maken 

Rockfeather & Microsoft Data Integration Services  

Met Rockfeather gebruiken we deze oplossingen door een tussenlaag te creëren wanneer wij de data uit systemen ophalen. Of dit nu voor een IAAS vraag is of meer voor een Analytics vraag. 

Wij ontsluiten bijvoorbeeld het ERP systeem, een HR-systeem en een tool met een API. Wij kunnen dit allemaal wegschrijven naar een datahub. Deze hun gebruiken wij vervolgens als bron voor de eerdergenoemde oplossingen. Het voordeel hiervan is dat we ongeacht de oplossing dezelfde resultaten kunnen inladen. Daarnaast is het efficiënt en overzichtelijk om de data op te halen en te transformeren waar nodig. Nadat we dit allemaal hebben neergezet blijft het ook volledig geautomatiseerd updaten.