Data Engineering

Wat is Data Engineering?

Het doel van Data Engineering is het aggregeren, samenvoegen, opschonen, transformeren en verplaatsen van gegevens uit verschillende bronnen. Hierdoor kan je een enkele versie van de waarheid creëren die door de hele organisatie gebruikt kan worden. Data Engineering stelt je in staat om in te spelen op de groeiende wensen rondom data en data gedreven inzichten binnen je organisatie. Het creëren van een enkele versie van de waarheid maakt het tegelijk makkelijk om bedrijfslogica consistent te houden en je data te traceren.

Waarom is Data Engineering belangrijk?

Iedere dag produceren we 2.5 quintillion bytes data. In andere woorden: het volume aan data groeit in een ongelofelijk tempo. Tegelijkertijd heb je tegenwoordig veel verschillende bronsystemen variërend van “on premise” systemen tot oplossingen die in de cloud draaien. Daarbuiten heb je vaak ook nog allerlei externe databronnen die gebruikt worden in het beslissingsproces. Om te zorgen dat je bedrijfsprocessen kunt voorzien van de juiste en volledige data, is het nodig dat data uit verschillende systemen met elkaar worden gekoppeld. Daarnaast is het van belang dat de organisatie overal dezelfde informatie gebruikt. Data Engineering biedt je dus dus de koppeling tussen databronnen en creëert een enkele versie van de waarheid

Rockfeather en Data Engineering

Bij Rockfeather zorgen we ervoor dat al je data up to date en beschikbaar is zodat we een enkele versie van de waarheid creëren voor je organisatie. Bij Rockfeather maken we onderscheid tussen horizontale en verticale integratie. Een voorbeeld van horizontale integratie is data van je CRM applicatie naar je ERP applicatie verplaatsen; dit is vaak een gebeurtenis gedreven proces waar data tussen je kern bronnen beweegt. Verticale integratie is het verplaatsen van je CRM data naar een SQL Server om het daar te bewerken zodat het gebruikt kan worden voor Data Visualisatie of Data Science. Dit type integratie gebeurt vaak in bulk op bepaalde vaste tijden. We gebruiken een brede selectie van tools zoals Azure Data Factory, Logic Apps, TimeXtender en meer. Wil je meer weten over het verschil tussen horizontale en verticale integratie tools in het Microsoft portfolio? Kijk dan eens naar deze blog.

Onze tools en standaarden

We gebruiken een ‘best in class’ portfolio van toolsets. Hierin evalueren we ons portfolio continue en voegen we nieuwe en veelbelovende oplossingen toe aan ons portfolio. Ons huidige portfolio bevat:

Horizontaal

• Azure Logic Apps
• Azure Analysis Services
• Tray.io

Verticaal

• TimeXtender
• Azure Data Factory
• Azure Logic Apps
• Alteryx
• Databricks
• dbt
• Airbyte

In het kort

Om als bedrijf klaar te zijn om echt data gedreven beslissingen te nemen is het hebben van de juiste Data Engineering laag essentieel. Een goede Data Engineering laag is flexibel zodat je in kunt spelen op veranderende bronnen en wensen en biedt je tegelijkertijd de juiste governance en structuur.