Binnen Data Engineering zijn er diverse technologieën die je binnen je organisatie kan inzetten. Maar welke technologieën blijven bij in de ontwikkelingen en wat zijn de nieuwste trends op het gebied van Data Engineering?

BARC brengt ieder jaar een data management samenvatting uit waarin diverse technologieën worden beoordeeld op een verschillende aspecten. Wij hebben dit rapport voor je doorgenomen en vertellen je alle interessante inzichten. Vul hieronder je gegevens in en wees op de hoogte van de nieuwste trends binnen Data Engineering.

Waar gaat het webinar over?

• De belangrijkste punten uit het BARC rapport
• De meest interessante nieuwe inzichten van het rapport

In het rapport “Magic Quadrant for Enterprise Low-Code Application Platform” zet Gartner alle verschillend van verschillende Low Code platformen uiteen. Maar hoe haal je nu de belangrijke informatie uit dit rapport van 125 pagina’s? Dit hoef je niet zelf te doen. In een half uurtje brengt onze Low Code specialist je op de hoogte van de belangrijkste ontwikkelingen en trends voor het aankomende jaar.

Waar gaat het webinar over?

• De belangrijkste punten uit het rapport: Magic Quadrant for Enterprise Low-Code Application Platform van Gartner
• De meest interessante nieuwe inzichten van het rapport

Het kiezen van een Data Science oplossing voor je bedrijf is een lastige opgave. Onze Data Science experts hebben alle opties op een rijtje gezet en vertellen in je dit webinar alles over de beste tools en nieuwe trends als het gaat om Data Science & Machine Learning. Zo nemen ze je mee in alles waar je aan moet denken bij het uitzoeken van een tool en wat de voor en tegens zijn van de meeste gebruikte tools.

Waar gaat het webinar over?

• De beste Data Science en Machine Learning tools die er op de markt zijn
• De meest interessante nieuwe trends in de markt

Een veel gevraagde oplossing met ongewenste effecten.

Een van de nieuwe features maakt het mogelijk bij de small multiples de gedeelde as uit te zetten. Een veel voorkomende klacht van Power BI gebruikers was: “door dezelfde as kan ik kleine waardes nu niet goed zien”. Door deze update is dat wel nu wel mogelijk, maar hoe handig is deze update eigenlijk?

Laten we eens kijken wat er gebeurt als we de gedeelde as uitzetten.

Zoals je ziet, is het niet heel makkelijk om te zien welke productgroep het grootst is als de y-assen niet gelijk zijn. Op het eerste oog lijkt het namelijk allemaal hetzelfde. Pas als je langer kijkt, zie je dat de assen niet gelijk zijn.

Wij vinden dat je de assen altijd gelijk moet houden, en dus ook als het om kleine waardes gaat. Je bent immers verschillende segmenten aan het vergelijken. Maar hoe zorg je ervoor dat je segmenten wel als small multiples kan visualiseren en ook snel en effectief kan analyseren? Dit kan vrij gemakkelijk kijk maar:

In het bovenstaande voorbeeld hebben wij gebruik gemaakt van Zebra BI, een plug-in voor o.a. Power BI. Door deze plug-in te gebruiken worden de small multiples geplaatst in boxen van verschillende grootte, afhankelijk van de waardes. Hierdoor kunnen de gebruikers de segmenten goed met elkaar vergelijken en daarmee de juiste conclusie trekken, omdat ze niet worden misleid door verschillende assen. Handig toch?

Een update die het lezen van een rapport versimpeld

Een andere feature uit dezelfde update die Power BI dashboards wél effectiever maakt, zijn de Dynamic Slicers. Met Dynamic Slicers kan je veldparameters gebruiken om de metingen of dimensies die binnen een rapport worden geanalyseerd dynamisch te wijzigen. Maar waarom is dit nu zo handig?

Met Dynamic Slicers kan je rapportlezers helpen met de analyse van het rapport te verkennen en aan te passen door de verschillende metingen of dimensies te selecteren waarin ze geïnteresseerd zijn. Zoals de GIF hier boven laat zien, kan een gebruiker filteren op Klanten, Productfamilie, Productgroep of andere slicers die je in het rapport hebt ingesteld.

Daarnaast kan je slicers ook nog parametriseren om dynamische filterscenario’s te ondersteunen. In de GIF hier onder kan je zien hoe het werkt. Je ziet dat de waarde vanuit de dynamische slicer komt en dynamisch veranderen. Dit geeft jouw gebruikers nog meer mogelijkheden tot interactie met het dashboard.

Hoe zorgen wij dat Dashboards niet misleidend zijn?

Natuurlijk probeert Microsoft met updates Power BI continu te verbeteren, maar sommige updates kunnen ongewenste effecten hebben. Wij werken al jaren met IBCS standaarden en geloven ook dat als deze standaarden goed toepast worden, je misleiding voorkomt. Om aan deze standaarden te voldoen gebruiken wij de IBCS-proof plug-in van ZebraBI tijdens het bouwen van dashboards in PowerBI. Wil je meer weten over hoe IBCS standaarden jouw organisatie kan helpen?

Wat zijn Power Apps?

Volgens Microsoft is het Power Platform “een platform van apps, services, connectoren en data, die een snelle omgeving bieden om zelf apps te ontwikkelen die aansluiten bij de behoeften van jouw organisatie.”

Door zelf Power Apps te ontwikkelen ben je in staat om problemen van elke grote te kunnen tackelen. Of je nu CEO, accountant, manager of medewerker bent: Power Apps zijn bedoeld om jouw dagelijkse werkzaamheden gemakkelijker te maken.

Wat is low-code?

Low-code is een manier om applicaties te ontwikkelen door middel van een ‘drag en drop’  methode. De lay-out bouw je op zoals je slides toevoegt aan een PowerPoint presentatie, terwijl je de logica voor het gebruiken van low-code apps veel lijkt op Excel formules. Hiermee biedt low-code het juiste gereedschap om snel een app te ontwikkelen zonder dat je daadwerkelijk ‘code-taal’ zoals Java of C++ moet begrijpen.

Het andere grote pluspunt van low-code is dat je heel eenvoudig je logica kan verbinden aan third party systemen. Hierdoor verbind je in een handomdraai de gegevens van jouw favoriete applicaties in je zelfgebouwde app. Zonder dat je hier één regel code voor nodig hebt.

Wat kan low-code mij bieden?

• Automatisering
• Herbruikbare code
• Schaalbaarheid
• Sneller ontwikkelen
• Cross-platform applicaties
• Een basis leggen om data-gedreven te werken

Wat is het low code platform binnen het Microsoft landschap?

Power Apps

Het bekendste onderdeel van het Power Platform. Deze tool geeft je de mogelijkheid om snel je data inzichtelijk te maken en hier vervolgens logica op te ontwikkelen. Met Power Apps maak je eenvoudig applicaties voor zowel je telefoon als de traditionele desktop.

Power Automate

Als je processen wilt automatiseren gebruik je Power Automate. Of je nu een automatische e-mail wilt sturen wanneer er een nieuwe service aanvraag binnenkomt of je medewerkers simpelweg dagelijks wilt herinneren aan het invullen van hun uren, Power Automate is je grootste vriend.

Power Virtual Agents

Eén van Microsoft’s nieuwere proposities geeft je de mogelijkheid om low-code chatbots te ontwikkelen. Deze chatbots kan je vervolgens gebruiken binnen teams of je zet ze op je eigen website. Chatbots helpen gebruikers of klanten om snel antwoord te krijgen op hun vragen, zonder dat hier menselijke interventie voor nodig is.

Power BI

Met Power BI haal je nog meer uit Business Intelligence. Bouw prachtige grafische weergaven om verhelderend inzicht te creëren in bijvoorbeeld je financiële data. Gebruik de gevisualiseerde data om betere voorspellingen te doen en pas hier vervolgens je strategie op aan.

Hoe zou je het Power Platform kunnen gebruiken binnen je bedrijf?

Stel je voor, je bent een accountant die dagelijks gegevens van verschillende bronnen verzamelt in Excel. Dit kost je dagelijks veel energie en het is bovendien foutgevoelig want je moet handmatig alle data toevoegen aan je Excel. Daarnaast moet je maandelijks een rapport aan het management presenteren, maar doordat het invoeren van je data foutgevoelig is, durf je geen belangrijke last-minute wijzigingen meer te doen. Hierdoor kijkt het management eigenlijk altijd naar oude data. Met de implementatie van een aantal Low-Code tools van het Power Platform kan dit tijdrovende proces gemakkelijk geautomatiseerd worden.

• We gebruiken Power Automate om de data van de verschillende bronnen te verzamelen en op te slaan in de database.
• Bovenop de database creëren we een Power Bi rapport die je kan gebruiken voor de maandelijkse update voor het management.
• Omdat je ook je gegevens last-minute wilt kunnen bijwerken, bouwen we een Power App bovenop de database.
• Als kers op de taart ontwikkelen we een Chatbot die de vragen van gebruikers over het rapport automatisch beantwoord.
• Eindstand à Een gelukkigere accountant die nu eindelijk de tijd heeft om te doen waar die echt goed in is.

Voordelen van low-code

• Bespaar tijd en geld
• Geen noodzaak om echte developers in te huren
• Op maat gemaakte oplossingen voor specifieke uitdagingen
• Eenvoudig te implementeren
• Simpel te gebruiken

Rockfeather & Low-code

Bij Rockfeather weten we dat niet iedereen het budget heeft om hun zakelijke dromen te realiseren. Om deze reden bieden wij zowel training- als ontwikkelcapaciteit. Ons doel is om iedereen in zijn kracht te zetten om zelf apps te gaan ontwikkelen. Dit geeft je de mogelijkheid om je eigen apps te ontwikkelen in je eigen tijd, met je eigen middelen. Als het even niet lukt of je loopt vast, weet dan dat Rockfeather er is om je te helpen.

Voor meer geavanceerde uitdagingen gebruiken we alle bovengenoemde tools om allesomvattende desktop- en mobiele applicaties te ontwikkelen.

Features vergelijken

Logic apps is voornamelijk gericht op meer technische gebruikers, terwijl Power Automate zich echt richt op non professionele gebruikers. Dit zie je terug in minder geavanceerde features en meer gebruiksvriendelijke opties.

Voor de meeste bedrijven is een Power Automate licentie met de standaard connectoren al onderdeel van de Microsoft office licentie. Als je daar bovenop ook over premium connectoren wilt kunnen beschikken, is een premium licentie nodig. Voor Logic Apps betaal je altijd alleen wanneer je de applicatie runt.

Hieronder worden drie verschillen als voorbeeld genoemd:

• Power Automate integreert goed met tools op het Power Platform, Logic Apps goed met tools op Azure.
• Logic Apps heeft ondersteuning voor versiecontrole
• Power Automate ondersteunt robotisering.

Om verder in te haken op het verschil in licenties hebben we het in hoofdlijnen hieronder uiteen gesteld:

• Logic Apps: Je betaalt wanneer je applicatie aan het runnen is.
• Power Automate: Je betaalt een vast bedrag per maand, per gebruiker, en het zit vaak al bij je Microsoft office licentie.

Belangrijke details

Power Automate is onderdeel van de Microsoft 365 omgeving en het Power Platform, het hoofddoel van de applicatie is het automatiseren van taken en processen binnen het Power Platform. Ter vergelijking is Logic Apps een van de oplossingen binnen de Microsoft Azure Integration Services en wordt deze tool dus vaker gebruikt voor ETL processen en data integratie. Logic Apps heeft dus goede integratie binnen Azure, maar mist deze integratie met het Power Platform. Uiteindelijk hangt het van je situatie af welke oplossing het beste is voor je bedrijf.

Neem bijvoorbeeld de volgende voorbeelden:

• Een manager wilt een mail ontvangen wanneer een bepaalde KPI bereikt is in Power BI, afhankelijk van de situatie kan dit in Power Automate of Logic Apps.
• Een finance medewerker moet op een paar knoppen drukken in een legacy applicatie, dit kan geautomatiseerd worden met Power Automate RPA.
• Data moet van A naar B verplaatst worden richting een data warehouse, hiervoor is Logic Apps de beste tool.
• Een maandelijkse vragenlijst moet verstuurd worden, hiervoor is Power Automate het beste.
• Een proces moet goedgekeurd worden via een knop op een dashboard, vanwege de integratie met het Power Platform is hier Power Automate het beste voor.

Vergelijk zelf

Benieuwd naar de kracht van beide platforms? Wij hebben artikelen die dieper duiken in zowel Logic Apps als Power Automate en al hun voor en nadelen.

Machine learning in het kort

Machine learning is een vorm van artificial intelligence (kunstmatige intelligentie) waar, door middel van software en computer code, een computer historische data gebruikt om voorspellingen te doen over de toekomst. Met deze complexe computer codes, ook wel algoritmes genoemd, worden modellen gemaakt. Deze machine learning modellen maken gebruik van algoritmes om patronen of relaties in de data te vinden, hiermee kan een model vervolgens waardes voorspelling op basis van nieuwe data.

Wat is Azure Machine Learning?

Azure Machine Learning is Microsofts antwoord op de stijgende vraag naar Machine Learning as a Service oplossingen. Met Azure Machine Learning biedt Microsoft een cloud omgeving binnen het Azure platform waarmee data science projecten uitgevoerd en beheerd kunnen worden. De machine learning diensten sluiten naadloos aan bij de andere cloud computing diensten die Microsoft via het Azure platform aanbiedt. Azure Machine Learning geeft je de mogelijkheid om modellen te ontwikkelen op basis van open source machine learning tools zoals Pytoch, TensorFlow, scikit-learn en vele andere resources.

Wat biedt Azure Machine Learning Workspace?

• Auto ML
• Een drag & drop interface voor citizen data scientists genaamd Designer
• Schaalbaarheid van rekenkracht en opslag van data
• Integratie met de rest van het Azure platform
• Brede selectie van algoritmes voor verschillende machine learning doeleinden
• Je kunt je machine learning model gemakkelijk omzetten naar een web service
• Versie beheer van modellen

De verschillende mogelijkheden binnen Azure Machine Learning

1. Notebooks
   In de machine learning workspace kun je een notebook aanmaken die vergelijkbaar werkt met een Jupyter Notebook. Jupyter Notebooks worden al jaren gebruikt om code mee te ontwikkelen voor data science projecten. In een notebook kunnen in cellen stukjes code worden geschreven waarmee data kan worden bewerkt en een model kan worden getraind.
2. Automated ML
   Als je gestructureerde en schone data hebt, dan kun je gebruik maken van Auto ML. Hierbij voer je de data aan en ga je stapsgewijs door een menu heen waar je verschillende instellingen kunt bepalen. Je geeft hier bijvoorbeeld aan welke waarde je wilt voorspellen met je model en welke error metric gebruikt moet worden om de verschillende modellen te vergelijken. Als je alles hebt ingesteld, gaat Auto ML aan de slag met het trainen en testen van modellen. Na dit proces krijg jij het beste model voorgeschoteld. Het aansturen van Auto ML voor eenvoudige use cases werkt goed via het menu interface, maar wanneer het ingewikkelder wordt zul je vanuit een notebook de Auto ML aan moeten sturen.
3. Designer
   Designer is de drag & drop interface van Azure Machine Learning. Dit onderdeel is te vergelijken met de manier waarop in Alteryx een machine learning project op een intuïtieve manier gebouwd kan worden. In het designer canvas kunnen zogenaamde pipelines gemaakt worden waarbij je visueel de data vanaf de ruwe input tot het getrainde model kunt neerzetten.

Use-case voor Auto ML: Het trainen van meerdere modellen

Een belangrijke ontwikkeling van de afgelopen jaren op het gebied van data science is de opkomst van Auto ML. Deze ontwikkeling automatiseert delen van het data science ontwikkelproces die voorheen vaak repetitief en tijdrovend waren. De meest moderne Auto ML oplossingen kunnen met goed gestructureerde data zelfs bijna het hele ontwikkelproces uitvoeren. Echter is data in de meeste gevallen niet zo gestructureerd en is hier nog altijd voorbereidend werk nodig. Big data moet getraind worden voordat het in een model gebruikt kan worden. Waar Auto ML echt grote waarde toevoegt is bij het trainen en testen van verschillende modellen. Voorheen moest de data scientist na het opschonen en structureren van big data bepalen welke modellen getraind moeten worden en de data hier voor testen. Het proces van verschillende modellen trainen en testen is een tijdrovende taak en kost vaak veel rekenkracht van de computer, mede daarom wordt er vaak gekozen om maar een beperkte selectie aan algoritmes te trainen en testen. Auto ML stelt de data scientist in staat om een veel grotere selectie aan algoritmes te trainen en testen op schaalbare cloud computers. Op deze manier hoeft de data scientist niet elk algoritme zelf trainen en testen. Met Auto ML geeft de data scientist zelf aan welke algoritmes getest en getraind dienen te worden en welke op welke error metric en/of statistieken resultaten vergeleken moeten worden. Je kunt het vergelijken met fietsen. Voorheen reed een data scientist rond op een stadsfiets zonder versnellingen, maar met de ontwikkeling van Auto ML krijgt een data scientist een elektrische fiets met trapondersteuning. Er wordt nog steeds zelf gefietst, maar er is ondersteuning van technologie die data scientists sneller op de plaats van bestemming brengt.

Voordelen van Microsoft Azure Machine Learning

1. Schaalbaarheid
2. Heldere documentatie
3. Goed te implementeren
4. Integratie met Microsoft Azure platform
5. ML as a service

Rockfeather & Azure Machine Learning

Bij Rockfeather zijn wij ons ook bewust van de voordelen die Azure Machine Learning biedt ten opzichte van de conventionele data science tools. Het gebruik van Azure Machine Learning stelt ons in staat om beter en sneller resultaat te leveren aan onze klanten op het gebied van data science. Een van de projecten waar wij bij Rockfeather effectief gebruik hebben gemaakt van Azure Machine Learning is het voorspellen van verkoopaantallen voor één van onze klanten. Deze voorspellingen, of forecasting zoals het officieel heet, is een tak van data science waarbij historische data gebruikt wordt om voorspellingen te doen over de toekomst. Goede voorspellingen zijn voor deze klant belangrijk omdat het kosten en verspilling bespaart. De uitdaging bij dit project was dat er een groot assortiment van verschillende producten was en dat voor al deze producten dus verkoopaantallen voorspeld moesten worden. Het handmatig trainen en testen van modellen voor een groot assortiment kost veel tijd en daarom hebben wij Auto ML toegepast in deze situatie. Door de schaalbaarheid van rekenkracht die Azure Machine Learning bied, kunnen wij per product een selectie van verschillende algoritmes trainen en testen om zo het meest effectieve algoritme voor ieder product te vinden. Deze modellen worden allemaal in Azure Machine Learning bewaard en kunnen na het trainen gebruikt worden om daadwerkelijk voorspellingen te doen over toekomstige verkoopaantallen.