Webscraping overheidsportaal
Introductie
Niet alle portalen waarmee een organisatie werkt hebben steeds een API die mogelijkheden tot integraties biedt. In het bijzonder overheidsportalen zijn vaak erg gesloten en beschermd. Dit hoeft geen probleem te zijn om toch een betrouwbare koppeling te bouwen. Numerix werd gecontacteerd om de gegevens van een overheidsportaal doorlopend uit te lezen.
De primaire doelstelling is om de gegevens te gaan gebruiken voor maandelijkse opmaak van verkoopfacturen met de aantallen die worden aangegeven op het portaal. Als bijproduct konden we een PowerBI rapport aanbieden dat overzichtelijker is dan de originele site.
UITWERKING
Numerix bouwde een koppeling volledig gebaseerd op Open Source middelen. Enkel voor de visualisatie van de gegevens werd beroep gedaan op PowerBI van Microsoft waarvoor een licentie nodig is. De koppeling bestaat uit drie flows:
-
Ieder uur wordt er aangemeld op het overheidsportaal. Hiervoor wordt een Dagster Orchestrator ingezet die communiceert met een Selenium browser en een Vault voor de gebruikersgegevens. Bij iedere uitvoering worden de gegevens uitgelezen die werden opgeladen op het portaal sinds de vorige uitvoering (één uur eerder). Het resultaat is een gestructureerde database die de gegevens eenvoudig ter beschikking stelt.
-
Drie keer per dag worden de gegevens via een on-premise gateway opgeladen naar een Data Lake in Azure. Eens de gegevens zich in de cloud bevinden, kunnen de eindgebruikers deze consulteren in een PowerBI rapport.
-
Ieder maandeinde worden de uitgelezen gegevens geïnterpreteerd en worden er forfaits geregistreerd in de facturatiesoftware. De aantallen op de verkoopfacturen zijn dus rechtstreeks gekoppeld aan de gegevens die op het overheidsportaal werden uitgelezen.
RESULTAAT
Door de koppeling met het overheidsportaal worden de verkoopfacturen automatisch opgemaakt waardoor manuele arbeid wordt uitgespaard. De klant stelt vast dat er veel minder klachten worden ontvangen doordat verkoopfacturen sneller worden opgemaakt en deze geen fouten meer kunnen bevatten. Bij klachten over de verkoopfacturen helpt het PowerBI rapport te verhelderen waar nodig.