Portail gouvernemental Webscraping
Introduction
Tous les portails avec lesquels une organisation travaille ne disposent pas toujours d'une API offrant des possibilités d'intégration. En particulier, les portails gouvernementaux sont souvent très fermés et protégés. Cependant, cela ne doit pas être un obstacle pour créer une connexion fiable. Numerix a été contacté pour lire en continu les données d'un portail gouvernemental.
L'objectif principal est d'utiliser ces données pour l'élaboration mensuelle des factures de vente, en utilisant les quantités indiquées sur le portail. En tant que produit secondaire, nous avons pu proposer un rapport PowerBI, plus clair que le site original.
Développement
Numerix bouwde een koppeling volledig gebaseerd op Open Source middelen. Enkel voor de visualisatie van de gegevens werd beroep gedaan op PowerBI van Microsoft waarvoor een licentie nodig is. De koppeling bestaat uit drie flows:
-
Numerix a développé une connexion entièrement basée sur des outils Open Source. Seule la visualisation des données a fait appel à PowerBI de Microsoft, pour lequel une licence est nécessaire. La connexion se compose de trois flux :
-
Chaque heure, une connexion est établie avec le portail gouvernemental. À cette fin, un orchestrateur Dagster est utilisé, qui communique avec un navigateur Selenium et un Vault pour les informations d'identification utilisateur. À chaque exécution, les données mises à jour sur le portail depuis la dernière exécution (une heure plus tôt) sont extraites. Le résultat est une base de données structurée qui rend les données facilement accessibles.
Trois fois par jour, les données sont chargées via une passerelle locale dans un Data Lake sur Azure. Une fois les données dans le cloud, les utilisateurs finaux peuvent les consulter dans un rapport PowerBI.
-
À la fin de chaque mois, les données extraites sont interprétées et des forfaits sont enregistrés dans le logiciel de facturation. Les quantités sur les factures de vente sont donc directement liées aux données extraites du portail gouvernemental.
Résultat
Grâce à la connexion avec le portail gouvernemental, les factures de vente sont automatiquement générées, ce qui permet d'économiser du travail manuel. Le client constate qu'il reçoit beaucoup moins de réclamations, car les factures de vente sont générées plus rapidement et ne peuvent plus contenir d'erreurs. En cas de réclamations concernant les factures de vente, le rapport PowerBI permet d'apporter des éclaircissements lorsque cela est nécessaire.