Mission freelance Data Engineer

En tant que Data Engineer, vous serez responsable des tâches suivantes :

• Gestion de base de données SQL sur Azure : Assurer la création, la gestion, et la sécurisation des bases de données SQL sur la plateforme Azure, en garantissant la consistance et la qualité des données.

• Création de procédures stockées : Développer et maintenir des procédures stockées pour garantir la cohérence et la sécurité des données stockées sur Azure, tout en optimisant les performances du stockage.

• Alimentation des datalakes Azure : Mettre en place l'alimentation des datalakes Azure, en assurant la gestion des différentes couches (raw, bronze, gold) pour permettre une utilisation efficace des données.

• Développement et industrialisation des pipelines ETL : Concevoir, développer et industrialiser des pipelines ETL sous Azure pour automatiser la collecte, la transformation et le chargement des données depuis différentes sources vers les datalakes.

• Automatisation de la collecte et de la transformation des données : Développer des solutions automatisées pour la collecte et la transformation des données depuis diverses sources, en utilisant des outils et des technologies appropriés sur la plateforme Azure.

• Création de scripts Python pour le web scraping : Développer des scripts Python pour récupérer efficacement des données à partir du web scraping, en assurant la qualité et la fiabilité des données extraites.

• Communication avec les métiers : Collaborer avec les différents métiers pour effectuer les recettes, recueillir les besoins et établir les contrats d'interfaces afin de garantir une compréhension claire des exigences métier.

• Revue de code : Effectuer des revues de code régulières pour garantir la qualité, la cohérence et la conformité aux normes et bonnes pratiques de développement.

Vous travaillerez dans un environnement technique comprenant les technologies suivantes :

• Plateforme Azure

• Spark

• Scala

• Python

• Databricks

• Git

xxxxxxxxxxxxxxxx