Contractor job Data Engineer Nantes/pa

Data Engineer Nantes Le Data Engineer est un expert en gestion des données, qui est chargé de la conception et de la maintenance de l’infrastructure data du périmètre en responsabilité

Compétences Technique :

•Langages de programmation et scripting (ex : SQL, Python, Java, Bash/Shell scripting, …)
•Bases de données (ex : Base, Data Warehouse, Data Lake, Data Platform / Lakehouse, …).
•Traitement des données (Frameworks Big Data, comme Apache Spark, Pipelines ETL/ELT, Streaming, …)
•Cloud Computing (ex : Azure, Concepts cloud, stockage et calcul distribués, …)
•Modélisation des données et architecture (ex : Modélisation des données relationnelles et dimensionnelles, modèle en étoile, en flocon, compréhension des architectures Data Lake, Data Warehouse, et Data Platform / Lakehouse, …)
•Gestion et optimisation des schémas pour les performances.
•DevOps et ingénierie logicielle (ex : outils CI/CD, conteneurs et orchestration, versionnement via Git/GitHub pour le suivi du code source, surveillance et journalisation, …)
•Outils de gestion des données et gouvernance (Qualité des données : Vérification des duplications, gestion des erreurs, validation… Gouvernance des données : Connaissance des politiques comme le RGPD, gestion des catalogues, Sécurité des données…)

Le Data Engineer est un expert en gestion des données, qui est chargé de la conception et de la maintenance de l’infrastructure data du périmètre en responsabilité

Tâches :

Infrastructures de données :
•Cartographie et documente les sources de données.
•Assure la maintenance des différentes applications données (Data) déployées en production et des infrastructures.
•Conçoit les solutions permettant le traitement de volumes importants de flux de données et ceci en toute sécurité.
•Structure les bases de données (sémantique, format, etc.).
•Contribue à la gestion des référentiels de données.
Intégration des données :
•Capte et stocke, en toute sécurité, les données (structurées ou non) produites dans les différentes applications ou venant de l’extérieur de l’entreprise.
•Assure la supervision et l’intégration des données de diverses nature qui proviennent de sources multiples. Vérifie la qualité des données qui entrent dans la Data Platform et s’assure de leur sécurité.
•Nettoie la donnée (élimination des doublons…) et la valide pour une utilisation aval.
•Animation des communautés :
•Anime la communauté technique qui met en oeuvre les dispositifs prévus ou nécessaires à l’application de la politique de la donnée de l’entreprise.
Veille technologique :
•Reste en alerte sur les technologies liées au traitement de la manipulation de la donnée et identifie les solutions utilisables.
•Propose des évolutions pour les infrastructures et solutions de données en place.

Compétences Technique :

•Langages de programmation et scripting (ex : SQL, Python, Java, Bash/Shell scripting, …)
•Bases de données (ex : Base, Data Warehouse, Data Lake, Data Platform / Lakehouse, …).
•Traitement des données (Frameworks Big Data, comme Apache Spark, Pipelines ETL/ELT, Streaming, …)
•Cloud Computing (ex : Azure, Concepts cloud, stockage et calcul distribués, …)
•Modélisation des données et architecture (ex : Modélisation des données relationnelles et dimensionnelles, modèle en étoile, en flocon, compréhension des architectures Data Lake, Data Warehouse, et Data Platform / Lakehouse, …)
•Gestion et optimisation des schémas pour les performances.
•DevOps et ingénierie logicielle (ex : outils CI/CD, conteneurs et orchestration, versionnement via Git/GitHub pour le suivi du code source, surveillance et journalisation, …)
•Outils de gestion des données et gouvernance (Qualité des données : Vérification des duplications, gestion des erreurs, validation… Gouvernance des données : Connaissance des politiques comme le RGPD, gestion des catalogues, Sécurité des données…)

Compétences Métier :

•Compétences analytiques et mathématiques (Compréhension des statistiques pour interpréter les données et aider les équipes de Data Science, Familiarité avec les bases de l’apprentissage automatique et des modèles d’IA, …).
•Résolution de problèmes : Capacité à identifier des inefficacités et à proposer des solutions.
•Communication : Présentation claire des concepts techniques à des publics non techniques.
•Adaptabilité : Apprendre rapidement de nouvelles technologies dans un domaine en constante évolution