Mission freelance Consultant Architecte Data LakeHouse (Python, Cloudera, Iceberg)
Vélizy-Villacoublay (78)
Intuition IT Solutions Ltd.
Partager cette offre
Nous recherchons Consultant Architecte Data LakeHouse (Python, Cloudera, Iceberg) pour une mission de longue durée à Vélizy dans le 78.
Au sein de la Data Factory, vous interviendrez sur des problématiques de conception d'architecture Data, d'ingénierie des données et d'intégration de jeux de données dans un environnement Big Data & Cloud.
En tant que Data Engineer Big Data & Cloud, avec une dimension Data Architecture, vous contribuerez à la conception, au développement et à l'évolution de l'architecture Data LakeHouse (DLH), ainsi qu'à la préparation et à l'intégration des données nécessaires au projet PRM.
Vos principales responsabilitésDans ce contexte, vos missions seront notamment les suivantes :
Architecture Data : participer à la conception, à la mise en œuvre et à l'évolution de l'architecture Data LakeHouse sur une plateforme Data hybride basée sur Cloudera.
Ingénierie des données : concevoir, développer et optimiser des pipelines ETL en Python et PySpark pour assurer la transformation, la préparation et l'intégration des données.
Gestion des données : mettre en œuvre et exploiter des tables Apache Iceberg afin de garantir une gestion performante et structurée des jeux de données.
Migration et interopérabilité : faire évoluer les systèmes de données existants pour assurer leur compatibilité avec le projet PRM et faciliter leur migration.
Modélisation des données : définir et maintenir des modèles de données réutilisables, cohérents et optimisés, en privilégiant la non-redondance et l'unicité des définitions.
Qualité et gouvernance des données : garantir la qualité, la cohérence et la fiabilité des données intégrées, dans le respect des normes et bonnes pratiques d'ingénierie des données.
Sécurité et conformité : intégrer les exigences de sécurité, de conformité réglementaire (notamment RGPD et réglementation applicable aux données et à l'intelligence artificielle) ainsi que les enjeux de propriété intellectuelle, y compris pour les données provenant de fournisseurs tiers.
Collaboration transverse : travailler en étroite collaboration avec les architectes applicatifs et techniques, les Data Scientists, les Data Analysts ainsi que les équipes Juridique et Recherche pour valider les modèles et les contenus de données produits.
Profil recherché
Tout au long de la prestation, les livrables suivants seront attendus :
Développement des jobs ETL permettant la récupération, la transformation et la préparation des données en vue de leur intégration dans le Data LakeHouse (DLH).
Développement des jobs ETL dédiés à la préparation et à l'export des données vers le projet PRM.
Documentation technique associée, comprenant notamment :
Les modèles de données ;
Les schémas de données ;
La documentation des flux d'intégration ;
Les éléments techniques nécessaires à la maintenance et à l'évolution des traitements.
Environnement de travail
Nous recherchons un profil confirmé en Data Engineering Big Data & Cloud, disposant d'une solide expertise technique et capable d'intervenir sur des problématiques d'architecture et d'intégration de données.
Compétences techniques indispensablesExcellente maîtrise de Python et PySpark.
Bonne connaissance d'Apache Iceberg.
Maîtrise des architectures de plateformes Data hybrides, idéalement sur l'environnement Cloudera.
Bonne compréhension des architectures Data LakeHouse.
Expérience confirmée dans la conception, le développement et l'optimisation de pipelines ETL en environnement Big Data & Cloud.
Maîtrise des processus de transformation, de préparation et d'intégration de données à grande échelle.
Formation supérieure de niveau Bac+5 (école d'ingénieurs, université ou équivalent), spécialisée en informatique, Data ou systèmes d'information.
Expérience de 4 à 5 ans minimum en Data Engineering Big Data & Cloud, idéalement sur des projets de construction ou d'évolution de plateformes Data.
Une connaissance de l'environnement SAP serait un atout.
Une sensibilité aux enjeux de gouvernance, de qualité et de sécurité des données est attendue.
Capacité à travailler dans un environnement international et multiculturel.
Anglais professionnel requis, à l'oral comme à l'écrit.
Postulez à cette offre !
Trouvez votre prochaine mission parmi +10 000 offres !
Fixez vos conditions
Rémunération, télétravail... Définissez tous les critères importants pour vous.
Faites-vous chasser
Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.
100% gratuit
Aucune commission prélevée sur votre mission freelance.
Consultant Architecte Data LakeHouse (Python, Cloudera, Iceberg)
Intuition IT Solutions Ltd.