Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Airflow à Saint-Denis

Contexte: Nous recherchons un Data Engineer Expérimenté/Senior spécialisé en environnement Big Data OnPremise pour une mission dans le cadre de l'exploitation, du maintien en conditions opérationnelles et des évolutions du Data Lake OnPremise (DataStore). Le collaborateur s'intégrera dans une équipe de 14 développeurs et contribuera également aux travaux liés à la migration progressive du Data Lake vers GCP. Missions : Exploitation et maintenance des traitements Big Data : supervision, intégration des données, contrôle qualité. Développements et évolutions sur les pipelines existants (Spark, Kafka, NIFI). Optimisation des performances et maintien des services DataStore. Gestion des incidents niveau 3 : diagnostic, correction, suivi JIRA/ITZMI. Participation aux évolutions applicatives, aux travaux transverses et aux actions préparatoires à la migration Cloud. Profil : Data Engineer Tech Lead Compétences techniques requises : Spark Kafka NIFI HDFS HBase Airflow Python SQL Technologies complémentaires : Java Scala BigQuery

Dans le cadre d’une mission stratégique auprès d’un grand acteur du secteur des services digitaux, ASAP Technologies recherche un(e) Data Engineer / Architecte Data Senior . Vous interviendrez au sein d’un pôle Data Services pour accompagner la conception, l’industrialisation et l’évolution d’une plateforme Lakehouse à grande échelle, dans un environnement cloud moderne et exigeant. 🎯 Vos missions En tant qu’Architecte Data Senior, vous jouerez un rôle central dans la structuration et l’optimisation des solutions Data. 🏗 Architecture & Modélisation Concevoir et faire évoluer une architecture Lakehouse Structurer les transformations selon un modèle Médaillon (Bronze / Silver / Gold) Modéliser les données et optimiser la performance des pipelines ⚙️ Développement & Industrialisation Concevoir, développer et optimiser des pipelines de données à grande échelle Mettre en œuvre des flux batch , streaming et ingestion via API Développer et industrialiser les pipelines avec DBT Spark et Iceberg Orchestrer les workflows ETL/ELT via Airflow Déployer et maintenir les pipelines dans un environnement Cloud (AWS ou équivalent) Mettre en œuvre l’Infrastructure as Code via Terraform Exécuter les traitements dans des environnements conteneurisés ( Docker / Kubernetes ) 🔎 Qualité, Sécurité & Performance Garantir la disponibilité, la supervision et l’observabilité des traitements Définir et implémenter les règles de qualité des données (tests, contrôles automatisés) Documenter architectures, pipelines et règles métier Assurer la conformité réglementaire (RGPD) Participer à la gestion des incidents et à l’amélioration continue 🤝 Leadership & Expertise Accompagner des profils juniors Être force de proposition sur les choix techniques Faire le lien entre enjeux métiers et architecture data