Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Airflow à Rennes

Contexte : Nous recherchons un Data Engineer expérimenté, pragmatique et autonome, capable de travailler sur des projets data complexes avec les bonnes pratiques agiles. Le profil idéal a déjà travaillé en mode projet, connaît le Scrum et Kanban, et sait estimer précisément la charge de travail. Profil recherché : Expérience solide en Data Engineering (pas junior). Bonne connaissance des environnements cloud, idéalement GCP . Maîtrise des outils BigQuery, DBT, Airflow, Cloud Storage . Git et CI/CD indispensables. Expérience projet avec méthodologies Agile/Scrum/Kanban , capacité à estimer le reste à faire et à planifier un sprint. Capacité à être critique sur les données et à mettre en place quality by design . Jira utilisé régulièrement pour le suivi de projet. Anglais : un plus mais pas essentiel. Expérience dans un environnement industriel ou traitement de données en temps réel (Pub/Sub) est un plus. Polyvalence et curiosité : d’autres compétences data seront appréciées. Missions principales : Conception et développement de pipelines de données robustes. Analyse critique et validation de la qualité des données. Mise en place de contrôles pour garantir l’intégrité et la fiabilité des données. Contribution à l’amélioration continue des pratiques Data Engineering et Agile de l’équipe. Processus de recrutement : Entretien avec le Tech Lead et le Chef de projet. Référencement fournisseur. Disponibilité : ASAP

Contexte & Enjeux Projet stratégique à haute visibilité visant à construire une nouvelle Data Platform . L’infrastructure, livrée sur un modèle Kubernetes , constitue le socle du futur environnement Data. Une équipe backend est déjà en place et développe le socle applicatif en Python / Django . Objectif principal : Structurer et définir l’ architecture Data de la plateforme, dans une logique modulaire, scalable et sécurisée , et préparer l’intégration des premiers cas d’usage métiers. 🧩 Mission Le Data Architecte interviendra sur : Définir l’ architecture cible de la Data Platform après livraison de l’infrastructure ; Segmentation et ségrégation des stockages selon les typologies de données (temps réel, analytics, applicatif) ; Déploiement et orchestration des conteneurs dans l’environnement Kubernetes ; Mise en place du socle Data et des patterns de gouvernance : sécurité, qualité, monitoring, CI/CD Data ; Accompagnement sur les choix technologiques (préférence open source) ; Co-construction avec les équipes métiers utilisant des outils no-code / low-code pour leurs besoins analytiques. 🧠 Profil recherché Architecte Data confirmé, à l’aise sur les environnements Cloud Azure et Kubernetes ; Maîtrise des architectures temps réel , data pipelines et data storage (Data Lake / Data Warehouse) ; Expérience solide sur les environnements open source : Spark, Kafka, Airflow, etc. ; Capacité à intervenir sur des sujets d’ architecture globale (data + applicatif) ; Bon sens du travail en équipe et de la co-construction dans un contexte sensible et confidentiel ; Capacité à proposer des solutions adaptées aux contraintes existantes. ⚙️ Environnement technique (indicatif) Cloud : Azure Orchestration : Kubernetes Backend : Python / Django Data : Open source – Spark, Kafka, Airflow, etc. Usages métiers : No-code / Low-code

Dans le cadre des travaux à réaliser, nous recherchons un profil Data Engineer GCP confirmé : Concevoir, développer, opérationnaliser et surveiller les systèmes de traitement de données (structurées et non structurées) sur Google Cloud Platform Créer des pipelines de données permettant d’automatiser la collecte et la préparation de données nécessaire à l'analyse de données, à la mise en œuvre d'API Définir des solutions globales permettant de répondre rapidement aux besoins métiers Evoluer sur les différents outils de l'écosystème, tels que Google BigQuery, Google Cloud Storage, Looker Studio, Dataflow, Airflow, Firestore, Pub/Sub, Kibana, Elastic search, SQL, Git, Jenkins, Docker, etc. Possible développement de flux sur datastage (IBM)