Find your next tech and IT Job or contract Apache Airflow

Dans le cadre de son initiative Big Data FR sur plateforme Open Source , GRDF recherche un Expert Spark afin de renforcer son équipe Data. L’objectif est de contribuer à la conception, à l’optimisation et au déploiement de pipelines Big Data à grande échelle, avec un focus sur la performance et la fiabilité. 🚀 Missions principales: Participer à la conception et au développement de pipelines de données distribués basés sur Spark. Optimiser la performance des traitements et garantir la scalabilité des solutions. Déployer, monitorer et maintenir les workflows de données via Airflow . Créer et améliorer des dashboards et visualisations de données avec Superset . Collaborer avec les équipes Data Engineering, Data Science et métiers pour intégrer les besoins fonctionnels dans la plateforme Big Data. Assurer une veille technologique et proposer des solutions innovantes dans l’écosystème Big Data Open Source.

Nous vous proposons de rejoindre un grand acteur du retail pour une mission de Data Engineer. En tant que Data Engineer vous aurez un rôle clé dans l'amélioration des sales pipelines, la modélisation de nouveaux business models de données de vente et le support aux autres équipes pour une utilisation efficace des données de vente. En tant qu'entreprise de retail , des informations de vente précises et pertinentes sont cruciales, rendant cette équipe centrale pour les processus de décision opérationnels et stratégiques clés. Les responsabilités incluront la maintenance des data flows , avec un accent particulier sur la résilience des produits et l'excellence opérationnelle. Les missions : Développement et maintenance des Data Pipelines User Enablement & Support Promotion des Best Practices Operational Excellence Stack technique : Amazon Web Services (S3) Databricks Approche SQL first avec dbt et/ou Apache Spark (PySpark) Ordonnancement avec Airflow (Python) Github

Au sein d’une équipe d'expertise, vous intervenez en tant que DevOps / SRE Platform sur l'évolution et la maintenance d’une plateforme moderne orientée Big Data & Streaming. L’objectif est d’assurer la fiabilité, l’évolutivité et la sécurité de l’écosystème technique basé sur Kubernetes, Kafka et GCP. Responsabilités principales Migration Cloud & Conteneurs : Migration des composants depuis l’IaaS vers Google Cloud Platform (services managés) et Kubernetes (GKE). Administration Kubernetes & Operators : Gestion et maintenance de clusters Kubernetes (GKE) et déploiement des opérateurs critiques. Data Streaming & Kafka : Maintien de la plateforme Streaming temps réel basée sur Kafka. Orchestration & Pipelines : Administration du Cloud Composer (Airflow) et mise en place de pipelines d’ingestion de données. Infrastructure as Code & Sécurité : Déploiement d’infrastructures via Terraform, gestion du patch management et renforcement de la sécurité des composants. CI/CD & Automatisation : Maintenance et optimisation des pipelines CI/CD (Jenkins, GitLab-CI) et contribution à l’industrialisation des déploiements. Observabilité & Fiabilité : Mise en place et suivi du monitoring (Prometheus, Grafana), gestion proactive des incidents et amélioration continue de la disponibilité des services. Innovation & Support : Réalisation de POC sur de nouvelles technologies, support technique aux équipes de développement et accompagnement des équipes RUN.

En quelques mots Cherry Pick est à la recherche d'un "Data Analyst" pour un client dans le secteur du conseil. Description 🎯 Objectifs de la mission Renforcer l’équipe Data avec un profil senior capable de produire du reporting pour les équipes internes, tout en assurant une excellente maîtrise technique de la stack data. 🧱 Responsabilités Création de dashboards avec Looker Studio (ex-Data Studio) Interprétation métier des indicateurs et restitution claire aux équipes internes Collaboration avec les parties prenantes pour piloter des projets analytiques Réécriture / migration des flux analytiques vers DBT Exploitation de données hébergées sur GCP Contribution à la maintenance et l’évolution des flux Airflow 🔧 Compétences requises SQL avancé : obligatoirement confirmé GCP (BigQuery) DBT : bonne connaissance pour accompagner la migration Outils de data visualisation : Looker Studio Connaissance d’Airflow : apprécié

En quelques mots Cherry Pick est à la recherche d'un "Administrateur Technique plateforme Cloudera" pour un client dans le secteur des telecoms Description 🎯 Contexte L’entité Data & AI (230 experts) accompagne Orange Business dans sa transformation autour de la donnée et de l’intelligence artificielle. L’équipe Platform conçoit et maintient les composants techniques qui permettent de démocratiser l’usage de la Data & de l’IA pour les salariés et clients. Au sein de cette équipe, la mission s’inscrit dans le cadre de l’Enterprise Data Hub (EDH), plateforme Big Data B2B d’Orange Business : +180 sources de données intégrées +700 To de données hébergées +100 projets Data supportés Migration et évolution vers le Cloud Azure en cours 🛠️ Missions principales En tant qu’Administrateur Technique Big Data, vous intégrerez l’équipe en charge de l’exploitation et de l’évolution de la plateforme : RUN & Support : gestion opérationnelle de la plateforme Cloudera et des composants Big Data. Déploiement : participation aux déploiements de nouvelles plateformes et environnements. Monitoring & Optimisation : mise en place et suivi des outils de monitoring, tuning des performances. Automatisation : développement de scripts et d’outils pour uniformiser et industrialiser les processus. Documentation & Knowledge sharing : rédaction et mise à jour de la documentation technique. Collaboration internationale : échanges avec des équipes réparties sur plusieurs continents (anglais professionnel).

Nous recherchons un(e) Data Engineer expérimenté(e) pour renforcer notre équipe data et prendre un rôle clé dans la conception, l’industrialisation et la mise en production de nos pipelines et services de données. Le poste s’adresse à un profil autonome, passionné par les bonnes pratiques de développement , capable de challenger les architectures existantes et de proposer des solutions robustes et scalables . 🧩 Missions principales Concevoir, développer et optimiser des pipelines de données performants, scalables et résilients . Encadrer et accompagner techniquement les équipes sur les choix d’architecture et de stack technologique . Déployer et orchestrer des traitements distribués (PySpark, AWS Glue, Airflow). Concevoir et exposer des APIs de données (via AWS API Gateway / Lambda). Industrialiser les environnements via Terraform et des pipelines CI/CD (GitLab, Jenkins…). Garantir la fiabilité, la performance et la sécurité des flux et services de données. Mettre en place du monitoring et de l’alerting pour la supervision des traitements. Contribuer à la diffusion des bonnes pratiques (tests, code review, documentation, CI/CD). Participer à la formation et au mentoring des ingénieurs juniors. 📦 Livrables attendus Schémas et modélisation des structures de données . Pipelines industrialisés et interconnectés avec les assets produits. Mise à disposition de la data vers des systèmes externes (APIs, exports, injections). Documentation technique et dashboards de suivi. Solutions conformes aux exigences RGPD / Data Privacy / éco-conception . Mise en place du monitoring et alerting en production. Contribution à l’ usine logicielle (intégration continue, tests automatisés, déploiements). Présentation régulière des réalisations techniques aux équipes métiers et produit. 🧠 Compétences techniques requises (Must Have) Python (expert). PySpark et Pandas (traitement et transformation de données). AWS (Glue, Lambda, API Gateway, ECS, IAM). Terraform (infrastructure as code). CI/CD (GitLab, Jenkins ou équivalent). Observabilité et supervision (logs, metrics, alerting). Pratiques de code propre, testé et documenté . 🌱 Compétences appréciées (Nice to Have) Airflow pour l’orchestration des jobs. AWS SageMaker pour le déploiement ou l’entraînement de modèles IA. Sensibilité MLOps et DataOps . Connaissance des standards de l’éco-conception et de la sécurité des données . Expérience en mentorat technique ou lead technique data .

Sous la responsabilité du Tribe Tech Lead DATA ‘DHS’, le/la Tech Manager « PMS Data » aura donc la charge de…  encadrer 2 de ces 3 équipes (suivi individuel et avec les ESN, participation aux rituels, etc.)  créer un binôme fort avec son homologue ‘Produit’ (Product/Project Manager déjà présent)  piloter les chantiers de Delivery Produit, mais aussi d’améliorations (process, orga, outils)  animer les relations avec les parties prenantes (Métiers, équipes IT, Centre de Services Off-Shore)  informer et alerter les (deux) Tribes Leads DATA ‘DHS’  participer aux activités et évènement transverses de la Tribe, du pôle ENGINEERING ou DATA. Au cours des prochains mois, ses responsabilités le/la mèneront à atteindre les objectifs suivants (non exhaustifs) : o Réduction des fichiers PMS manquants, et du délai de rattrapage (révision process/organisation, gouvernance et pilotage renforcée, amélioration de l’outillage/automatisation, etc.) o Augmentation de la couverture (et qualité) des revenus hôtels déjà collectés, et réduction du délai d’activation (et de correction) du « mapping » financier ‘hôtel’ (révision process/organisation, gouvernance et pilotage renforcée, amélioration de l’outillage/automatisation, etc.) o Déploiement de « connecteurs » pour accroitre le parc d’hôtels connectés, et répondre aux nouveaux usages métiers, tout en réduisant notre dépendance aux méthodes et acteurs ‘Legacy’. o Revue de la stratégie, de l’architecture et des capacités de la future « Hotel Data Platform » (HDP) o Co-Priorisation du backlog des équipes, planification puis suivi des roadmaps trimestrielles o Diffusion des bonnes pratiques à l’ensemble des membres de l’équipe (autonomie, efficacité) o Documentation à jour du patrimoine Data&Tech afin de faciliter l’intégration des nouveaux arrivants

Vos missions principales seront les suivantes : Assistance à Maîtrise d’Ouvrage : Organiser et animer les ateliers de recueil des besoins auprès des utilisateurs métiers. Analyser, modéliser et proposer des optimisations des processus existants. Rédiger les documents de cadrage et de qualification : études de faisabilité, chiffrage, analyse des risques, impact, et planning. Formaliser les processus et besoins fonctionnels en vue de leur développement. Rédiger les spécifications fonctionnelles détaillées. Élaborer les plans de test et accompagner les phases de recette. Accompagner les utilisateurs dans l’adoption des nouveaux outils et usages. Pilotage opérationnel : Participer à la coordination et au suivi de l’avancement des projets. Assurer le pilotage des projets dont vous avez la charge, en collaboration avec les développeurs (équipe SmartAutomation), le DataLab, les équipes API et autres parties prenantes. Superviser et réaliser les recettes techniques. Piloter les recettes fonctionnelles jusqu’à la mise en production des solutions automatisées. Réaliser un reporting régulier à la cellule de coordination projet. Maintenance et évolutions : Contribuer à la bonne tenue opérationnelle des solutions déployées. Participer aux évolutions fonctionnelles et techniques du parc applicatif existant.

En tant que Data Engineer Databricks, nous vous proposons d’intégrer une équipe d’ingénieurs expérimentés et multi-compétentes. Au sein de nos clients issus de différents secteurs d'activité (Industrie, Services, Transport, Logistique, Banque, Assurances, Énergie), vous jouez un rôle clé dans la migration des données et des tâches de l'environnement Cloudera vers Databricks. Vous êtes également chargé d'automatiser le déploiement des jobs via le CI/CD. Pour réussir ces différents challenges, nous vous proposerons des actions de formation, des parrainages, des certifications sur les outils concernés et un dispositif d’évaluation personnel régulier.

Nous recherchons un Data Engineer GCP expérimenté pour rejoindre une équipe dynamique en freelance afin de soutenir des projets critiques de migration de données et d'infrastructure. Il s'agit d'une opportunité entièrement à distance, idéale pour des professionnels pratiques passionnés par la construction de pipelines ETL/ELT évolutifs et de solutions de stockage de données dans un environnement rapide. Responsabilités: Concevoir, construire et maintenir des pipelines ETL/ELT pour l'ingestion, la transformation et le chargement de données dans des entrepôts de données cloud, en traitant efficacement de grands volumes de données. Implémenter et gérer des solutions de stockage de données, en garantissant des performances élevées, une évolutivité et une fiabilité dans des environnements de production. Déployer l'infrastructure en tant que code (IaC) à l'aide de Terraform pour provisionner et gérer les ressources GCP. Développer et orchestrer des workflows à l'aide de Cloud Composer ou Apache Airflow pour la planification et l'automatisation. Exploiter Apache Beam/Dataflow ou Spark/Dataproc pour le traitement distribué de données, y compris les architectures batch, micro-batch et streaming en temps réel. Rédiger des requêtes SQL avancées et optimiser les interactions avec les bases de données relationnelles, en intégrant la capture de changements de données (CDC) le cas échéant. Collaborer sur des migrations de données, en assurant des transitions fluides avec un accent sur la qualité des données, les tests et les pratiques modernes de DataOps (par exemple, déploiements de pipelines, ingénierie de qualité). Intégrer avec l'écosystème plus large de l'ingénierie de données, en recommandant et adoptant des outils au besoin pour améliorer l'efficacité. Communiquer efficacement avec les parties prenantes internes et les partenaires externes pour aligner sur les exigences et livrer des solutions à fort impact.

Développeur Python + CI/CD - Paris Objectifs et livrables Mettre à jour/Maintenir les scrappers développé en Python via Airflow (court terme + tâche de fond) Chiffrer la migration/le déploiement avec l’équipe de dev de Jurigeek sur OpenShift (court terme) Déployer Jurigeek sur OpenShift (court/moyen terme) S’assurer que l’équipe de dev ait tous les outils ou la toolchain pour maximiser le delivery (CI/CD, Système de log, notification de release etc…) Améliorer la qualité de code inhérente au produit en mettant en place des outils de monitoring/surveillance ou des best practices S’assurer que les produits en prod soit équipé de tous le monitoring adéquat Compétences demandées Niveau de compétence CI/CD Confirmé Apache Airflow Avancé OPENSHIFT Avancé Programmation Python Confirmé