Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Airflow

Dans le cadre de son initiative Big Data FR sur plateforme Open Source , GRDF recherche un Expert Spark afin de renforcer son équipe Data. L’objectif est de contribuer à la conception, à l’optimisation et au déploiement de pipelines Big Data à grande échelle, avec un focus sur la performance et la fiabilité. 🚀 Missions principales: Participer à la conception et au développement de pipelines de données distribués basés sur Spark. Optimiser la performance des traitements et garantir la scalabilité des solutions. Déployer, monitorer et maintenir les workflows de données via Airflow . Créer et améliorer des dashboards et visualisations de données avec Superset . Collaborer avec les équipes Data Engineering, Data Science et métiers pour intégrer les besoins fonctionnels dans la plateforme Big Data. Assurer une veille technologique et proposer des solutions innovantes dans l’écosystème Big Data Open Source.

Bonjour, Dans le cadre de ses projets clients, Visian est à la recherche d'un Data Engineer Python/Spark/GCP Le data ingénieur avec la stack Python, Spark, SQL, dbt, BigQuery, Airflow, Terraform, Terragrunt, GCP . Ses missions : Déployer des datasets normés Accompagner les utilisateurs dans leurs usages. Mettre en place du contrôle qualité sur les datasets. En détail : Participer aux phases de conception, planification et réalisation. Construire et maintenir des pipelines data robustes et scalables. Organiser et structurer le stockage des données. Mettre en place et maintenir des infrastructures scalables et sécurisées. Contribuer à la gouvernance des données (qualité, fiabilité, intégrité). Construire et maintenir les workflows de CI/CD. Partager et appliquer les bonnes pratiques data engineering. Assurer évolutivité, sécurité et stabilité des environnements. Participer aux instances data engineers et à la mise à jour de la documentation. Assurer une veille technologique active .

Dans le cadre de la modernisation du SI Data, l’équipe recherche un Architecte Data Cloud pour concevoir et accompagner la mise en œuvre de plateformes Data multi-cloud (AWS, Azure, GCP), interconnectées aux produits numériques développés dans l’entreprise. La mission consiste à garantir la cohérence, la gouvernance et la performance des architectures Data Cloud. Missions principales Concevoir des architectures Data sur les environnements Cloud (AWS, Azure, GCP). Définir les standards d’intégration, stockage, orchestration et exposition de la donnée. Élaborer les architectures cibles (Data Lake, Data Mesh, Virtualisation, Catalogues) . Superviser la migration de systèmes On-Prem vers le Cloud (Oracle, Hadoop, etc.). Mettre en place les pipelines d’alimentation (Airflow, Trino, Spark, Glue, Data Factory…). Garantir la conformité (sécurité, RGPD, souveraineté, Cloud de Confiance). Participer aux jalons PMPG (cadrage, déploiement, bénéfices). Documenter les DAT, schémas techniques, POC et livrables d’architecture. Contribuer au transfert de compétences auprès des équipes internes.

Au sein d’une équipe d'expertise, vous intervenez en tant que DevOps / SRE Platform sur l'évolution et la maintenance d’une plateforme moderne orientée Big Data & Streaming. L’objectif est d’assurer la fiabilité, l’évolutivité et la sécurité de l’écosystème technique basé sur Kubernetes, Kafka et GCP. Responsabilités principales Migration Cloud & Conteneurs : Migration des composants depuis l’IaaS vers Google Cloud Platform (services managés) et Kubernetes (GKE). Administration Kubernetes & Operators : Gestion et maintenance de clusters Kubernetes (GKE) et déploiement des opérateurs critiques. Data Streaming & Kafka : Maintien de la plateforme Streaming temps réel basée sur Kafka. Orchestration & Pipelines : Administration du Cloud Composer (Airflow) et mise en place de pipelines d’ingestion de données. Infrastructure as Code & Sécurité : Déploiement d’infrastructures via Terraform, gestion du patch management et renforcement de la sécurité des composants. CI/CD & Automatisation : Maintenance et optimisation des pipelines CI/CD (Jenkins, GitLab-CI) et contribution à l’industrialisation des déploiements. Observabilité & Fiabilité : Mise en place et suivi du monitoring (Prometheus, Grafana), gestion proactive des incidents et amélioration continue de la disponibilité des services. Innovation & Support : Réalisation de POC sur de nouvelles technologies, support technique aux équipes de développement et accompagnement des équipes RUN.

Vous serez intégré dans une équipe pluridisciplinaire de 6 personnes (Data Engineer, DevSecFinOps) En vous appuyant sur la data ARF exposée, vous travaillerez sur un use case dédié en collaboration avec les équipes Data (tech lead, gouvernance et architectes). Vous devrez avoir une approche FINOPS (Maîtrise et diminution des coûts) BUILD - Interlocuteur lors de la contribution à des projets dans le domaine de la Supply - Conception de solutions en respectant les normes et framework data - Développement, Modélisation sous la gouvernance de l'architecture data - Contribution au développement d'appli - Tests - Reporting RUN : - Maintien en condition opérationnelle de notre périmètre de responsabilité (4 référentiels de données opérationnels (RDO) multi sourceurs, 15 applications) - gestion des incidents - mise en production (via Git) - suivi de flux EXPERTISE : - Montée en compétence sur notre SI et notre domaine de responsabilité

Contexte & Objectif Dans le cadre d’un projet Data déjà développé, le client souhaite faire appel à un expert capable de réaliser un audit technique et fonctionnel. En tant que Technico-Fonctionnel Full Stack / Data engineer (Snowflake) / Audit & Estimation vos principales missions seront les suivantes : Réaliser un audit complet d’un projet existant. Vérifier la compatibilité technique avec Snowflake et les environnements associés. Analyser et traduire le code back/front . Produire des recommandations concrètes : faisabilité, coûts, charge, risques. Intervenir en interface technico-fonctionnelle entre équipes techniques et métiers.

En quelques mots Cherry Pick est à la recherche d'un "Administrateur Technique plateforme Cloudera" pour un client dans le secteur des telecoms Description 🎯 Contexte L’entité Data & AI (230 experts) accompagne Orange Business dans sa transformation autour de la donnée et de l’intelligence artificielle. L’équipe Platform conçoit et maintient les composants techniques qui permettent de démocratiser l’usage de la Data & de l’IA pour les salariés et clients. Au sein de cette équipe, la mission s’inscrit dans le cadre de l’Enterprise Data Hub (EDH), plateforme Big Data B2B d’Orange Business : +180 sources de données intégrées +700 To de données hébergées +100 projets Data supportés Migration et évolution vers le Cloud Azure en cours 🛠️ Missions principales En tant qu’Administrateur Technique Big Data, vous intégrerez l’équipe en charge de l’exploitation et de l’évolution de la plateforme : RUN & Support : gestion opérationnelle de la plateforme Cloudera et des composants Big Data. Déploiement : participation aux déploiements de nouvelles plateformes et environnements. Monitoring & Optimisation : mise en place et suivi des outils de monitoring, tuning des performances. Automatisation : développement de scripts et d’outils pour uniformiser et industrialiser les processus. Documentation & Knowledge sharing : rédaction et mise à jour de la documentation technique. Collaboration internationale : échanges avec des équipes réparties sur plusieurs continents (anglais professionnel).

En quelques mots Cherry Pick est à la recherche d'un "Data Analyst" pour un client dans le secteur du conseil. Description 🎯 Objectifs de la mission Renforcer l’équipe Data avec un profil senior capable de produire du reporting pour les équipes internes, tout en assurant une excellente maîtrise technique de la stack data. 🧱 Responsabilités Création de dashboards avec Looker Studio (ex-Data Studio) Interprétation métier des indicateurs et restitution claire aux équipes internes Collaboration avec les parties prenantes pour piloter des projets analytiques Réécriture / migration des flux analytiques vers DBT Exploitation de données hébergées sur GCP Contribution à la maintenance et l’évolution des flux Airflow 🔧 Compétences requises SQL avancé : obligatoirement confirmé GCP (BigQuery) DBT : bonne connaissance pour accompagner la migration Outils de data visualisation : Looker Studio Connaissance d’Airflow : apprécié

Contexte & Objectif Dans le cadre d’un projet Data déjà développé, le client souhaite faire appel à un expert capable de réaliser un audit technique et fonctionnel. En tant que Technico-Fonctionnel Full Stack / Data engineer (Snowflake) / Audit & Estimation vos principales missions seront les suivantes : Réaliser un audit complet d’un projet existant. Vérifier la compatibilité technique avec Snowflake et les environnements associés. Analyser et traduire le code back/front . Produire des recommandations concrètes : faisabilité, coûts, charge, risques. Intervenir en interface technico-fonctionnelle entre équipes techniques et métiers.

Nous recherchons un(e) Data Engineer expérimenté(e) pour renforcer notre équipe data et prendre un rôle clé dans la conception, l’industrialisation et la mise en production de nos pipelines et services de données. Le poste s’adresse à un profil autonome, passionné par les bonnes pratiques de développement , capable de challenger les architectures existantes et de proposer des solutions robustes et scalables . 🧩 Missions principales Concevoir, développer et optimiser des pipelines de données performants, scalables et résilients . Encadrer et accompagner techniquement les équipes sur les choix d’architecture et de stack technologique . Déployer et orchestrer des traitements distribués (PySpark, AWS Glue, Airflow). Concevoir et exposer des APIs de données (via AWS API Gateway / Lambda). Industrialiser les environnements via Terraform et des pipelines CI/CD (GitLab, Jenkins…). Garantir la fiabilité, la performance et la sécurité des flux et services de données. Mettre en place du monitoring et de l’alerting pour la supervision des traitements. Contribuer à la diffusion des bonnes pratiques (tests, code review, documentation, CI/CD). Participer à la formation et au mentoring des ingénieurs juniors. 📦 Livrables attendus Schémas et modélisation des structures de données . Pipelines industrialisés et interconnectés avec les assets produits. Mise à disposition de la data vers des systèmes externes (APIs, exports, injections). Documentation technique et dashboards de suivi. Solutions conformes aux exigences RGPD / Data Privacy / éco-conception . Mise en place du monitoring et alerting en production. Contribution à l’ usine logicielle (intégration continue, tests automatisés, déploiements). Présentation régulière des réalisations techniques aux équipes métiers et produit. 🧠 Compétences techniques requises (Must Have) Python (expert). PySpark et Pandas (traitement et transformation de données). AWS (Glue, Lambda, API Gateway, ECS, IAM). Terraform (infrastructure as code). CI/CD (GitLab, Jenkins ou équivalent). Observabilité et supervision (logs, metrics, alerting). Pratiques de code propre, testé et documenté . 🌱 Compétences appréciées (Nice to Have) Airflow pour l’orchestration des jobs. AWS SageMaker pour le déploiement ou l’entraînement de modèles IA. Sensibilité MLOps et DataOps . Connaissance des standards de l’éco-conception et de la sécurité des données . Expérience en mentorat technique ou lead technique data .

Vos missions principales seront les suivantes : Assistance à Maîtrise d’Ouvrage : Organiser et animer les ateliers de recueil des besoins auprès des utilisateurs métiers. Analyser, modéliser et proposer des optimisations des processus existants. Rédiger les documents de cadrage et de qualification : études de faisabilité, chiffrage, analyse des risques, impact, et planning. Formaliser les processus et besoins fonctionnels en vue de leur développement. Rédiger les spécifications fonctionnelles détaillées. Élaborer les plans de test et accompagner les phases de recette. Accompagner les utilisateurs dans l’adoption des nouveaux outils et usages. Pilotage opérationnel : Participer à la coordination et au suivi de l’avancement des projets. Assurer le pilotage des projets dont vous avez la charge, en collaboration avec les développeurs (équipe SmartAutomation), le DataLab, les équipes API et autres parties prenantes. Superviser et réaliser les recettes techniques. Piloter les recettes fonctionnelles jusqu’à la mise en production des solutions automatisées. Réaliser un reporting régulier à la cellule de coordination projet. Maintenance et évolutions : Contribuer à la bonne tenue opérationnelle des solutions déployées. Participer aux évolutions fonctionnelles et techniques du parc applicatif existant.

Nous vous proposons de rejoindre un grand acteur du retail pour une mission de Data Engineer. En tant que Data Engineer vous aurez un rôle clé dans l'amélioration des sales pipelines, la modélisation de nouveaux business models de données de vente et le support aux autres équipes pour une utilisation efficace des données de vente. En tant qu'entreprise de retail , des informations de vente précises et pertinentes sont cruciales, rendant cette équipe centrale pour les processus de décision opérationnels et stratégiques clés. Les responsabilités incluront la maintenance des data flows , avec un accent particulier sur la résilience des produits et l'excellence opérationnelle. Les missions : Développement et maintenance des Data Pipelines User Enablement & Support Promotion des Best Practices Operational Excellence Stack technique : Amazon Web Services (S3) Databricks Approche SQL first avec dbt et/ou Apache Spark (PySpark) Ordonnancement avec Airflow (Python) Github

En tant que Data Engineer Databricks, nous vous proposons d’intégrer une équipe d’ingénieurs expérimentés et multi-compétentes. Au sein de nos clients issus de différents secteurs d'activité (Industrie, Services, Transport, Logistique, Banque, Assurances, Énergie), vous jouez un rôle clé dans la migration des données et des tâches de l'environnement Cloudera vers Databricks. Vous êtes également chargé d'automatiser le déploiement des jobs via le CI/CD. Pour réussir ces différents challenges, nous vous proposerons des actions de formation, des parrainages, des certifications sur les outils concernés et un dispositif d’évaluation personnel régulier.

Sous la responsabilité du Tribe Tech Lead DATA ‘DHS’, le/la Tech Manager « PMS Data » aura donc la charge de…  encadrer 2 de ces 3 équipes (suivi individuel et avec les ESN, participation aux rituels, etc.)  créer un binôme fort avec son homologue ‘Produit’ (Product/Project Manager déjà présent)  piloter les chantiers de Delivery Produit, mais aussi d’améliorations (process, orga, outils)  animer les relations avec les parties prenantes (Métiers, équipes IT, Centre de Services Off-Shore)  informer et alerter les (deux) Tribes Leads DATA ‘DHS’  participer aux activités et évènement transverses de la Tribe, du pôle ENGINEERING ou DATA. Au cours des prochains mois, ses responsabilités le/la mèneront à atteindre les objectifs suivants (non exhaustifs) : o Réduction des fichiers PMS manquants, et du délai de rattrapage (révision process/organisation, gouvernance et pilotage renforcée, amélioration de l’outillage/automatisation, etc.) o Augmentation de la couverture (et qualité) des revenus hôtels déjà collectés, et réduction du délai d’activation (et de correction) du « mapping » financier ‘hôtel’ (révision process/organisation, gouvernance et pilotage renforcée, amélioration de l’outillage/automatisation, etc.) o Déploiement de « connecteurs » pour accroitre le parc d’hôtels connectés, et répondre aux nouveaux usages métiers, tout en réduisant notre dépendance aux méthodes et acteurs ‘Legacy’. o Revue de la stratégie, de l’architecture et des capacités de la future « Hotel Data Platform » (HDP) o Co-Priorisation du backlog des équipes, planification puis suivi des roadmaps trimestrielles o Diffusion des bonnes pratiques à l’ensemble des membres de l’équipe (autonomie, efficacité) o Documentation à jour du patrimoine Data&Tech afin de faciliter l’intégration des nouveaux arrivants

Missions principales : Rédaction, relecture et validation des cas de tests fonctionnels des firmwares BIPs et Compteurs Exécution des tests manuels et automatisés (via Chutney) Préparation des jeux de données et suivi des anomalies (déclaration, qualification, validation, clôture) Rédaction des procès-verbaux de recette et bilans de campagne Participation aux réunions et reporting Mise à jour des documentations de tests Analyse et étude des spécifications fonctionnelles détaillées Missions secondaires : Maintenance et préparation des équipements de la salle de tests (BIPs et Compteurs, câblage, labellisation, tests de traction, etc.) Compétences techniques et connaissances requises : Création et déroulement de plans de tests techniques et fonctionnels Définition et mise en œuvre de stratégies de tests complètes Expérience sur matériel et firmwares (BIPs et Compteurs) Connaissance des bases de l’agilité Stack technique CRI : Kotlin, Java, Oracle, Grafana, Chutney, Jenkins, BitBucket, Linux, Kafka, ActiveMQ, Git, Apache Protocoles et architectures : Radio/IoT (Quectel, Sierra Wireless), PPP/IPSec, ARM embarqué, Poky, Bash/Shell, Python, Syslog, OpenSSL, SCP03, PKCS11, VMWare Player, Cygwin, Perl Impératifs : Certification BE Essai au démarrage Expérience confirmée sur tests matériels et firmwares Maîtrise de la stack technique CRI

Description du projet est sur le point de renouveler son logiciel Market Data Provider et le logiciel utilisé pour surveiller les entrées/sorties du marché 2 • Frameworks et outils Java (Spring, Hibernate, etc.) • Environnement Grafana / Airflow / ClickHouse • Les interfaces utilisateur sont développées à l'aide de Grafana pour les graphiques et de React pour les écrans standard via notre framework Vision • L'organisation suit une gestion d'équipe de type Agile à grande échelle / Scrum et travaille en coopération avec une équipe DevOps. • Les clients des applications sont situés partout en Europe (anglais requis). • Le développement s'effectue principalement sur : Windows/Linux, Git, Jenkins pour les tâches automatisées (à l'aide de scripts Groovy/bash). • Les composants principaux sont développés en C++, bases de données de type SQL (ClickHouse), Java, Airflow Assurance qualité : Description / code pour les plans de test et les cas de test Scripts de test pouvant être exécutés dans Jenkins pour garantir la qualité logicielle (peut impliquer du bash/Groovy) Une approche de type Cucumber est attendue, avec du code pour la définition des étapes en Java si nécessaire ; pour Vision, les étapes standards sont fournies par le framework. Rapports QA à joindre aux livraisons Identification, documentation et suivi des bogues et des problèmes de performance / production Revues de code et analyses d’assurance qualité Maintenance et mise à jour de XRay