Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Airflow

Objectif : Renforcer l’équipe en charge du maintien en condition opérationnelle du DATAHUB en assurant un support de niveau 2-3 et l’optimisation des environnements critiques. Missions : Assurer le support N2/N3 en production sur Spark , Airflow et Starburst ( sur Kubernetes ) Participer à la gestion et résolution d’incidents , analyse des root causes. Optimiser les traitements Spark sur Kubernetes (tuning, configuration, dimensionnement). Améliorer l’orchestration Airflow et la gestion des catalogues Starburst. Contribuer à la documentation et l’amélioration continue des procédures d’exploitation. Accompagner les équipes métiers dans l’usage sécurisé et performant des plateformes.

Dans le cadre de son initiative Big Data FR sur plateforme Open Source , GRDF recherche un Expert Spark afin de renforcer son équipe Data. L’objectif est de contribuer à la conception, à l’optimisation et au déploiement de pipelines Big Data à grande échelle, avec un focus sur la performance et la fiabilité. 🚀 Missions principales: Participer à la conception et au développement de pipelines de données distribués basés sur Spark. Optimiser la performance des traitements et garantir la scalabilité des solutions. Déployer, monitorer et maintenir les workflows de données via Airflow . Créer et améliorer des dashboards et visualisations de données avec Superset . Collaborer avec les équipes Data Engineering, Data Science et métiers pour intégrer les besoins fonctionnels dans la plateforme Big Data. Assurer une veille technologique et proposer des solutions innovantes dans l’écosystème Big Data Open Source.

Description de la mission : Nous recherchons un expert Big Data pour intervenir sur un projet stratégique autour du traitement et de la valorisation de données à grande échelle. Le consultant sera intégré à une équipe Data et interviendra sur la conception, l’optimisation et la mise en production de pipelines de données. Compétences attendues : Maîtrise avancée de Apache Spark (batch et streaming) Expertise sur Airflow (orchestration de workflows complexes, bonnes pratiques CI/CD) Connaissance approfondie de Superset (construction et industrialisation de dashboards) Bonnes pratiques en architecture Big Data et Data Lake Connaissances appréciées : Python, SQL, Cloud (AWS / GCP / Azure)

Mettre à jour/Maintenir les scrappers développé en Python via Airflow (court terme + tâche de fond) Chiffrer la migration/le déploiement avec l’équipe de dev de Jurigeek sur OpenShift (court terme) Déployer Jurigeek sur OpenShift (court/moyen terme) S’assurer que l’équipe de dev ait tous les outils ou la toolchain pour maximiser le delivery (CI/CD, Système de log, notification de release etc…) Améliorer la qualité de code inhérente au produit en mettant en place des outils de monitoring/surveillance ou des best practices S’assurer que les produits en prod soient équipés de tous le monitoring adéquat

En quelques mots Cherry Pick est à la recherche d'un "Analytics Engineer Pricing" pour un client dans le secteur du commerce de détails Description🎯 Contexte & Objectifs Dans le cadre de l’initiative stratégique Pricing Excellence, l’entreprise déploie une approche globale de Revenue Growth Management (RGM) visant à définir un juste prix pour les consommateurs, en conciliant coûts, perception client et rentabilité. Le/la consultant.e rejoindra l’équipe dédiée au Pricing Excellence, composée d’experts en data, pricing et IA, pour industrialiser la couche “insights” et fournir des datasets fiables et robustes destinés aux dashboards, modèles IA et analyses avancées. 🛠️ Missions principales Automatiser et industrialiser les pipelines de données (dashboards, IA, data analysis). Construire et modéliser la semantic layer dédiée au pricing. Définir et optimiser la stack technique et les standards d’industrialisation. Maintenir, améliorer et adapter les datasets existants pour couvrir de nouveaux use cases. Garantir la qualité, robustesse et pertinence des données exposées. Contribuer activement à la communauté Analytics Engineers et diffuser les bonnes pratiques. ✅ Compétences requisesTechniques dbt – Expert Git – Expert Databricks – Avancé Apache Airflow – Confirmé CI/CD – Confirmé Méthodologies & Soft Skills Solide expérience en industrialisation de pipelines data. Bonne compréhension des enjeux DataOps / Analytics Engineering. Esprit collaboratif, communication claire, force de proposition. Rigueur et autonomie dans la gestion des livrables. Langues Anglais courant (environnement international).

Les tâches sont : Développeur objet confirmé (>= 5 ans d’expériences). • Codage et testage des composants logiciels. • Formalisation des cas d’usages. • Conception et mise en œuvre des flux d’intégration de données. • Optimisation de la performance et la qualité logicielle. • Apport du support technique. • Bonne maitrise de l’écosystème Data / Java / SQL / Cloud. • Notions dans d’autres langages de programmation (Python, Scala) et connaître le fonctionnement des bases de données (SQL, NoSQL). Compétences techniques (hard skills) : • Maîtrise de la programmation orientée objet (POO). • Connaissance approfondie du langage de programmation Java. • Maîtrise des Framework Java courants. • Connaissance des bases de données relationnelles et du Maitrise des outils de développement Java tel que IntelliJ IDEA. • Maîtrise de Spark (en local ou dans le Cloud). • Connaissances Airflow. • Maîtrise DevOps (CICD, Git, Jenkins). • Qualités rédactionnelles, pour rédiger des guides d’utilisation de manière claire et concise. Compétences comportementales (soft skills) : • Capacité à résoudre des problèmes complexes. • Esprit d’équipe. • Autonomie. • Curiosité. • Sens de l’organisation et gestion des priorités. • Capacités de communication, pour rendre intelligible des idées complexes auprès d’interlocuteurs aussi bien néophytes qu’experts. • Adaptabilité.

En quelques mots Cherry Pick est à la recherche d'un "Administrateur Technique plateforme Cloudera" pour un client dans le secteur des telecoms Description 🎯 Contexte L’entité Data & AI (230 experts) accompagne Orange Business dans sa transformation autour de la donnée et de l’intelligence artificielle. L’équipe Platform conçoit et maintient les composants techniques qui permettent de démocratiser l’usage de la Data & de l’IA pour les salariés et clients. Au sein de cette équipe, la mission s’inscrit dans le cadre de l’Enterprise Data Hub (EDH), plateforme Big Data B2B d’Orange Business : +180 sources de données intégrées +700 To de données hébergées +100 projets Data supportés Migration et évolution vers le Cloud Azure en cours 🛠️ Missions principales En tant qu’Administrateur Technique Big Data, vous intégrerez l’équipe en charge de l’exploitation et de l’évolution de la plateforme : RUN & Support : gestion opérationnelle de la plateforme Cloudera et des composants Big Data. Déploiement : participation aux déploiements de nouvelles plateformes et environnements. Monitoring & Optimisation : mise en place et suivi des outils de monitoring, tuning des performances. Automatisation : développement de scripts et d’outils pour uniformiser et industrialiser les processus. Documentation & Knowledge sharing : rédaction et mise à jour de la documentation technique. Collaboration internationale : échanges avec des équipes réparties sur plusieurs continents (anglais professionnel).

Métier : Data Management, Machine Learning Engineer Spécialités technologiques : Cloud, Deep Learning, Machine Learning, Big Data, Simulation Type de facturation : Assistance Technique (facturation avec un taux journalier) Compétences : Technologies et Outils : GIT, CI/CD, Pytorch, Python (5 ans), Xarray, AWS (5 ans), Docker Soft skills : Bonne pédagogie pour accompagner/coach l’équipe Secteur d'activité : Assurance Description de la prestation : Projet dans le secteur de l’assurance pour un Machine Learning Engineer Lead Expert spécialisé en recherche appliquée sur les événements climatiques extrêmes utilisant des modèles d’IA. Travail sur des simulations météo pour identifier les risques de catastrophes et développer des modèles de Machine Learning avec gestion de big data et code Python. Responsabilités principales : Fournir et gérer du code et des données de qualité pour l’équipe R&D. Refactoriser, structurer et documenter la bibliothèque Python pour les simulations, inférence et analyse. Développer des pipelines robustes pour la simulation, la détection d’événements extrêmes, l’entraînement et l’évaluation des modèles, notamment sur GPU. Appliquer les meilleures pratiques de développement logiciel scientifique : tests, CI/CD, conception modulaire, reproductibilité. Optimiser l’utilisation de serveurs multi-GPU pour des entraînements IA à grande échelle. Former et accompagner l’équipe sur les bonnes pratiques de développement scientifique et l’utilisation des GPU.

Vos missions principales seront les suivantes : Assistance à Maîtrise d’Ouvrage : Organiser et animer les ateliers de recueil des besoins auprès des utilisateurs métiers. Analyser, modéliser et proposer des optimisations des processus existants. Rédiger les documents de cadrage et de qualification : études de faisabilité, chiffrage, analyse des risques, impact, et planning. Formaliser les processus et besoins fonctionnels en vue de leur développement. Rédiger les spécifications fonctionnelles détaillées. Élaborer les plans de test et accompagner les phases de recette. Accompagner les utilisateurs dans l’adoption des nouveaux outils et usages. Pilotage opérationnel : Participer à la coordination et au suivi de l’avancement des projets. Assurer le pilotage des projets dont vous avez la charge, en collaboration avec les développeurs (équipe SmartAutomation), le DataLab, les équipes API et autres parties prenantes. Superviser et réaliser les recettes techniques. Piloter les recettes fonctionnelles jusqu’à la mise en production des solutions automatisées. Réaliser un reporting régulier à la cellule de coordination projet. Maintenance et évolutions : Contribuer à la bonne tenue opérationnelle des solutions déployées. Participer aux évolutions fonctionnelles et techniques du parc applicatif existant.

Nous vous proposons de rejoindre un grand acteur du retail pour une mission de Data Engineer. En tant que Data Engineer vous aurez un rôle clé dans l'amélioration des sales pipelines, la modélisation de nouveaux business models de données de vente et le support aux autres équipes pour une utilisation efficace des données de vente. En tant qu'entreprise de retail , des informations de vente précises et pertinentes sont cruciales, rendant cette équipe centrale pour les processus de décision opérationnels et stratégiques clés. Les responsabilités incluront la maintenance des data flows , avec un accent particulier sur la résilience des produits et l'excellence opérationnelle. Les missions : Développement et maintenance des Data Pipelines User Enablement & Support Promotion des Best Practices Operational Excellence Stack technique : Amazon Web Services (S3) Databricks Approche SQL first avec dbt et/ou Apache Spark (PySpark) Ordonnancement avec Airflow (Python) Github

Les équipes Data Systems de notre client recherchent un Senior Cloud Data Engineer passionné, basé à Paris, pour accompagner la forte croissance de leurs activités. En rejoignant l'équipe : Vous intégrerez une équipe autonome, impliquée dans un programme de transformation autour de projets de Data Engineering. Vous apporterez votre expertise sur la stratégie data, serez impliqué dans l’architecture et l’implémentation, et aurez l’opportunité d’expérimenter de nouvelles technologies. Vous jouerez un rôle clé en guidant les bonnes pratiques, en garantissant la fiabilité, la maintenabilité et la scalabilité des solutions que nous proposons à nos clients. Vos missions Concevoir, développer et déployer des solutions data sur le cloud (principalement AWS, mais aussi Azure ou GCP). Construire et maintenir des pipelines de données performants, sécurisés et automatisés. Travailler sur des architectures modernes type Lakehouse (Hudi, Iceberg, Delta) et appliquer des optimisations (Compaction, Z-Order, etc.). Orchestrer des pipelines avec Airflow et exploiter des environnements Hadoop / Spark. Développer en Python, SQL, Docker, avec mise en place de CI/CD et principes DevOps. Garantir la performance, la disponibilité et la sécurité des applications. Accompagner les membres moins expérimentés de l’équipe et partager les bonnes pratiques. Participer à des projets innovants et contribuer à l’évolution de notre offre Cloud Data Engineering. Profil recherché 5 ans minimum d’expérience pratique dans la construction de pipelines de données sur le cloud (AWS de préférence, Azure ou GCP acceptés). 3 ans minimum en architecture, conception, développement et support de solutions data. Connaissance des bases de données, ETL, BI, Big Data, Machine Learning et Advanced Analytics. Maîtrise des environnements Hadoop, Spark, Airflow. Expérience des architectures Lakehouse. Solides compétences en Python, SQL, CI/CD, automatisation et gestion de conteneurs (Docker). Connaissances de base en services cloud (réseau, sécurité, stockage, IAM). Bonne compréhension des méthodologies Agile et DevOps. Esprit ouvert, curieux et orienté apprentissage continu. Bon relationnel et capacité à collaborer avec des équipes pluridisciplinaires. Excellente communication écrite et orale en français et en anglais. Expérience souhaitée : infrastructures Linux, applications conteneurisées. Ce que nous offrons Participation à des projets data innovants et stratégiques. Un environnement stimulant, multiculturel et orienté partage de connaissances.

Sous la responsabilité du Tribe Tech Lead DATA ‘DHS’, le/la Tech Manager « PMS Data » aura donc la charge de…  encadrer 2 de ces 3 équipes (suivi individuel et avec les ESN, participation aux rituels, etc.)  créer un binôme fort avec son homologue ‘Produit’ (Product/Project Manager déjà présent)  piloter les chantiers de Delivery Produit, mais aussi d’améliorations (process, orga, outils)  animer les relations avec les parties prenantes (Métiers, équipes IT, Centre de Services Off-Shore)  informer et alerter les (deux) Tribes Leads DATA ‘DHS’  participer aux activités et évènement transverses de la Tribe, du pôle ENGINEERING ou DATA. Au cours des prochains mois, ses responsabilités le/la mèneront à atteindre les objectifs suivants (non exhaustifs) : o Réduction des fichiers PMS manquants, et du délai de rattrapage (révision process/organisation, gouvernance et pilotage renforcée, amélioration de l’outillage/automatisation, etc.) o Augmentation de la couverture (et qualité) des revenus hôtels déjà collectés, et réduction du délai d’activation (et de correction) du « mapping » financier ‘hôtel’ (révision process/organisation, gouvernance et pilotage renforcée, amélioration de l’outillage/automatisation, etc.) o Déploiement de « connecteurs » pour accroitre le parc d’hôtels connectés, et répondre aux nouveaux usages métiers, tout en réduisant notre dépendance aux méthodes et acteurs ‘Legacy’. o Revue de la stratégie, de l’architecture et des capacités de la future « Hotel Data Platform » (HDP) o Co-Priorisation du backlog des équipes, planification puis suivi des roadmaps trimestrielles o Diffusion des bonnes pratiques à l’ensemble des membres de l’équipe (autonomie, efficacité) o Documentation à jour du patrimoine Data&Tech afin de faciliter l’intégration des nouveaux arrivants

Bonjour, Nous recherchons pour notre client grand compte un Ingénieur Data GCP répondant au besoin ci-dessous. Nous étudions uniquement les candidatures qui nous sont adressées à freelance à insyco . fr avec les informations suivantes : Argumentaire écrit répondant de façon ciblée au besoin CV à jour (format Word) Date de prochaine disponibilité Tarif journalier Merci d’indiquer la référence MDE/DATA/4875 en objet du message Vos responsabilités Collecte et l’ingestion de différentes sources de données non homogènes Mise en place de pipelines de traitement de données Développement des modèles de données Extraction et l’exposition des données du Lakehouse vers d’autres services Industrialisation des projets sur la GCP Mise en place et la maintenance des infrastructures scalables capable de répondre aux besoins et à l’accroissement rapide du volume de données Participation aux initiatives de gouvernance des données en assurant la qualité, la fiabilité et l’intégrité des données Participation active aux différentes phases de grooming, cadrage et planification des tâches avec l’équipe Expériences dans un environnement du Cloud Provider Public Google (GCP) Expériences sur des projets intégrant Gitlab CI/CD Maitrise des langages SQL et Python Expériences sur des projets Big Data intégrant PySpark, BigQuery, et Airflow Expériences dans la mise en place de pipeline ETL / ELT

Nous cherchons un Tech Manager Data qui saura allier leadership technique et pilotage stratégique autour d’un sujet clé : l’exploitation des données issues des Property Management Systems. Ces données sont le cœur du fonctionnement : réservations, facturation, occupation, services. Ton rôle ? Les transformer en un actif stratégique fiable, pour booster la performance et la distribution des services. En tant que Tech Manager Data , tu seras : Le leader technique et managérial de deux équipes (internes & partenaires externes). Le chef d’orchestre des projets data PMS : collecte, intégration, fiabilisation et monitoring. Le binôme stratégique du Product Manager Data pour construire la roadmap et prioriser la valeur. Le garant de la fiabilité et de la performance des produits data : monitoring, alerting, optimisation FinOps/DevOps. L’ interface clé entre les équipes métiers, IT et les éditeurs PMS.

Vous rejoindrez une petite équipe de développeurs seniors et travaillerez sur plusieurs projets et évolutions, tels que : - Intégration de données dans un Datamart - Optimisation et configuration de bases de données - Modélisation de bases de données relationnelles - Gestion de procédures stockées La mission consistera à : - Participer au renforcement des services cloud existants - Assurer une forte évolutivité de la plateforme en travaillant sur des services transverses - Contribuer à la maintenance quotidienne des services existants Cette mission se concentrera sur de solides compétences back-end et opérationnelles (opérations signifiant la capacité à développer et livrer le code implémenté avec des contraintes de sécurité). Environnement de la mission : - Bases de données relationnelles, SQL - Python - Airflow, ab initio Au quotidien, les tâches consisteront à : - implémenter de nouveaux services / améliorer les services existants - implémenter des pipelines CI-CD / améliorer les pipelines CI-CD - corriger des bugs - documenter - réaliser des tests unitaires La mission peut être réalisée depuis Paris ou Bruxelles.

Client : Public Poste : Développeur Python Expérience : +7 ans Localisation : Paris Démarrage : ASAP Durée : 6 mois minimum Contexte : Dans le cadre d’un projet technique ambitieux, nous recherchons un développeur Python senior , disposant d’une bonne maîtrise du langage ainsi que des bases sur Kubernetes . Vous rejoindrez une équipe orientée clean code, automatisation et industrialisation des développements. Profil recherché Compétences techniques attendues : +7 ans d'expérience sur du Python – cœur du poste : Création de packages, gestion de dépendances Tests unitaires et d’intégration (pytest, coverage) Utilisation de FastAPI ou frameworks similaires Conception et appel d’API RESTful Kubernetes – bonne base requise : Compréhension des CRD (Custom Resource Définitions) Connaissance des opérateurs Kubernetes Familiarité avec les bonnes pratiques de validation (schémas YAML, etc.) Bonus appréciés : GitLab CI/CD, ArgoCD Git (versioning, MR, rebase...)