Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Airflow

Client : Public Poste : Développeur Python Expérience : +7 ans Localisation : Paris Démarrage : ASAP Durée : 6 mois minimum Contexte : Dans le cadre d’un projet technique ambitieux, nous recherchons un développeur Python senior , disposant d’une bonne maîtrise du langage ainsi que des bases sur Kubernetes . Vous rejoindrez une équipe orientée clean code, automatisation et industrialisation des développements. Profil recherché Compétences techniques attendues : +7 ans d'expérience sur du Python – cœur du poste : Création de packages, gestion de dépendances Tests unitaires et d’intégration (pytest, coverage) Utilisation de FastAPI ou frameworks similaires Conception et appel d’API RESTful Kubernetes – bonne base requise : Compréhension des CRD (Custom Resource Définitions) Connaissance des opérateurs Kubernetes Familiarité avec les bonnes pratiques de validation (schémas YAML, etc.) Bonus appréciés : GitLab CI/CD, ArgoCD Git (versioning, MR, rebase...)

Nous recherchons un Ingénieur Big Data Objectif global : Accompagner Plateforme BigData Les livrables sont: Big Data & Traitement Distribués Orchestration de workflow Compétences techniques: Spark - Expert - Impératif Kafka - Confirmé - Impératif Stack HADOOP - Expert - Impératif Description détaillée: - Langages de programmation : Python (maîtrise avancée, développement de pipelines de données, optimisation de code, savoir mettre en place une campagne de tests) - Orchestration de workflow : Apache Airflow (création, gestion et optimisation de DAGs, intégration avec divers services) - Big Data & Traitement Distribués : o Apache Spark (Dév et optimisations) o Spark Streaming avec dépendances Kafka o Cloudera CDP (tuning des traitements) - Stockage et Bases de Données : o Hive, HDFS, (+ Impala et Iceberg dans un futur proche) - Sécurité & Chiffrement : o Chiffrement des flux de données et des bases (TLS, SSL, Kerberos, Hashicorp Vault, PGP) o Ranger KMS (chiffrement du stockage sur le cluster) - DevOps & CI/CD : o Git, GitLab CI/CD, Importance de la qualité de code (Sonar, XRay), Jenkins, XL Deploy o Monitoring (Open Search Dashboard, Grafana, ELK Stack) 3. Méthode de travail - Méthodologies Agile (Scrum, Kanban) 4. Soft Skills - Capacité à prendre des décisions stratégiques sur les choix technologiques - Adaptabilité et réactivité face aux évolutions technologiques - Esprit analytique et résolution de problèmes complexes 5. Expérience Recherchée - Minimum 5 ans d’expérience en Big Data avec un focus sur Spark et Airflow - Expérience en tant que Tech Lead sur des projets complexes - Connaissance approfondie des architectures distribuées

L'équipe IA SFR Analytics se dote d'un nouvel outil d'entraînement, de serving et de monitoring de ses modèles. Cet outil, nommé "Plateforme MLOps" en interne, doit être livré en juin et s'appuyer sur un panel de services proposés à la fois par GCP et par l'IT SFR. Plus précisément, les technologies utilisées par la plateforme seront : - GCP Workstations : l'environnement de développement - notebooks/Rstudio Server/codeOSS Server - GCP Bigquery - GCP GCS - GCP Vertex - SFR Gitlab - SFR Harbor (container registry) - SFR Nexus (package manager) - SFR Airflow (ordonnanceur) La plateforme MLOps comprendra deux modes d'utilisation : - Portage d'applications existantes - MLOps mainstream GCP La mission actuelle vise à : - recetter la plateforme dans son volet de portage - démarrer la migration des projets de Data Science SFR Analytics sur cette plateforme de portage A date, l'équipe administre trois serveurs physiques on-prem et y fait tourner l'ensemble de ses projets de data science. Les technos utilisées pour chaque étape du workflow de ML sont détaillées ci-dessous : - Analyse exploratoire / entraînement de modèles : - Le data scientist démarre un container docker sur l'un des serveurs linux. - Ce container expose un Rstudio server (équivalent notebook) auquel le data scientist se connecte. - A partir de cet environnement de travail, le data scientist peut : - installer de manière persistante les packages R/Python dont il a besoin pour son projet - se connecter à notre DWH Bigquery pour requêter, récupérer ou y remonter des données - exploiter de manière non capée les cpus et la ram de la machine hôte - entraîner des modèles - analyser leur performance - sauvegarder sur disque persistant le ou les modèles retenus ainsi que la base d'apprentissage et les fichiers de QOD associés (distributions des variables de la base d'apprentissage) - préparer le ou les scripts d'inférence du modèle, qui, au sein d'un container similaire, loaderont le modèle sauvegardé, réaliseront l'inférence en batch, et remonteront les outputs du modèle (probas et métriques de QOD des variables d'entrée notamment) sur Bigquery et/ou sur fichiers locaux - pusher son code sur un serveur Gitlab on-prem pour partage et versioning - Inférence du modèle : - Un container identique au container d'apprentissage mais dépourvu de Rstudio server est démarré de manière automatique par un worker Airflow afin de réaliser un batch d'inférence. Les dossiers contenant les packages, les scripts et les artefacts nécessaires à l'inférence sont montés au run dans le container. - Le container exporte ses résultats (probas et métriques de QOD des variables d'entrée notamment) sur BigQuery et/ou sur disque. - Monitoring : - Une application R shiny portée par un shiny-server accède aux fichiers locaux et/ou aux données remontées sur Bigquery par les jobs d'inférence et affiche : - le suivi des distributions des inputs du modèle - l'évolution des performances à froid du modèle (dans le cas des modèles supervisés et une fois que l'on dispose de suffisamment de recul temporel) Dans le fonctionnement en mode "portage", les modifications sont les suivantes : - Analyse exploratoire / entraînement de modèles : - le container de développement / exploration / training ne tourne plus sur nos machine on-premise mais sur GCP workstations - il ne sert plus uniquement une interface Rstudio Server mais également un jupyterlab et un code-oss (au choix du data scientist) - les artefacts, dont les binaires de modèles entraînés, les packages installés et les autres fichiers créés depuis notre IDE web ne sont plus stockés sur nos serveurs mais sur un bucket GCS - le lien vers Gitlab demeure fonctionnel pour le versioning des codes, mais Gitlab devient également responsable du déploiement du traitement d'inférence : - dans un projet GCP "lab" dédié au prototypage, accessible depuis les workstations et depuis la chaîne de ci Gitlab. - dans un projet GCP "run" dédié à la production, accessible uniquement par la ci/cd Gitlab. - Inférence du modèle : - le container exécutant le traitement batch reste démarré par un appel du serveur Airflow, mais le service Airflow SFR Analytics est remplacé par le service Airflow de l'IT SFR - le container n'est donc plus démarré sur nos serveurs mais sur un Cloud Run en mode job - ce Cloud Run peut être rattaché aux environnements "lab" ou "run" - Monitoring : - l'application shiny de monitoring n'est plus servie par un shiny-server on prem mais est conteneurisée et portée par un Cloud Run tournant en mode service - l'application shiny de monitoring ne lit plus ses données depuis les disques de nos serveurs mais depuis le dataset Bigquery et/ou le bucket GCS où elles sont stockées - de même, le Cloud Run exécutant le shiny peut être rattaché aux environnements "lab" ou "run" Comme dit en introduction, la mission consiste à : - recetter le fonctionnement de la plateforme MLOps en mode portage : fonctionnalités détaillées ci-dessous - démarrer la migration des projets de data science SFR Analytics sur cette plateforme de portage . Par migration des projets de data science existants, on entend le portage des étapes - d'analyse - d'entraînement/test/validation des modèles - de mise en production - et de monitoring des modèles ces deux objectifs peuvent être menés conjointement, la migration des use-cases existants représentant une opportunité de recette en elle-même. La recette inclut notamment les points suivants : - recette de la workstation : - de ses configurations et containers préparamétrés, qui doivent notamment : - proposer : - un ide fonctionnel : Rstudio server, jupyterlab ou code-oss au choix du datascientist - tout le socle permettant l'utilisation des binaires métiers (Python, R, Java, git) ainsi que l'installation / compilation des packages requis par le projet - être démarrés avec : - un montage fuse d'un ou plusieurs buckets GCS en guise de stockage persistant non rattaché à la VM sous-jacente - une authentification GCP héritée de la connexion aux workstations via la console GCP - être connectés à : - Bigquery - GCS - Cloud Run - Gitlab - Harbor - Nexus - de la possibilité de proposer des merge requests sur le repo Gitlab des images docker accessibles par la workstation - ainsi que sur le repo des configuration des clusters de workstations (terraforms) - recette des templates de ci Gitlab de la plateforme, qui doivent notamment permettre de : - builder les images docker d'inférence et de monitoring - créer / modifier les dags exécutés par le serveur Airflow - recette du fonctionnement d'Harbor (container registry) : - check que GCP workstations et Cloud Run se connectent bien à Harbor - check que Gitlab peut pusher les images qu'il a buildées sur notre repo Harbor - recette du fonctionnement de Nexus (package manager) : - check du bon fonctionnement en tant que proxy des principaux repos publics (conda, pypi, cran, posit package manager, huggingface notammment), tant en lab qu'en run - recette du fonctionnement de Airflow (sur l'environnement de run) : - check de la bonne exécution des dags - check de la bonne récupération des logs de tâches GCP dans l'UI Airflow indispensable: '- bonne maîtrise du workflow des projets de machine learning - maîtrise de git et de la chaîne de ci/cd gitlab - maîtrise de docker - maîtrise de l'écosystème GCP, et particulièrement des services mentionnés dans la section "cadre et environnement" (les certifications GCP seront un plus) - connaissance du langage R -expérience de développement de modèles de machine learning Souhaite 'Datascience : analyses descriptives multi variées - recommandations métier issues de ces analyse

Notre client recherche un Architecte Data pour concevoir et superviser la convergence des données issues de sources hétérogènes au sein d’une plateforme cloud AWS à grande échelle. L’objectif est de définir l’architecture cible, modéliser le schéma global, et assurer la cohérence technique et la performance de la plateforme. L’environnement technique inclut : Outils et plateformes : AWS (S3, Kinesis, DMS, Lambda…), Airflow, Terraform, GitLab CI/CD, Python, Snowflake, Dataiku, Braze, Power BI, IA/ML Bases de données : Exadata, Oracle, SQL Server, Snowflake Architectures : Data Lake, Event-driven, Streaming (+100 To/jour) Cas d’usage : chatbot IA, moteur de recommandation, feature store, socle vidéo, plateforme de contenu, partage de données partenaires, data self-service Missions Définir l’ architecture cible du data layer convergé dans un environnement AWS. Modéliser les données (conceptuel, logique, physique) sur Snowflake et autres bases cibles. Sélectionner les outils et normes d’intégration adaptés aux besoins. Participer au développement et à l’automatisation des pipelines et transformations de données. Superviser la convergence des données multi-source et garantir leur cohérence. Contribuer aux déploiements via Terraform et GitLab CI/CD. Documenter l’architecture et les référentiels techniques. Appliquer les bonnes pratiques de gouvernance, qualité et sécurité des données.

Nous recherchons un Data Analyst / Développeur BI Senior pour renforcer l’équipe Data. Votre rôle : - Réaliser les reportings et tableaux de bord. - Assurer la maîtrise et la modélisation des données. - Concevoir, développer et maintenir des solutions BI performantes, optimisées et réutilisables. - Réaliser des tests fonctionnels et des recettes métiers. - Garantir l’application des bonnes pratiques de développement BI. - Produire la documentation technico-fonctionnelle en fin de sprint. - Conseiller et accompagner les équipes métiers (devoir de conseil). - Collaborer étroitement avec le Product Owner et l’équipe de développement. - Concevoir des maquettes en lien avec le Product Owner. - Participer à l’assistance utilisateurs (formation, transmission de connaissances, support niveau 3). - Débloquer et accompagner les autres développeurs si nécessaire.

Vos missions principales seront les suivantes : Assistance à Maîtrise d’Ouvrage : Organiser et animer les ateliers de recueil des besoins auprès des utilisateurs métiers. Analyser, modéliser et proposer des optimisations des processus existants. Rédiger les documents de cadrage et de qualification : études de faisabilité, chiffrage, analyse des risques, impact, et planning. Formaliser les processus et besoins fonctionnels en vue de leur développement. Rédiger les spécifications fonctionnelles détaillées. Élaborer les plans de test et accompagner les phases de recette. Accompagner les utilisateurs dans l’adoption des nouveaux outils et usages. Pilotage opérationnel : Participer à la coordination et au suivi de l’avancement des projets. Assurer le pilotage des projets dont vous avez la charge, en collaboration avec les développeurs (équipe SmartAutomation), le DataLab, les équipes API et autres parties prenantes. Superviser et réaliser les recettes techniques. Piloter les recettes fonctionnelles jusqu’à la mise en production des solutions automatisées. Réaliser un reporting régulier à la cellule de coordination projet. Maintenance et évolutions : Contribuer à la bonne tenue opérationnelle des solutions déployées. Participer aux évolutions fonctionnelles et techniques du parc applicatif existant.

Nous recherchons pour notre client, une entreprise de premier plan, un Data Engineer expérimenté avec une expertise en Cloud, de préférence sur Google Cloud Platform (GCP). Dans un contexte à fort enjeu de transformation digitale, la mission consistera à accompagner l’équipe Data Engineering dans la conception, le développement et l’industrialisation de pipelines de données robustes, scalables et performants. Maîtrise de Java, Spring Boot, et Maven Expertise en BigQuery Connaissance approfondie du SQL Devops sur Github Datafor / DBT Maîtrise de Dataflow Expertise en BigQuery Expérience avec Apache Airflow Utilisation de Cloud Run Connaissance de Terraform

Dans le cadre du renforcement de l’équipe Socle Performance , rattachée à la direction DELIVERY BACK (département Finance, Services d’Appui, RH et RSE), nous recherchons un profil DevOps orienté data capable de faire le lien entre les enjeux métiers et les solutions techniques. Vos responsabilités : Analyser et comprendre les besoins des utilisateurs métiers, Proposer des conceptions techniques alignées avec les orientations cibles d’Auchan (GCP : BigQuery, Airflow, Cloud Run, etc., RDO, Git...), Prendre en charge l’ensemble des phases projet : de la conception au déploiement, en passant par le développement, les tests et la mise en production, Contribuer activement aux activités de RUN , de BUILD et aux démarches d’ amélioration continue .

Dans le cadre d’un projet stratégique d’exploitation des données ITSM, nous recherchons un Data Engineer expérimenté pour concevoir et automatiser une pipeline d’ingestion de données depuis ServiceNow vers Snowflake , au service de plusieurs départements (IT, qualité, opérations, gouvernance…). Objectifs & Responsabilités Établir et sécuriser la connexion technique entre ServiceNow ITSM et Snowflake Extraire et charger les données des modules suivants : Concevoir une pipeline d’ingestion automatisée (batch ou incrémentale) Structurer les données dans Snowflake selon une logique modulaire et réutilisable Environnement technique Source : ServiceNow ITSM (via REST API ou export planifié) Destination : Snowflake (Data Warehouse Cloud) Orchestration : Airflow (ou équivalent à définir) Transformation : DBT Core / SQL Modélisation : DrawIO ou outil libre équivalent Visualisation : Tableau CI/CD / Versioning : GitLab Documentation & Gestion de projet : Confluence, Jira

Les missions du poste Dans le cadre d’une mission pour l’un de nos clients, nous recherchons un Ingénieur Infrastructure pour intervenir au sein de l’équipe Automation Lab , dans le domaine Support Cloud . Vous serez chargé de résoudre les problèmes techniques liés aux demandes clients bloquées dans les portails Cloud opérés par l’orchestrateur BPM ( IBM Business Automation ) et/ou IBM Cloud, en assurant un suivi efficace et une collaboration étroite avec les équipes techniques. Vos missions Suivre et traiter les demandes sur le portail IBM Cloud (Cloud dédié) Gérer les incidents clients et assurer l’accompagnement sur leur résolution Identifier et débloquer les demandes via l’orchestrateur Documenter les anomalies et rédiger les modes opératoires Contribuer à l’amélioration continue des processus Environnement technique Cloud & Orchestration : IBM Cloud, BPM ( IBM Business Automation ), Terraform, Schematics Automatisation : Ansible, Python, GitLab, Airflow Systèmes : Linux Red Hat, Windows Server, VMware ESX, Kubernetes, IKS Réseaux & Sécurité : TCP/IP, TLS/SSL, ICMP, LDAP, PKI, OpenSSL, GPG/PGP, X509 Bases de données & Middleware : MySQL, Java, SCCM Scripting : Shell, PowerShell

Au sein d'une entité, la chaîne informatique de risques opérationnels contient les contrôles anti-fraude de la 1ere ligne de défense sur les opérations de marché des activités de trading de SGCIB. L'entité travaille sur la transformation de la chaine afin de tirer profil de la technologie big data, d'un datalake Microsoft Azure et donner un maximum d'autonomie aux utilisateurs. A ce titre le bénéficiaire souhaite bénéficier de l'expertise du prestataire en termes de Data engineering. Dans ce cadre, la prestation consiste à contribuer à / au(x) : - l'architecture technique en big data Azure : spark, hdi/azure storage et livy - l'Implémentation des nouvelles données/traitements dans le datalake Microsoft Azure.

Contexte Je recherche pour l’un de mes clients, entreprise industrielle française en pleine transformation digitale, un(e) Ingénieur(e) Data en CDI à Marseille. Cette opportunité est à pourvoir au sein de la DSI (100 collaborateurs), dans un environnement stimulant et innovant. Vous intégrerez le pôle Data et interviendrez sur des projets stratégiques de modernisation des architectures de données. Missions Rattaché(e) au Responsable de Production, vous aurez un rôle clé dans la conception, l’optimisation et la fiabilité des bases de données transactionnelles et décisionnelles. À ce titre, vos missions incluront : Concevoir et modéliser les bases de données en lien avec les chefs de projet, architectes, consultants ERP et experts décisionnels Participer à la mise en place et à l’évolution de l’entrepôt de données (Data Warehouse) et de la "Modern Data Stack" Développer et maintenir les flux de synchronisation entre systèmes (Airbyte, DBT, Airflow, Snowflake...) Assurer l’optimisation des performances des requêtes SQL/noSQL et le support aux équipes de développement Contribuer à l’adaptation du modèle de données dans le cadre du déploiement d’architectures microservices Participer au support technique de niveau 3 et à la veille technologique

Développeur Python + CI/CD - Paris Objectifs et livrables Mettre à jour/Maintenir les scrappers développé en Python via Airflow (court terme + tâche de fond) Chiffrer la migration/le déploiement avec l’équipe de dev de Jurigeek sur OpenShift (court terme) Déployer Jurigeek sur OpenShift (court/moyen terme) S’assurer que l’équipe de dev ait tous les outils ou la toolchain pour maximiser le delivery (CI/CD, Système de log, notification de release etc…) Améliorer la qualité de code inhérente au produit en mettant en place des outils de monitoring/surveillance ou des best practices S’assurer que les produits en prod soit équipé de tous le monitoring adéquat Compétences demandées Niveau de compétence CI/CD Confirmé Apache Airflow Avancé OPENSHIFT Avancé Programmation Python Confirmé

Dans le cadre du renforcement de notre capacité de support N2, nous recherchons un/une ingénieur spécialisé dans l’exploitation et le support de plateformes Big Data. Role : assurer le maintien opérationnel des plateformes Spark et Airflow tournant sur Kubernetes : Bonne vision de l'univers prod dans la big data Bon niveau en Kubernetes attendu Anglais courant Disponible ASAP Bonnes pratiques d’exploitation de traitements data distribués. Connaissances en tuning Spark, gestion des ressources, profiling applicatif. Capacités rédactionnelles pour formaliser les procédures d’exploitation et de diagnostic. Compétences en scripting (Ansible, Python, Bash..) appréciées. Maitrise chaine CI/CD (Git, jenkins, Gitlab CI, ….)

Ops Data Lake Ops Data Lake - Vitrolles cloud public AWS, CI/CD, gitlab pipelines, ansible, kubernetes, Helm charts, certificats SSL,, Kafka, Kafka connect, Airflow, Starburst, Control-m, Dataiku, Python, Spark, Linux Contexte de la mission Le prestataire étant orienté big data et ayant des compétences dans les domaines listés ci-dessous, le Client fait appel à l'expertise du prestataire pour l'équipe Datalake Ops : cloud public AWS, CI/CD, gitlab pipelines, ansible, kubernetes, Helm charts, certificats SSL,, Kafka, Kafka connect, Airflow, Starburst, Control-m, Dataiku, Python, Spark, Linux Objectifs et livrables En étroite collaboration avec notre profils devops AWS, l’expert technique sur le Datalake (plateforme Big Data) devra s'affranchir des mission suivantes : · Assurer le maintien en conditions opérationnelles de la plateforme Datalake cloud public AWS /privé: gestion des incidents et des demandes effectuées par les projets ou les utilisateurs finaux · Contribuer à l’implémentation/automatisation des solutions · Effectuer les actions de déploiement sur les environnements (int, preprod et prod) · Contribuer à l’amélioration continue des outils d’exploitation et de déploiement · Communication auprès des utilisateurs finaux Le Prestataire devra fournir les livrables suivants : · Récapitulatif mensuel des tickets traités (incidents, demandes de travaux, mises en production) · Statut bi-mensuel sur l’avancée des projets sur lesquels il sera contributeur

Contexte: Nous recherchons un Data Analyst / Développeur BI Senior afin de renforcer l’équipe existante. Le profil attendu doit avoir une expertise confirmée dans les environnements GCP et Power BI Online, avec une forte capacité à produire des développements BI robustes, scalables et maintenables. Missions principales: - Réaliser les reportings et tableaux de bord. - Assurer la maîtrise et la modélisation des données. - Concevoir, développer et maintenir des solutions BI performantes, optimisées et réutilisables. - Réaliser des tests fonctionnels et des recettes métiers. - Garantir l’application des bonnes pratiques de développement BI. - Produire la documentation technico-fonctionnelle en fin de sprint. - Conseiller et accompagner les équipes métiers (devoir de conseil). - Collaborer étroitement avec le Product Owner et l’équipe de développement. - Concevoir des maquettes en lien avec le Product Owner. - Participer à l’assistance utilisateurs (formation, transmission de connaissances, support niveau 3). - Débloquer et accompagner les autres développeurs si nécessaire. Environnement technique & compétences attendues Environnement GCP (Google Cloud Platform) : - BigQuery - PySpark - Dataflow - Airflow / DAG - Cloud Storage - Administration de plateforme (IAM, gestion des droits, monitoring, etc.) BI & Data Visualisation : - Power BI Desktop & Online - Modélisation BI - DevOps / CI/CD - Bonnes pratiques BI (scalabilité, performance, maintenabilité). Profil recherché Expérience : minimum 7 ans dans le développement BI et l’exploitation de données. Compétences techniques : maîtrise confirmée de GCP et Power BI Online, avec une bonne pratique des outils de traitement et d’orchestration des données (BigQuery, PySpark, Airflow, Dataflow).