Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Airflow

Dans le cadre de l’évolution d’une plateforme technologique stratégique, nous recherchons un développeur back-end Python expérimenté pour intervenir sur une application de traitement et d’analyse d’images satellites. Vous rejoindrez une équipe de développement déjà en place afin de contribuer à l’évolution fonctionnelle et technique d’une solution existante dédiée à la détection d’objets d’intérêt sur des données satellitaires. Votre mission consistera à travailler sur une base de code importante et mature, en participant à l’amélioration continue de l’architecture, des performances et des fonctionnalités. Vous interviendrez notamment sur l’analyse de problématiques complexes, l’optimisation de la gestion des données et la mise en place de solutions robustes permettant d’assurer la fiabilité et la scalabilité de la plateforme.

Dans le cadre de la synergie IT et du développement de l’IA GEN au sein de ces applications, le chapitre DATA Entrepôt de données a en charge de porter les évolutions de pattern liés à la plateforme Data SNOWFLAKE dont il a la responsabilité. Au sein d’une équipe composée d’experts dans le domaine de l’IT et fort de vos expériences d’administration de plateforme SNOWFLAKE, vous aurez pour missions principales de : - Concevoir les nouveaux PATTERN nécessaires demandés, sur les périmètres ingestion de données, manipulation de données et restitution, que les données soient structurées ou non structurées. - Les mettre en œuvre sur la plateforme France ou à l’international pour qu’ils puissent être utilisés par les équipes DATA IT et métier - Accompagner les différentes équipes IT et métier France ou des Business Units dans le déploiement et la prise en main de la plateforme SNOWFLAKE Dans ce contexte, les principales activités : - Contribuer aux cadrages des nouveaux besoins techniques des métiers liés à la plateforme SNOWFLAKE - Participer à l’évolution de la plateforme Data (gouvernance, contrôles, automatisation, etc) - Participer aux choix technologiques de l’offre à mettre en place - Analyser les documents d’architecture des assets à faire évoluer et définir les nouveaux PATTERN (architecture fonctionnelle, applicative, technique) - Analyser, définir et cadrer les adaptations nécessaires de l’offre proposée - Documenter les PATTERN retenus à un niveau plus détaillé, de sorte à la rendre exécutable pour les autres Business Units - Être l’interlocuteur privilégié des équipes portant les besoins d’agent/usages IAGEN au sein du pôle DATA - Accompagner au déploiement de la solution définie auprès de la BU SOFINCO et des autres Business Units - Accompagner à la prise en main de la plateforme Data

Nous recherchons un Ingénieur Data Oracle/SQL/Python Objectif global : Développement Data Engineer Oracle/SQL/Python Contrainte du projet: Contexte Data Les livrables sont: Développement des nouvelles fonctionnalités TU / Spécifications techniques MCO/RUN Compétences techniques: Oracle - Confirmé - Impératif SQL - Confirmé - Impératif Python - Junior - Important Airflow - Junior - Souhaitable Description détaillée: Nous cherchons un data ingénieur ASAP pour une mission longue durée Compétences : ORACLE impératif SQL impératif Python : c’est un plus mais pas obligatoire Expérience : Participation à des projets liés à la Data et aux Bases de données (injection et exposition des données) Bonne compréhension fonctionnelle Utilisation de GIT pour la gestion de version Niveau recherché : Confirmé (surtout Oracle et SQL, ok pour junior/intermédiaire sur Python) Compétences appréciées (Bonus) : Airflow Apache (ordonnanceur de traitements de données en Python) Trino (exposition des données depuis sources multiples en SQL) Méthodologie Agile SAFE & Scrum Outils de gestion de projet : Jira, Confluence Profil orienté Data Ingénieur On ne recherche pas de profil devsecOps, ni de data architecte Activités : Build 80% & MCO/RUN 20% Conditions de travail : Présentiel souhaité : 2 jours par semaine chez le client

Nous recherchons un Data Engineer confirmé / senior pour intervenir sur une plateforme data moderne au sein d’un acteur du secteur de la santé , avec des enjeux forts de fiabilité, performance et conformité des données. 🎯 Contexte de la mission Vous rejoindrez une équipe Data en charge de la conception, de l’industrialisation et de l’optimisation d’une architecture data moderne sur GCP , orientée qualité, scalabilité et gouvernance. La plateforme repose notamment sur : GCP · BigQuery · dbt · Airflow · CI/CD ⚙️ Missions principales Concevoir et maintenir des pipelines de données robustes et scalables . Modéliser les données dans BigQuery (architecture analytique performante). Développer et maintenir les transformations via dbt (modélisation, tests, documentation). Orchestrer les flux avec Airflow (DAGs, monitoring, gestion des dépendances). Participer à l’industrialisation via des pratiques CI/CD . Garantir la qualité, la performance et la traçabilité des données . Contribuer aux choix d’architecture et aux bonnes pratiques Data Engineering.

Bonjour, Nous cherchons pour notre client un Data Engineer Experimenté/Senior . Site : Ile de France Proche paris ; 2/3 jours/semaine obligatoire sur site Date de démarrage : ASAP Date de fin : 31/12/2028 Le Contexte : Rejoignez une équipe de 14 passionnés pour relever un double défi technologique ! Nous recherchons un Data Engineer Senior pour piloter l'évolution d'un écosystème Big Data On-Premise (DataStore) tout en ouvrant la voie vers le Cloud. Vous serez au cœur d’une transformation stratégique : assurer l'excellence opérationnelle actuelle tout en préparant la migration progressive vers GCP . Vos Missions : Piloter l’excellence technique : Superviser les flux, garantir la qualité des données et optimiser les performances du DataStore. Innover et Maintenir : Faire évoluer les pipelines critiques (Spark, Kafka, NiFi). Expertise de pointe : Résoudre les incidents de niveau 3 avec une approche analytique (JIRA/ITZMI). Accélérer la migration : Être un acteur clé des chantiers transverses vers le Cloud.

On cherche un(e) Data Engineer pour renforcer une équipe qui fait tourner la plateforme data au quotidien. Le sujet est très concret : ramener des données qui viennent de partout , les centraliser proprement , les rendre fiables , et garder une plateforme qui tient la charge (et qui ne casse pas en prod au premier pic). Vous travaillerez avec un Product Owner, un Data Steward et d’autres data engineers. On est sur une logique : ingestion, standardisation, stockage, et tout ce qui va avec côté run (monitoring, reprise, sécurité, doc). Vos missions : Collecter et centraliser des sources hétérogènes (API, fichiers, bases, événements). Construire des pipelines robustes : gestion des erreurs, reprises, backfills, alerting, qualité. Développer les traitements en Python / SQL / Spark (volumes en hausse, donc on fait attention à la perf et aux coûts). Orchestrer les flux avec Airflow . Structurer le stockage sur Cloud Storage avec une approche Delta Lake (évolution de schémas, merge/upsert, partitionnement, rétention). Industrialiser l’ensemble : Terraform / Terragrunt , GitLab CI/CD , environnements propres (dev/staging/prod). Contribuer à la gouvernance et à la conformité : catalogage et métadonnées via Dataplex + documentation utile (pas un wiki fantôme). Environnement technique : Python, SQL, Spark Airflow (orchestration) GCP : BigQuery, Dataproc, Pub/Sub, Cloud Storage Delta Lake Terraform + Terragrunt GitLab + GitLab CI/CD Méthodes : Agile (Scrum/Kanban)

Contexte : Je recherche plusieurs Data Engineers pour un client final, dans le cadre de missions urgentes. Ces postes sont à pourvoir rapidement et nécessitent une expertise technique pointue. Intitulé du poste : Data Engineer – Snowflake / DBT / Airflow / AWS Missions principales : Concevoir, développer et maintenir des pipelines de données fiables et performants. Participer à l’architecture et à l’optimisation des solutions Cloud. Collaborer avec les équipes Data et les équipes métiers pour assurer la qualité des données et des flux. Mettre en place les bonnes pratiques DataOps et CI/CD pour les pipelines de données. Assurer le monitoring, la sécurité et l’optimisation des coûts des infrastructures cloud.

Nous recherchons un Data Engineer Confirmé/Senior pour renforcer une équipe Data dans un environnement cloud moderne, avec un fort niveau d’exigence sur l’ architecture, l’industrialisation et les bonnes pratiques . 🎯 Contexte de la mission : Vous interviendrez sur une plateforme Data reposant sur Azure et Snowflake , avec une architecture Médaillon . Le rôle inclut une forte dimension lead technique : qualité du code, CI/CD, revues de PR et accompagnement des équipes. ⚙️ Missions principales : Concevoir et faire évoluer des pipelines de données sur Azure et Snowflake. Mettre en œuvre et maintenir une architecture Médaillon (Bronze / Silver / Gold). Développer et orchestrer les flux via Azure Data Factory . Automatiser les processus via Azure Automation . Participer activement à l’ industrialisation CI/CD et aux pipelines Azure DevOps . Réaliser des revues de Pull Requests et promouvoir les bonnes pratiques de développement. Garantir la qualité, la performance et la fiabilité des traitements de données.

Nous recherchons un Ingénieur Data Oracle/SQL/Python Objectif global : Développement Data Engineer Oracle/SQL/Python Contrainte du projet: Contexte Data Les livrables sont: Développement des nouvelles fonctionnalités TU / Spécifications techniques MCO/RUN Compétences techniques: Oracle - Confirmé - Impératif SQL - Confirmé - Impératif Python - Junior - Important Airflow - Junior - Souhaitable Description détaillée: Nous cherchons un data ingénieur ASAP pour une mission longue durée Compétences : ORACLE impératif SQL impératif Python : c’est un plus mais pas obligatoire Expérience : Participation à des projets liés à la Data et aux Bases de données (injection et exposition des données) Bonne compréhension fonctionnelle Utilisation de GIT pour la gestion de version Niveau recherché : Confirmé (surtout Oracle et SQL, ok pour junior/intermédiaire sur Python) Compétences appréciées (Bonus) : Airflow Apache (ordonnanceur de traitements de données en Python) Trino (exposition des données depuis sources multiples en SQL) Méthodologie Agile SAFE & Scrum Outils de gestion de projet : Jira, Confluence Profil orienté Data Ingénieur On ne recherche pas de profil devsecOps, ni de data architecte Activités : Build 80% & MCO/RUN 20% Conditions de travail : Présentiel souhaité : 2 jours par semaine chez le client

Bonjour, Dans le cadre de ses projets clients, Visian est à la recherche d'un Développeur Python/MLOPS Tâches: Développer et optimiser des API (REST) en Python (FastAPI). Concevoir et maintenir des bases de données (PostgreSQL principalement) pour des requêtes performantes. Collaborer avec les équipes DevOps pour automatiser les déploiements (Docker, CI/CD). Intégrer des tests automatisés (pytest) et participer aux revues de code. Contribuer à l’amélioration continue de l’architecture back-end. Assurer la maintenance de la stack d’outils de l’équipe et notamment : Participer à rendre les algorithme IA compatible d’architecture GPU blackwell Mettre à jour les dépendances de note codebase (python, CUDA) Participer au développement de nos outils de MLOps en général

Au sein d'une équipe de 7 ML Engineers , vous serez l'expert Infrastructure dédié au pôle ML. Votre mission est de bâtir, maintenir et faire évoluer la stack technique permettant de propulser des systèmes de Machine Learning scalables et fiables. Vous ferez le pont entre le monde du DevOps et celui de la Data Science pour garantir l'efficacité opérationnelle des pipelines de production. Missions : Gestion de l’Infrastructure : Maintenir et optimiser la stack infrastructure dédiée au ML en respectant l'état de l'art et les bonnes pratiques AWS. Automatisation (IaC) : Provisionner et gérer les ressources via Terraform pour assurer la reproductibilité des environnements. Orchestration de Workflows : Piloter et configurer les pipelines de données complexes et les workflows ML via Apache Airflow (MWAA). Support Projets Spécifiques : Collaborer avec l'équipe sur l'intégration d'outils avancés comme les bases de données vectorielles (Vectiroeilles), Open Search et l'indexation. Cycle de vie ML : Mettre en place des serveurs dédiés MLFlow pour le suivi de l'entraînement des modèles et optimiser les phases de prédiction. Exploitation SageMaker : Utilisation intensive d'Amazon SageMaker pour l'entraînement et le déploiement de modèles.

Contexte de la mission : Pour l’un de nos clients, cette mission consistera par l’accompagnement du lancement d’un projet interne stratégique destiné à doter ses équipes commerciales d’un outil de pilotage centralisé axé sur la donnée. Tâches à réaliser : Recueillir et formaliser les besoins métier des équipes Sales / Sales Ops (indicateurs, rapports, cas d’usage). Analyser les sources de données existantes (dont Salesforce) et comprendre le business data model actuel. Concevoir et faire évoluer le modèle de données dans une logique Medallion / Canonical / Shared Data Model. Cadrer et spécifier les pipelines de données (ETL / workflows) avec les outils en place : Fabric Pipeline, dbt, Alteryx, Airflow, LogicApps, PowerAutomate, etc. Définir les règles de transformation et de qualité de données (nettoyage, harmonisation, gestion des doublons, référentiels). Mettre en place et documenter l’historisation et la data lineage de bout en bout (de la source jusqu’aux vues analytiques). Rédiger la documentation fonctionnelle et le dictionnaire de données pour les équipes data et métiers. Jouer le rôle de “go-to person” / référent data pour l’équipe projet, en répondant aux questions et en arbitrant les choix fonctionnels. Accompagner les utilisateurs (explication des KPIs, démonstration des vues, recueil de feedbacks) et proposer des améliorations continues.

Principales missions : - Contribuer aux cadrages des nouveaux besoins techniques des métiers liés à la plateforme SNOWFLAKE - Participer à l’évolution de la plateforme Data (gouvernance, contrôles, automatisation, etc) - Participer aux choix technologiques de l’offre à mettre en place - Analyser les documents d’architecture des assets à faire évoluer et définir les nouveaux PATTERN (architecture fonctionnelle, applicative, technique) - Analyser, définir et cadrer les adaptations nécessaires de l’offre proposée - Documenter les PATTERN retenus à un niveau plus détaillé, de sorte à la rendre exécutable pour les autres Business Units - Être l’interlocuteur privilégié des équipes portant les besoins d’agent/usages IA GEN au sein du pôle DATA - Accompagner au déploiement de la solution définie auprès de la BU et des autres Business Units - Accompagner à la prise en main de la plateforme Data

Missions: Mon client recherche un DataOps / Data Engineer pour intervenir sur le service de maintenance prédictive, basé sur : un environnement on‑prem (Python, Airflow, Docker, GitHub CI/CD), un environnement Cloud Azure (Databricks, PySpark, ADF), une Service Platform pour les compagnies aériennes (application web). Assurer le MCO des environnements dev & production. Superviser et monitorer Databricks / Spark. Concevoir & maintenir des pipelines de données en production. Accompagner le déploiement d’algorithmes (optimisation performance & coûts). Améliorer les processus d’intégration / versioning dans la Service Platform.

Nous recherchons un Data Engineer Senior pour intervenir au sein d’une plateforme Data stratégique dans un environnement numérique à forte volumétrie. Vous intégrerez une équipe composée d’un Product Owner, d’un Data Steward et de Data Engineers, au cœur d’une architecture cloud moderne orientée scalabilité, gouvernance et performance. Vos missions : Participer aux phases de conception et de planification des développements data Concevoir et maintenir des pipelines data robustes et scalables Collecter et centraliser des sources de données hétérogènes Structurer et optimiser le stockage des données Mettre en place des infrastructures scalables sur Google Cloud Platform Construire et maintenir les workflows CI/CD Garantir la sécurité, la conformité et la stabilité des environnements Contribuer aux initiatives de gouvernance des données Documenter les développements et partager les bonnes pratiques Accompagner les équipes internes dans l’exploitation des données Environnement technique : Google Cloud Platform (BigQuery, Dataproc, PubSub, Cloud Storage) Dataplex Universal Catalog Python SQL Spark Airflow Delta Lake Terraform / Terragrunt Gitlab / Gitlab CI/CD Méthodologies Agile (Scrum ou Kanban) Mission en environnement structuré avec forte exigence de qualité, de performance et de conformité réglementaire.