Contexte de la mission : Dans le cadre du renforcement de l'équipe Marketing Data, au sein d'un pôle Data Fabric, nous recherchons un Data Engineer Senior / Expert pour accompagner l'un de nos clients grands comptes dans la conception, l'industrialisation et l'exploitation de solutions Data. Vous évoluerez dans un environnement Lakehouse AWS, avec des enjeux forts autour de la performance, de la qualité des données, de la fiabilité des traitements et de leur maintien en conditions opérationnelles. Nous recherchons un profil technique, autonome et expérimenté, capable d'intervenir sur l'ensemble du cycle de vie des pipelines Data, de leur conception jusqu'à leur exploitation en production. Vos missions : Concevoir, développer, optimiser et industrialiser des pipelines de données. Développer des traitements Big Data avec Spark/PySpark, Python, SQL et dbt. Exploiter des données au format Apache Iceberg dans une architecture Lakehouse / Medallion. Concevoir et orchestrer des workflows avec Airflow. Déployer et maintenir les traitements sur AWS (S3, Glue, EMR). Contribuer à l'automatisation des infrastructures avec Terraform. Mettre en place des tests automatisés, des contrôles de Data Quality et des mécanismes d'observabilité. Participer au RUN, à l'analyse des incidents et à la résolution des problèmes de production. Contribuer à la documentation technique et fonctionnelle, au Data Lineage, aux Data Contracts et au Data Catalog. Collaborer avec les Product Owners et les équipes métier pour traduire les besoins Marketing en solutions Data robustes et maintenables.
ContexteDans le cadre du renforcement d'une équipe, nous recherchons un consultant Data Engineer Senior/Expert capable d'intervenir de manière autonome sur la conception, l'industrialisation et l'exploitation de produits et pipelines Data. La mission s'inscrit dans un environnement Lakehouse AWS, avec des enjeux de qualité, performance, fiabilité des traitements et maîtrise du RUN. MissionsLe consultant interviendra notamment sur les activités suivantes : Concevoir, développer et optimiser des pipelines de données. Développer et industrialiser les traitements avec Spark/PySpark, Python, SQL et dbt. Exploiter des données au format Apache Iceberg dans une architecture Lakehouse / Medallion. Orchestrer les traitements avec Airflow. Déployer et maintenir les traitements sur AWS et contribuer à l'Infrastructure as Code avec Terraform. Mettre en œuvre les contrôles de Data Quality, tests et mécanismes d'observabilité. Participer au RUN, à l'analyse des incidents et au traitement des causes racines. Contribuer à la documentation, au Data Lineage, aux Data Contracts et au Data Catalog. Travailler avec les Product Owners et interlocuteurs métier afin de traduire les besoins Marketing en solutions Data robustes et maintenables. LivrablesLes livrables de la prestation pourront comprendre : Pipelines Data développés, testés et industrialisés. Transformations Spark et Modèles dbt. Workflows Airflow. Infrastructure Terraform nécessaire aux traitements. Tests automatisés et contrôles de Data Quality. Monitoring et alerting associés aux traitements. Documentation technique et fonctionnelle. Documentation des modèles et règles métier. Contribution aux Data Contracts, lineage et métadonnées. Analyse et résolution des incidents. Plans de remédiation pour les incidents ou problèmes récurrents. Contribution aux standards et bonnes pratiques Data Engineering de l'équipe.
Nous recherchons un(e) Data Engineer Confirmé(e) pour rejoindre une équipe produit agile au sein d'un acteur majeur du secteur de l'énergie. Vous évoluerez dans un environnement innovant dédié au traitement et à la valorisation de données issues d'équipements connectés et d'infrastructures à l'échelle nationale. Votre terrain de jeu : des produits data en constante évolution, traitant des volumes massifs (plus de 25 millions d'adresses et 40 millions de clients), avec un enjeu stratégique majeur de migration vers le Cloud (Databricks) à l'horizon 2027. Descriptif de la mission : Développement & Industrialisation Big Data : Concevoir, développer et optimiser des pipelines de données massives en pySpark, gérer leur ordonnancement et garantir un haut niveau de qualité logicielle (couverture de tests > 80 %, CI/CD). Supervision & Run : Mettre en place des tableaux de bord de suivi de performance et de qualité de données (en lien avec le DevOps), et assurer le maintien en condition opérationnelle (MCO) et la gestion des incidents en production. Architecture & Accompagnement : Proposer des évolutions d'architecture de données (approche Médaillon compatible Cloud) et accompagner les Data Scientists de l'équipe dans l'industrialisation de leurs modèles et codes d'expérimentation. Migration Cloud (Databricks) : Préparer, tester et réaliser la migration des pipelines existants (Hadoop/HDFS) vers Databricks / Delta Lake. Conseil & Partage : Assurer une veille technologique active, animer des ateliers de bonnes pratiques (performance Spark, qualité de code) et jouer un rôle de référent technique auprès des autres équipes.
Data Scientist senior – Prévision de la demande et des ventes (Supply Chain) – Freelance / Portage – Paris Nous cherchons pour l'un de nos clients, un grand groupe international, un Data Scientist senior pour une mission longue à Paris. La mission en bref Lieu : Paris Rythme : 3 jours sur site, 2 jours de télétravail par semaine Durée : 3 ans Contrat : freelance ou portage salarial Démarrage : 04/01/2027 Le contexte Vous rejoignez une équipe data qui développe des solutions IA de prévision de la demande et des ventes. L'objectif : optimiser les commandes de produits, des fournisseurs jusqu'aux centres d'approvisionnement continentaux. Vos missions Améliorer en continu les signaux de demande et de ventes Développer de nouvelles features et covariables Tester de nouveaux modèles de deep learning et des modèles de fondation Segmenter intelligemment les produits Produire des prévisions probabilistes (distributions de probabilités, intervalles de prédiction) Votre profil Vous avez déjà développé des modèles de prévision de la demande ou des ventes, idéalement en supply chain ou en retail : Important Très bon niveau en Machine Learning, séries temporelles et Python : Important Bonne pratique de Databricks, PySpark, Airflow et AWS (S3, EC2) Des notions sur SAP et sur les modèles de fondation pour séries temporelles sont un plus Vous savez expliquer vos résultats aux équipes métier Pourquoi cette mission Une mission de 3 ans, avec de la visibilité Un sujet au cœur de l'activité, avec un impact direct sur les commandes et les stocks Des volumes de données importants et une stack moderne De la place pour tester des approches récentes (deep learning, modèles de fondation) Cette mission vous intéresse ? Postulez.
Votre rôle au sein de NSI Dans le cadre du renforcement de son équipe Data, un acteur majeur du secteur bancaire recherche un Data Engineers expérimenté H.F pour contribuer à l'évolution de son Data Lake et au déploiement de nouveaux cas d'usage sur la plateforme Databricks. Descriptif des missions Développer et maintenir des pipelines de données batch et temps réel Concevoir et industrialiser des flux d'ingestion et de transformation Développer des traitements Python / PySpark sur Databricks Concevoir et maintenir des workflows Talend Mettre en œuvre des flux CDC (Change Data Capture) Participer à l'automatisation, aux tests et aux déploiements CI/CD Garantir la qualité, le monitoring et l'observabilité des traitements Développer des composants réutilisables et frameworks d'industrialisation Environnement technique Databricks Python / PySpark Talend SQL dbt CDC / Qlik Replicate Git, CI/CD Kafka (plus) GénAI appliquée au développement
Dans le cadre d'un renforcement de nos équipes chez l'un de nos clients grands comptes dans le secteur bancaire. Nous recherchons un(e) Data Engineer/ Développeur pour intervenir dans un équipe Big Data & API qui développe et gère un datalake (GTLake) Votre objectif de mission : - Gestion de la production - Gestion de la dette technique - Revoir l'architecture actuelle et proposer des évolutions - Développements liés aux projets CASH et Trade A noter que notre client a démarré une phase de mutation du GTLake vers une gestion en code python/spark ( afin de remplacer informatica DEI ) La prestation demande donc faire preuve d'autonomie de curiosité et de rigueur pour traiter en toute sécurité de la modernisation de nos solutions de pipeline data ( migrations de workflows informatica ou des implémentations des projets) Ceci avec une approche moderne et industrielle.
Dans le cadre d'un projet Data / Big Data, nous recherchons un Data Engineer confirmé / senior spécialisé en Python et Spark/PySpark, pour intervenir sur une plateforme Cloudera CDP. 🎯 Contexte de la missionVous interviendrez sur des sujets de développement Data Engineering, avec la conception et l'évolution de pipelines de données en environnement Big Data, notamment sur des traitements batch et streaming. 🛠️ MissionsDévelopper des pipelines et traitements Data en Python / Spark / PySpark Concevoir et maintenir des traitements Spark Streaming Participer au développement et à l'intégration de flux de données Intervenir sur une plateforme Cloudera CDP 7.1.9 Travailler avec les différents composants de l'écosystème Big Data Participer aux évolutions et à l'industrialisation des traitements Data Collaborer avec les équipes Data / Back / Infrastructure 💻 Environnement techniqueIndispensables : ⭐ Python ⭐ Apache Spark ⭐ PySpark Expérience significative en Data Engineering Environnement fortement apprécié : Cloudera CDP 7.1.9 Kafka NiFi Kubernetes / K8s Hive Ozone Iceberg Data Virtualization Spark Streaming
CONTEXTE La plateforme repose sur Databricks. L'organisation opère actuellement la migration de ses Data Products vers un nouvel espace de travail gouverné et conçu. Ces données sont exploitées via des agents conversationnels IA. Et mises à disposition d'une communauté grandissante d'analystes techniques et d'Analytics Engineers au sein des métiers qui développent en autonomie sur la plateforme. Les ingénieurs évoluent au sein de petites équipes delivery accompagnées d'un Scrum Master et livrent de manière incrémentale en étroite collaboration avec les parties prenantes métiers. MissionsVous encadrez une équipe de 5 à 7 Data Engineers responsables des capacités socles de la plateforme et des Data Products sur des domaines métiers clés (Commercial, Opérations, Matériel Roulant / Rolling Stock, Relation Client). Votre temps est réparti à parts égales entre le pilotage d'équipe et le leadership technique. A. Leadership d'équipe & Pilotage (~50 %) Management & Coaching : Fixer des attentes claires, accompagner et faire grandir les ingénieurs, et contribuer aux entretiens d'évaluation menés par l'Engineering Manager. Delivery Agile : Collaborer avec l'Engineering Manager, le Scrum Master et les Data Product Owners pour prioriser le backlog, répartir la charge et garantir le respect des engagements. Interface Métiers : Être l'interlocuteur technique référent auprès de vos domaines métiers. Communauté Analytics Engineering : Définir les standards de développement des Analytics Engineers métiers, relire leur code et leurs conceptions, et piloter leur intégration. Recrutement & Onboarding : Conduire les entretiens techniques et assurer l'intégration technique des nouveaux arrivants. B. Leadership technique & Hands-on Engineering (~50 %) Standards d'ingénierie & Run : Définir et faire appliquer les bonnes pratiques de développement, revue de code, tests et CI/CD. Rester actif dans le code, la conception et les revues, tout en portant la responsabilité du MCO (Run) et des coûts (FinOps) des produits de l'équipe. Templates & Industrialisation : Concevoir et maintenir des modèles de projets réutilisables (Databricks Asset Bundles), des bibliothèques partagées et des pipelines CI/CD afin que chaque nouveau Data Product suive un chemin éprouvé. Données : Enrichir les métadonnées et définitions sémantiques, structurer et maintenir les espaces Databricks, et accompagner le passage en production fiable des agents IA data. Outils & EnvironnementDatabricks (Unity Catalog, Delta Lake, DLT/Lakeflow, Genie) Python, PySpark, SQL dbt Azure Méthodes Scrum FinOps sur Databricks Conditions de travailLocalisation : Hybride – 1 jour par semaine sur site (Londres ou Bruxelles) Durée : 12 mois, renouvelable Répartition du rôle : 50 % Leadership humain & pilotage d'équipe | 50 % Leadership technique & Hands-on Positionnement & posture attendueNous recherchons un(e) ingénieur(e) techniquement solide, doté(e) d'une vision claire de l'état de l'art en Data Engineering et du leadership nécessaire pour fédérer les équipes. Vous définissez les standards de qualité, d'architecture et de modélisation des données, tout en instaurant une relation de confiance durable avec les ingénieurs, les partenaires externes et les métiers. Une forte crédibilité technique : Vous restez hands-on sur Databricks, Spark, Python et SQL. Vous savez résoudre les problèmes les plus complexes par vous-même et mener des revues de code avec légitimité. Une vision d'ingénierie affirmée : Vous avez des convictions structurées et argumentées sur la manière de concevoir les plateformes, et vous les traduisez en standards, templates et patterns adoptés par tous. L'exigence sur la qualité, le design et la modélisation : Vous considérez qu'une modélisation rigoureuse est le socle indispensable de Data Products fiables : vous concevez avant de coder. Un leadership fédérateur : Vous échangez avec la même aisance avec les équipes techniques, les prestataires et les décideurs métiers pour orienter les choix et faire monter l'équipe en compétence. Un bâtisseur de fondations : Vous privilégiez la création d'un template réutilisable plutôt que de résoudre dix fois le même problème, en intégrant la sécurité et la préparation à l'IA dès la conception (« by design »). Ce rôle n'est pas adapté si : Vous souhaitez manager uniquement par délégation en vous éloignant du code et de l'architecture. Vous recherchez un poste purement technique sans responsabilité humaine ni animation des parties prenantes.
Vous aimez les pipelines de données qui tournent en production, et les reprendre pour qu'ils tournent mieux ? Rejoignez l'équipe technique Big Data de la banque de financement et d'investissement d'un grand groupe bancaire. L'équipe est transverse : elle construit et fait vivre les traitements de données de cinq domaines métier (risques, financement du commerce international, conformité, finance, ESG), soit une quinzaine d'applications. Le datalake, entièrement Hadoop et hébergé sur les serveurs de la banque, a repris l'ancien entrepôt de données des prêts, lettres de crédit et garanties, dont les chaînes ETL avaient été recopiées telles quelles. La feuille de route 2026-2027 : sortir de l'ETL et réécrire les workflows en code. Vous intervenez sur le périmètre du financement du commerce international (trade finance). Vos principales missions : Développer et optimiser les pipelines de données en PySpark sur la plateforme Hadoop (HDFS, Hive, Iceberg). Analyser les workflows Informatica existants et les réécrire en code, en réutilisant les composants transverses de l'équipe. Rationaliser les traitements pour réduire les coûts d'exploitation et les incidents de production. Préparer l'ordonnancement Control-M avec l'équipe de production applicative. Proposer des évolutions de l'existant : dans la plupart des cas, l'équipe choisit la refonte plutôt que le maintien du legacy. Ce que la mission vous apporte : Un chantier de fond : la sortie d'un ETL au profit du code, sur deux ans. Une plateforme Big Data en production, avec des données bancaires sensibles et des utilisateurs métier exigeants. Une équipe qui attend qu'on remette en cause l'existant et qui décide en conséquence.
Basée à Lille, Lyon, Nantes, Grenoble, Marseille, Paris et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s'imposer comme une référence en matière de freelancing par son expertise dans l'IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un DevOps / Intégrateur Data Senior - Python & PySpark (H/F) à Lyon, France. Les missions attendues par le DevOps / Intégrateur Data Senior - Python & PySpark (H/F) : Vos missions : Construire et optimiser les pipelines CI/CD pour des applications web et des traitements Python / PySpark. Garantir le Maintien en Conditions Opérationnelles (MCO) et l'observabilité (logs, métriques) des produits. Maintenir et faire évoluer l'Infrastructure-as-Code. Administrer les environnements de dev, préprod, prod et les espaces "lab" dédiés aux Data Scientists. Gérer le traitement des vulnérabilités cyber et la montée en version des dépendances. Votre profil : Expérience : Au moins 5 ans en tant que DevOps, dont 2 ans minimum sur des projets Data Science / Machine Learning à fort volume. Stack technique : Kubernetes, Helm, Docker, GitLab CI/CD, Jenkins, Ansible, Python, PySpark, PostgreSQL, Kafka, Hadoop. Savoir-faire : Solides compétences en IaC, sécurité TLS, administration système/VM, réseaux et monitoring. Qualités : Autonomie, proactivité, rigueur et excellente communication pédagogique avec les équipes métiers et techniques. Les modalités : Lieu : Lyon Télétravail : 50 % Durée : Mission longue Démarrage : 1er janvier 2027
Dans le cadre du développement de notre Data Factory, vous intégrerez une équipe en charge de concevoir, déployer et faire évoluer des plateformes Data innovantes, agiles et orientées métier. L'objectif est de développer des produits Data répondant aux besoins concrets des métiers, tout en garantissant leur performance, leur sécurité, leur qualité et leur évolutivité. Vos missionsDéveloppement de produits Data Transformer la donnée brute en données exploitables, notamment sous forme de tables requêtables dans le Data Lake. Consolider et orchestrer les données au fil de leur ingestion. Exploiter les données pour répondre aux enjeux métiers : création de Business Views, réintégration dans le SI, services de scoring, etc. Conception et industrialisation Participer à la conception et à l'évolution du socle technique Data. Développer, automatiser et fiabiliser les pipelines de données. Mettre en place et garantir un processus qualité rigoureux : documentation, tests unitaires et d'intégration, commentaires, versioning. Contribuer à l'amélioration continue des pratiques et des outils de développement Data. Profil recherchéDiplômé(e) d'un Master ou d'une école d'ingénieurs en informatique, sciences ou domaine similaire, avec une spécialisation en Data. 5 ans d'expérience minimum en tant que Data Engineer, idéalement dans un environnement Azure / Databricks. Maîtrise avancée de PySpark / Spark. Expertise de l'environnement Microsoft Azure : Data Factory, Databricks, Data Lake Storage, Azure DevOps, Git et CI/CD. Solide expérience en traitement de données batch et streaming. Bonne maîtrise de SQL et connaissance des bases NoSQL (Cosmos DB, MongoDB…). Bonne connaissance des méthodologies Agile (Scrum, Kanban). Capacité à travailler en collaboration avec des PO, BA, testeurs, architectes et équipes métiers. Qualités recherchéesRigueur et autonomie Esprit d'innovation Bonnes capacités de communication Esprit d'équipe Capacité d'adaptation Sensibilité aux enjeux de qualité et d'industrialisation des données