Trouvez votre prochaine mission ou futur job IT.

Nous recherchons un Data Engineer pour intervenir sur des projets de traitement, d'intégration et de transformation de données. Le profil devra disposer d'une bonne maîtrise de Python, XML et Transact-SQL (T-SQL). MissionsConcevoir et développer des flux de données et des traitements d'intégration. Développer des scripts et traitements en Python pour automatiser et fiabiliser les processus Data. Manipuler et transformer des données au format XML. Développer et optimiser des requêtes et procédures en Transact-SQL (T-SQL). Participer à la mise en place et à l'évolution des pipelines de données. Contrôler la qualité, la cohérence et la fiabilité des données. Identifier et résoudre les problématiques techniques liées aux traitements et aux flux de données. Collaborer avec les équipes Data, IT et Métiers sur les différents projets. Environnement techniquePython, XML, Transact-SQL / T-SQL, SQL Server, ETL, Data Integration, Data Pipelines, traitement de données.

En quelques mots Cherry Pick est à la recherche d'un Data Engineer(H/F), pour le compte de l'un de ses clients qui opère dans le domaine de la mutuelle. Description 🚀 Contexte de la mission Au sein du pôle Data d'un grand groupe, vous intégrez l'équipe Datalake pour accompagner la structuration, l'intégration et l'exploitation à valeur ajoutée des données métiers. En tant qu'Ingénieur / Expert Data Engineer & Décisionnel (H/F), vous agissez en garant de l'accès qualitatif aux sources de données multiples. Vous assurez la maîtrise, la normalisation, le référencement et la qualification des données alimentant le Data Lake pour faciliter leur exploitation par les équipes décisionnelles, Data Analysts et Data Scientists, dans le strict respect de la gouvernance et de la réglementation. 🎯 Missions principales & Rôle 1. Intégration, Modélisation & Alimentation du Data Lake : Concevoir, développer et optimiser les flux d'alimentation et de transformation des données depuis des sources multiples et hétérogènes vers le Data Lake. Développer et maintenir des traitements ETL/ELT performants en s'appuyant sur SQL et la solution d'intégration XDI (Semarchy). Industrialiser et orchestrer les pipelines de données via CloudBees (Jenkins). 2. Qualité de la Donnée & Contrôle (Data Quality) : Assurer la supervision des flux d'intégration et vérifier la conformité des données entrantes (dédoublonnage, nettoyage, contrôle de cohérence et de complétude). Recetter la donnée en profondeur pour garantir des socles fiables et exploitables. Contribuer à la définition des politiques de gouvernance et à la structuration du cycle de vie de la donnée. 3. Documentation, Qualification & Recette : Rédiger les spécifications techniques détaillées des flux et architectures de données. Elaborer les cahiers de recette technique ainsi que les dossiers d'applications associés. Mettre à disposition des dictionnaires de données et documentations pour simplifier l'auto-service de la donnée. 🏁 Objectifs & Livrables Spécifications techniques détaillées des flux d'intégration et des pipelines de données. Cahiers de recette technique et comptes-rendus de qualification des données. Dossiers d'applications et documentations d'architecture/gouvernance data.

Raison d'être du poste : Le Data Integration Engineer intervient en renfort de l'équipe technique pour construire et faire évoluer les flux d'intégration et de diffusion de données de la data platform, dans le cadre de la roadmap V3 pilotée par le Head of Data. Il conçoit et développe les pipelines ETL/ELT ainsi que les API et connecteurs permettant à la plateforme d'exposer et de diffuser les données vers les outils consommateurs de l'écosystème. Il intervient sous la double supervision du volet transformation data (priorités métier) et du volet chef de projet roadmap technique (priorités d'architecture et de delivery). Finalités et Résultats Attendus : 1. Développement des flux d'intégration de données Concevoir, développer et maintenir les pipelines ETL/ELT sur Azure Synapse (et outils associés : Data Factory, éventuellement Fabric/Databricks), en garantissant la fiabilité, la performance et la traçabilité des flux entre systèmes sources et data platform. 2. Développement d'API et de connecteurs Développer des API et connecteurs permettant à la data platform d'exposer et d'envoyer des données vers les autres outils de l'écosystème (BI, applicatifs métier, outils tiers), en respectant les standards d'architecture définis avec le Head of Data. 3. Contribution à la roadmap V3 de la data platform Participer à la mise en œuvre des chantiers techniques de la roadmap V3 (évolution d'architecture, industrialisation des flux, migration ou ajout de briques technologiques), en lien avec le chef de projet roadmap technique. 4. Qualité, fiabilité et documentation Mettre en place des contrôles de qualité et de cohérence sur les flux développés, documenter les logiques de transformation et les spécifications techniques, et contribuer aux bonnes pratiques de développement (Git, CI/CD). 5. Collaboration avec les équipes data et métier Travailler en lien avec les data ingénieurs et les équipes data pour comprendre les besoins d'intégration, remonter les contraintes techniques, et challenger les solutions proposées. Les conditions 📍 Lille 🏢 Présentiel requis durant les 4 premiers mois, puis possibilité de 2 jours de télétravail par semaine. Un poste technique et polyvalent au sein d'une équipe Data, pour un profil qui souhaite travailler à la croisée du développement, de l'intégration et de la Data Platform.

ContexteDans le cadre d'un projet stratégique autour de la gestion des risques climatiques et physiques, notre client recherche un Data Engineer Python / Spark pour contribuer à la mise en place d'une solution permettant d'ingérer, agréger et exposer des données issues de sources multiples afin de produire des reportings métier liés à la surveillance du risque de crédit. La mission s'inscrit au sein d'une équipe experte et engagée, sur un projet à forte visibilité basé sur Google Cloud Platform (GCP). Une expérience dans le domaine du risque de crédit est appréciée. MissionsConcevoir et développer des solutions Data en Python / Spark. Participer à l'intégration de données provenant de sources multiples. Exploiter les services Data & Compute de Google Cloud Platform. Contribuer à l'ingestion, l'agrégation et l'exposition des données. Participer à la mise en œuvre et à l'évolution des pipelines Data. Collaborer avec les équipes techniques et métier du projet. Contribuer aux pratiques DevOps et à l'industrialisation des solutions. Profil recherchéExpertise technique indispensable : Python / Spark BigQuery Dataproc Cloud Composer Cloud Functions Cloud Run Jobs Google Cloud Storage (GCS) DevOpsXL Deploy (XLD) Terraform Jenkins

Dans le cadre du renforcement d'une équipe de Gestion Courante Décisionnelle / Datalake, notre client recherche un Data Engineer / Développeur Big Data Spark Scala expérimenté, capable d'intervenir sur des traitements critiques en production et de contribuer au maintien de la qualité de service. L'environnement repose sur une architecture Big Data collectant les données de plusieurs back-offices, avec un Datalake et une alimentation d'un Datawarehouse sur environnement Exadata. Vos missionsVous interviendrez principalement sur le RUN et la maintenance applicative des traitements décisionnels : Assurer le suivi quotidien des traitements Spark / Scala Analyser et corriger les incidents applicatifs et fonctionnels Réaliser, lorsque nécessaire, les reprises de données associées aux incidents Développer et mettre en œuvre les évolutions confiées Réaliser les tests des corrections et nouveaux développements Participer aux mises en production Maintenir à jour la documentation technique et fonctionnelle Mettre à jour les outils de suivi de l'équipe Rendre compte de l'avancement et des incidents au chef de projet

Dans le cadre du développement de notre Data Factory, vous intégrerez une équipe en charge de concevoir, déployer et faire évoluer des plateformes Data innovantes, agiles et orientées métier. L'objectif est de développer des produits Data répondant aux besoins concrets des métiers, tout en garantissant leur performance, leur sécurité, leur qualité et leur évolutivité. Vos missionsDéveloppement de produits Data Transformer la donnée brute en données exploitables, notamment sous forme de tables requêtables dans le Data Lake. Consolider et orchestrer les données au fil de leur ingestion. Exploiter les données pour répondre aux enjeux métiers : création de Business Views, réintégration dans le SI, services de scoring, etc. Conception et industrialisation Participer à la conception et à l'évolution du socle technique Data. Développer, automatiser et fiabiliser les pipelines de données. Mettre en place et garantir un processus qualité rigoureux : documentation, tests unitaires et d'intégration, commentaires, versioning. Contribuer à l'amélioration continue des pratiques et des outils de développement Data. Profil recherchéDiplômé(e) d'un Master ou d'une école d'ingénieurs en informatique, sciences ou domaine similaire, avec une spécialisation en Data. 5 ans d'expérience minimum en tant que Data Engineer, idéalement dans un environnement Azure / Databricks. Maîtrise avancée de PySpark / Spark. Expertise de l'environnement Microsoft Azure : Data Factory, Databricks, Data Lake Storage, Azure DevOps, Git et CI/CD. Solide expérience en traitement de données batch et streaming. Bonne maîtrise de SQL et connaissance des bases NoSQL (Cosmos DB, MongoDB…). Bonne connaissance des méthodologies Agile (Scrum, Kanban). Capacité à travailler en collaboration avec des PO, BA, testeurs, architectes et équipes métiers. Qualités recherchéesRigueur et autonomie Esprit d'innovation Bonnes capacités de communication Esprit d'équipe Capacité d'adaptation Sensibilité aux enjeux de qualité et d'industrialisation des données

Positionné au sein de la DSI de l'entreprise, le Data Engineer intègrera l'équipe Conso Data qui traite les données de consommation des clients afin de les exposer sur les canaux digitaux. Il devra : - Être force de proposition et participer à la conception des solutions techniques en collaboration avec les membres de l'équipe. - Comprendre les enjeux métiers afin de concevoir des solutions répondant aux besoins fonctionnels. - Participer aux cérémonies Agile SAFe (PI Planning, macro-chiffrage, refinements, rétrospectives, etc.). - Concevoir et faire évoluer les architectures de données basées sur l'approche Databricks Medallion Architecture (Bronze, Silver, Gold). - Garantir la qualité, la fiabilité et la performance des traitements de données en production. (Jobs Databricks et APIs) - Contribuer à l'amélioration continue de la plateforme en proposant des optimisations techniques, des bonnes pratiques et des innovations. Il sera notamment amené à : - Concevoir, développer et maintenir des pipelines de données (ETL) pour les flux d'intégration et les flux métiers. - Mettre en œuvre et orchestrer les traitements de données à l'aide des outils Databricks. - Modéliser les données dans les tables Delta Lake en appliquant les bonnes pratiques de partitionnement, indexation, optimisation et gouvernance. - Optimiser les performances des traitements Databricks (Spark, Delta Lake, gestion des coûts et du temps d'exécution). - Assurer le développement, les tests et le déploiement des composants techniques via des processus CI/CD. - Concevoir, développer et maintenir des APIs permettant l'exposition et la consommation des données. - Mettre en place des mécanismes de contrôle qualité des données (Data Quality), de monitoring et d'alerting. - Identifier, analyser et résoudre les incidents de production tout en assurant le suivi des actions correctives. - Rédiger et maintenir la documentation technique des solutions mises en œuvre. - Accompagner les équipes dans l'adoption des bonnes pratiques Data Engineering Environnement Technique : - Python, SQL - Spark, PySpark, DBUtils - FastApi, Pytest - Databricks, Unity Catalog - Ariflow (migration vers Databricks Workflow) - AWS (Lambda, secrect manager, Bucket S3, ECS) - Git et gestion du versioning - Déploiement pipeline CI/CD

Contexte et objectifL'organisation a structure sa plateforme data sur Databricks et souhaite accelerer la mise en production de cas d'usage GenAI, agents IA, systemes multi-agents et agentic retrieval. Le profil intervient de la preparation des donnees jusqu'au deploiement, a l'evaluation et au monitoring en production. Missions principales· Concevoir des cas d'usage IA avec les parties prenantes metier et IS. · Construire les strategies de context engineering et knowledge grounding. · Developper des agents et systemes multi-agents avec tool calling et MCP. · Concevoir les pipelines data : ingestion, preparation, chunking, embeddings et vector indexes. · Industrialiser via LLMOps : evaluation, MLflow, CI/CD, deploiement et monitoring qualite / latence / couts. · Appliquer gouvernance Data & AI, securite, confidentialite et maitrise des couts by design.

Dans le cadre du développement d'une application de génération de QCM assistée par l'IA, rattachée à Pronote, notre client recherche un Data Engineer / InfraOps pour une mission d'environ 3 mois. L'objectif est d'anticiper et de traiter les enjeux de scalabilité, de performance et de disponibilité de l'application, dans un environnement souverain soumis à de fortes exigences de conformité. Missions principales :Mettre en œuvre les mécanismes de scalabilité de l'application et la gestion des files d'attente avec TaskIQ. Paramétrer les tests de charge et gérer le load balancing. Concevoir l'architecture de sauvegarde et de réplication sur deux datacenters. Mettre en place le monitoring et la gestion des logs en coordination avec les équipes métier et applicatives. Contribuer à l'amélioration de la performance et de la disponibilité de l'infrastructure. Participer, en complément, à l'installation des modèles d'IA sur l'infrastructure dédiée. Livrables attendus :Mécanismes de scalabilité et de gestion des files d'attente opérationnels. Tests de charge configurés et résultats analysés. Dispositifs de load balancing et de réplication entre deux datacenters. Monitoring et gestion des logs opérationnels. Recommandations techniques pour garantir la performance et la disponibilité de l'application.

Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par le développement et le traitement des données, capable de s'adapter à un environnement dynamique et en constante évolution, le candidat doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. Les tâches suivantes seront confiées au consultant : Mettre en œuvre de nouvelles ingestions de données, data prep/transformation Maintenir et faire évoluer nos outils de gestion des pipelines de données (Pyspark + shell scripting) Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme

Missions Mise en place de pipelines d'ingestion des données cliniques depuis les systèmes on-premise vers GCP (Python, GCS, BigQuery, Argo Workflows, Docker, GKE). Transformation des données via dbt selon les modèles métiers définis. Gestion de l'infrastructure cloud de la plateforme data (création des ressources, gestion des accès) avec Terraform. Orchestration et automatisation des workflows de données sur GKE via Argo Workflows. Développement du backend d'un portail utilisateur pour l'accès aux services de la plateforme (Flask). Création d'un connecteur entre GCP et l'outil de dictionnaire des données pour la remontée et la restitution des métadonnées (Python, DataGalaxy). Développement, maintenance des chaînes CI/CD (Git, Gitlab CI/CD). Mise en place de la supervision et du monitoring des pipelines de données. Rédaction de la documentation technique liée aux développements réalisés. Environnement techniqueGCP, GKE, Argo Workflows, BigQuery, Cloud Run, Cloud Functions, Pub/Sub, Cloud Storage Python, Terraform, Docker, Kubernetes, SQL, Git, Gitlab CI/CD, Bash

Nous recherchons un Data Engineer pour rejoindre une équipe dédiée à la construction et à l'évolution d'une plateforme Data alimentant des produits et services à forte volumétrie. Au sein d'une équipe pluridisciplinaire composée de Data Engineers, développeurs, DevOps, Scrum Masters et Product Owners, vous évoluerez dans un environnement Agile / Scrum. Vos missionsConcevoir, développer et maintenir des pipelines de traitement de données avec Apache Spark. Modéliser et faire évoluer des tables Apache Iceberg sur Amazon S3, en garantissant performance, évolutivité et gouvernance. Fiabiliser et industrialiser les flux de données afin de garantir leur fraîcheur, cohérence et disponibilité. Mettre en place des contrôles de qualité des données : complétude, unicité, fraîcheur, cohérence et traçabilité. Développer des traitements robustes et résilients : rejouabilité, gestion des erreurs, retries, backfill et gestion des données en retard. Mettre en place le monitoring et l'observabilité des pipelines : métriques, logs, dashboards et alertes. Participer aux phases de tests : tests unitaires, intégration, qualité des données, performance et montée en charge. Documenter les pipelines, modèles de données, procédures d'exploitation et choix techniques. Participer aux pratiques de CI/CD et aux revues de code. Environnement techniqueApache Spark – Apache Iceberg – AWS – Amazon S3 – Python et/ou Scala – SQL – Git – CI/CD – Monitoring & Alerting Profil recherchéFormation supérieure en informatique, Data ou ingénierie. Première expérience en Data Engineering. Bonne maîtrise de Spark et SQL. Expérience en Python ou Scala appréciée. Bonne connaissance des architectures Data sur AWS, notamment S3. Connaissance d'Iceberg ou de technologies de tables/stockage analytiques similaires. Sensibilité aux enjeux de qualité des données, résilience et observabilité. Autonomie, curiosité, esprit d'équipe et intérêt pour les environnements techniques modernes.

Data Engineer GCPLe consultant idéal devra posséder les compétences suivantes : • Excellente maîtrise de la plateforme GCP, et autres outils de notre stack technique : BigQuery, cloud storage, SQL, Python orienté objet, Pandas et /ou Dask, bash scripting, GIT • Connaissances et expériences avec des outils complémentaires suivants seraient des atouts appréciables : Cloud functions, SAS, Alteryx, XLD/XLR, ControlM, Hadoop, Spark • Maîtrise de l'anglais, tant à l'écrit qu'à l'oral, pour faciliter les échanges avec nos interlocuteurs basés à Porto, qui représentent une part importante de notre équipe IT. • Expérience dans des environnements agiles, en particulier avec la méthodologie SCRUM. • Capacité à rédiger des spécifications techniques claires et précises. • Dynamisme, excellent relationnel et capacité à travailler en équipe. • Force de proposition et curiosité technique pour explorer de nouvelles solutions et technologies. Au sein du département IT de la DSI Groupe, l'équipe data a pour vocation de fournir aux différentes entités, l'ensemble des applications nécessaires à leur fonctionnement. Nous recherchons un profil Data Engineer GCP qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les demandes métier sur le projet DatOps. Passionné par le développement et le traitement des données, capable de s'adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. Les tâches suivantes seront confiées au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipelines de données => quel outil utilisé ?? • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme Expected skillsSkillsSkill level HADOOP Confirmed SQL Confirmed GCP Confirmed Google Cloud Storage Advanced Spark Advanced BIGQUERY Confirmed Pandas Advanced GIT Advanced Python Advanced

Vous aimez les plateformes de données qui tournent vraiment en production ? Rejoignez l'équipe qui fait vivre le datalake des fonctions Technologies & Opérations d'un grand groupe bancaire. La DSI fournit aux directions technologiques, aux opérations et à la banque de proximité les applications et les données dont elles ont besoin au quotidien. Le datalake Hadoop en est une pièce centrale : il alimente le pilotage et les usages analytiques de plusieurs directions. Vous intervenez en lien direct avec la production applicative et l'équipe DevOps, au sein d'une équipe IT internationale. Vos principales missions : Concevoir et mettre en production de nouvelles ingestions de données : collecte, préparation, transformation. Maintenir et faire évoluer les outils de gestion des pipelines de données (PySpark, shell scripting). Porter auprès de l'équipe DevOps les évolutions nécessaires de la plateforme. Rédiger des spécifications techniques claires et exploitables par l'équipe. Ce que la mission vous apporte : Un datalake en production, avec de vrais volumes et de vrais utilisateurs métier. Une équipe internationale : l'anglais est utilisé au quotidien. Une ouverture vers le cloud (GCP / BigQuery) pour qui veut élargir sa stack. Environnement technique : Hadoop, PySpark, Spark, Hive, Python, SQL, Git, Jenkins, Jira, Unix / Linux — Scrum.

Contexte La mission vient dans le contexte d'un projet de gestion (Build + Run) d'une plateforme data sur GCP pour les données de l'entreprise. Interlocuteurs : Directeur Data, Data Analysts, Data Engineers, Data Scientists, Product Owners, Équipe Métier. Missions Mise en place de pipelines d'ingestion des données cliniques depuis les systèmes on-premise vers GCP (Python, GCS, BigQuery, Argo Workflows, Docker, GKE). Transformation des données via dbt selon les modèles métiers définis. Gestion de l'infrastructure cloud de la plateforme data (création des ressources, gestion des accès) avec Terraform. Orchestration et automatisation des workflows de données sur GKE via Argo Workflows. Développement du backend d'un portail utilisateur pour l'accès aux services de la plateforme (Flask). Création d'un connecteur entre GCP et l'outil de dictionnaire des données pour la remontée et la restitution des métadonnées (Python, DataGalaxy). Développement, maintenance des chaînes CI/CD (Git, Gitlab CI/CD). Mise en place de la supervision et du monitoring des pipelines de données. Rédaction de la documentation technique liée aux développements réalisés.