Trouvez votre prochaine mission ou futur job IT.

Data Engineer AWS (S3, Glue, Athena, Python) 5 à 10 ans Anglais obligatoire Compétences recherchées : Data Engineer AWS (S3, Glue, Athena, Python) Tâches à traiter : Understanding of scientific data in the pharma CMC space Requirements clarification with stakeholders, effort estimation for PI planning Good knowledge of Lean & Agile practices AWS data engineering: S3, Glue (Jobs/Workflows), Athena ETL/ELT development: Python, Glue ETL, schema evolution, partitioning Data modeling: harmonized domain models, star/snowflake schemas, metadata management SQL optimization: Athena performance tuning, cost-aware query design, partition/pruning strategies Testing and quality: unit/integration tests for pipelines, DQ frameworks Documentation and KT: runbooks, architecture diagrams, KT planning and execution Migration experience: parallel-run strategy, cutover planning, backfill, data reconciliation

Nous recherchons un(e) Data Engineer spécialisé(e) sur Google Cloud Platform (GCP) pour renforcer l'équipe Data de notre client Vous serez chargé(e) de concevoir, développer et maintenir des pipelines de données performants et fiables, afin de structurer et valoriser les données de l’entreprise. Votre rôle sera central dans la mise en place d’une infrastructure data moderne et évolutive, au service des équipes métiers, Data Science et BI. Concevoir, développer et maintenir des pipelines de données sur GCP (Dataflow, Dataproc, Cloud Composer, etc.) Mettre en place et administrer des data lakes et data warehouses (BigQuery, Cloud Storage) Intégrer des flux de données provenant de sources variées (API, streaming, batch) Participer à la modélisation et à la gouvernance des données Automatiser les déploiements et superviser les environnements (Terraform, CI/CD) Collaborer avec les équipes Data Science, BI et Produit Garantir la qualité, la sécurité et la conformité des données (RGPD, bonnes pratiques GCP)

Data Engineer Spark/Scala Au sein de la DSI Finance de la DSI, le poste recherché porte sur le besoin d’un Data Engineer Spark/Scala confirmé (5-6 ans d’expérience). Objectifs et livrables Objectifs Le prestataire intégrera le projet d’intégration en coordination avec le chantier assiette comptable de référence en tant que Data Engineer. Les développements sur ce chantier s’appuient sur la plateforme Datalake Finance, basée sur la distribution Hadoop HortonWorks qui collecte les données des différents systèmes de synthèse afin de répondre aux nouveaux besoins de reporting Finances & Risques (COREP, calcul RWA, IFRS9, etc.…) Les tâches seront les suivantes : • la mission consistera à prendre part aux développements, au sein du datalake pour acquérir les nouvelles sources de données, les assemblées et les distribuées aux consommateurs, tout en étant garant de la pérennité et la non-régression de l’outillage déjà en place • Vous participerez à la conception et à l’implémentation de ce projet et serez amené, à ce titre, à travailler en méthode Agile avec de nombreux acteurs métiers et les équipes de maintenance Compétences techniques o Expérience dans la mise en œuvre de technologies et frameworks Big Data et NoSQL (Hadoop, Kafka, Spark, Scala, Hive, SolR, HBase, Kerberos) o Spark / Scala : confirmé o A l'aise avec le programmation fonctionnelle (connaissance des librairies ZIO, MONIX, CATS appréciée) o Expérience de travail dans un environnement Agile ; avec outils et méthodologies associés (Confluence, Jira, Scrum, Kanban) Compétences demandées Compétences Niveau de compétence Apache Kafka Avancé Apache Hadoop Confirmé Apache Hive Avancé SCALA Confirmé Spark Confirmé

Bonjour, Pour le compte de mon client, nous recherchons un data engineer. L’équipe de BUILD (qui gère les données du socle relation client et du socle connaissance client. Cette équipe est en charge de mettre à disposition des données en fraicheur pour deux équipes business. Le Data Ingénieur sera intégré dans une équipe Marketing d’une dizaine de personnes. La ressource doit accompagner la direction dans la réalisation des outils BI et analyses ad hoc pour leur permettre la réalisation de leurs usages. La mission se décompose en deux volets : 1. DIR DATA : Apporter un appui à la capacité à faire de l’équipe BUILD du projet et d’épauler la capacité à faire des métiers sur des montées de versions de leurs produits data métiers. Contexte de migration des projets métiers data basé actuellement sur Synapse vers Unity Catalog (Databricks). 2. DIR MKT : L'objectif de la mission est de permettre à la direction de piloter les offres par la réalisation d'analyse et la construction de tableaux de bord. Les indicateurs mis en visibilité permettront à la direction de suivre l'adoption des offres et services et de prendre les décisions stratégiques. Actiivités du poste : Partie direction Data Participation active à l’appui des équipes métiers lors de la migration vers Unity Catalog / suppression de synapse. Appui aux métiers pour assurer la MCO de leurs produits data métiers Participation active à l’équipe de développement BUILD du projet et aux phases de recette et de validation sur les différentes livraisons des traitements de données en lien avec l’équipe de build projet. - Participation ponctuelle aux analyses d’écarts et à l’identification des causes racines sur des problèmes de qualité et incohérences de données remontées via les clients auprès de la Relation Client, l’équipe RGPD ou par d’autres canaux internes (ex : incohérences sur les dates de naissance, doublons de clients, de segments de voyages, problèmes de référentiels, etc.) - Participation ponctuelle à la construction et évolutions sur des tableaux de bord Power BI en lien avec les besoins de monitoring de la donnée des socles sous responsabilité de la direction Data . Partie Direction MKT : Construction et maintien de tableaux de bord : Élaboration et implémentation de modèles de données optimisés pour les tableaux de bord Construction du tableau de bord Validation de la conformité et de la fiabilité des données présentées dans les tableaux de bord Traitements de données Développement et maintien d’indicateurs Optimisation des performances des traitements de données Interne Automatisation de la chaine de traitements des données depuis le socle Data TGV-IC ou d'autres sources Supervision de la chaine de traitements Réalisation d’analyse Réalisation d'extractions et analyses data ad hoc pour répondre aux besoins spécifiques des métiers Actions de gouvernance de la donnée Catalogage de la donnée : Documentation des dictionnaires de données, du lineage et des produits data business Suivi de la qualité des données Mise en place d’un outil de supervision de la qualité des données Identification des anomalies et investigations

Nous recherchons un Data Engineer pour intervenir sur un projet stratégique d’intégration et de valorisation de données au sein d’un environnement Cloud moderne. Le consultant interviendra sur la création, l’optimisation et la maintenance de pipelines data entre plusieurs plateformes internes, avec un fort niveau d’autonomie technique. Concevoir, développer et maintenir des flux de données entre différentes sources (API REST, Cloud, bases SQL). Mettre en place des traitements d’ingestion, transformation, normalisation et contrôle qualité des données. Développer et optimiser des pipelines dans GCP / BigQuery . Construire et maintenir des jobs Talend pour l’intégration et l’automatisation des traitements. Automatiser et industrialiser les workflows via des scripts Shell / Bash . Contribuer à la création et à l’optimisation de dashboards Power BI (KPI, dataviz). Garantir la qualité, la performance et la conformité des données. Documenter les flux, rédiger les spécifications et collaborer avec les équipes métiers et techniques. Versionner les développements via GitLab et respecter les bonnes pratiques CI/CD.

Notre client migre ses flux ETL d’Informatica vers Microsoft Fabric pour ses besoins en data ingestion et analytics. Le projet concerne principalement le domaine Finance, avec un modèle pivot centralisant contrats, positions, instruments de couverture, flux futurs, contreparties et données de marché. Environnement technique : * ESB (Software AG), * ETL (Informatica), * Data Platform (Fabric/Power BI) Mission En tant que Tech Lead Data, vous serez responsable de : * Définir les standards techniques (Fabric, Spark, Python) et bonnes pratiques de développement. * Piloter la migration des flux Informatica vers Fabric : * Évaluer l’existant (flux, modèles pivots, dépendances). * Concevoir le framework d’ingestion/transformation (Spark, Notebooks). * Mettre en place la CI/CD (Azure DevOps/GitHub). * Assurer le monitoring et la qualité des données. * Encadrer une équipe de 3 Data Engineers (mentorat, optimisation des performances). * Collaborer avec les équipes métiers (Finance/Risque) et l’architecture IT.

Data Engineer / MLops expérimenté ou sénior Lyon (2 jours TT) Python, Pydantic, PymuPDF Compétences attendues : Pipeline de données et de machine learning Compétences en programmation (Python, Pydantic, PymuPDF) Compétences sur les services d’IA d’AWS (sagemaker) et des services AWS (StepFunction, Lambda, SQS, CloudWatch, Textract…) Compétences en computer Vision par réseaux de neurones Outils de DevOps et de Cloud Computing (Terraform) Processus CI / CD Outils d’automatisation Méthodologies agiles (Jira, Confluence, Kanban, Scrum…) Connaissance des principaux LLM dont les modèles Gemini Compétences en optimisation sous contraintes et connaissance d’outils comme ORTools Localisation de la mission : Lyon 2 jours de présence sur site Date de démarrage : Début janvier Minimum 3 ans d’expérience Profils expérimentés (3 à 7 ans d’expérience) Profils senior (7 ans et +) Missions : Détection d’opportunités IA/ML et contribution à des preuves de concept (POC) (Identifier et analyser des opportunités IA/ML, concevoir et documenter des POC fonctionnels, puis présenter et évaluer leur valeur métier et robustesse auprès des parties prenantes.) Développement de fonctionnalités de Machine Learning et d'IA (Concevoir et valider l’architecture SI, collaborer avec l’équipe produit pour intégrer des fonctionnalités IA/ML, livrer des incréments industrialisables et contribuer à la documentation technique et produit.) Industrialisation et standardisation des pratiques IA / MLOps (Intégrer et déployer des modèles IA avec des formats standard, optimiser leur performance et coût, assurer le monitoring et les mises à jour, contribuer aux pratiques MLOps et réaliser une veille technologique en ML/IA.)

Au sein de la DSI Finance, vous interviendrez en tant que Data Engineer Spark / Scala confirmé sur le projet d’intégration du Datalake Finance, adossé à la distribution Hadoop HortonWorks. Ce datalake centralise les données issues des systèmes comptables et de synthèse afin de répondre aux besoins de reporting Finances & Risques (COREP, RWA, IFRS9, etc.). Missions principales : -Participer au développement et à l’intégration de nouvelles sources de données au sein du Datalake Finance. -Assembler et distribuer les données aux consommateurs métiers tout en garantissant la pérennité et la performance des pipelines existants. -Contribuer à la conception technique, l’implémentation et les tests des flux sous Spark / Scala. -Veiller à la non-régression et à la qualité du code dans le cadre des évolutions du socle. -Travailler en méthodologie Agile (Scrum / Kanban) avec les équipes métiers, data et maintenance. -Participer à la documentation technique et aux revues de code. Profil recherché : -5 à 6 ans d’expérience en environnement Big Data / Datalake. -Solide maîtrise de Spark / Scala et des paradigmes de programmation fonctionnelle (ZIO, Monix, Cats appréciés). -Connaissance des écosystèmes Hadoop, Hive, Kafka, HBase, Kerberos. -Expérience dans un cadre Agile (Scrum / Kanban) et outils associés (Jira, Confluence). -Esprit analytique, autonomie, rigueur et bon relationnel.

Contexte de la mission : Viveris pilote les chantiers de transformation métier et IT qui contribuent à la performance des entreprises bancaires. Dans ce cadre, nous recherchons notre Data Engineer qui contribuera à un programme important d'évolution de la plateforme Data. Vos missions et responsabilités : - Analyser les besoins métiers et les traduire en solutions BI pertinentes et durables ; - Modéliser les données en cohérence avec les objectifs fonctionnels et les bonnes pratiques décisionnelles ; - Créer et maintenir les flux de données via des outils ETL, en assurant leur qualité, robustesse et performance ; - Participer à la recette et au suivi de production des chaînes décisionnelles, en lien étroit avec les utilisateurs ; - Assurer un rôle transverse sur les projets décisionnels : échange avec les MOA, rédaction de spécifications fonctionnelles, accompagnement des utilisateurs.

Mission Temps plein Localisation Lille ou Paris Télétravail : partiel ou full avec quelques déplacements sur Lille Durée 2 mois renouvelable Explications de la Mission Afin de poursuivre l'activité de qualification des BDD en copro et pour mieux prévoir les priorités d'action commerciales, nous avons besoin d'une ressource Data pour effectuer : Le croisement des différentes bases de données en notre possession et en open data disponible Créer une base de données contenant les priorités d'action commerciale "Googeliser" les résidences des BDD nationales Identifier les étiquettes énergétiques (avec GORENOV2) Construire une fiche d'identité par résidence Livrables Attendus Une base de données fusionnée "Googelisation" des BDD Cartographie Objectifs de la Mission Le but de la mission est de pouvoir, à partir du fichier source existant, collecter des données en masses google, afin de pouvoir croiser les données et définir des cibles pour les commerciaux. L'objectif est d'automatiser et industrialiser les outils, afin de sortir d'un traitement manuel.

Vous êtes un ingénieur de données expérimenté, spécialisé dans l'IA générique et Python ? emagine vous offre l'opportunité de rejoindre une équipe dirigée par emagine qui fournit des solutions basées sur l'IA dans un environnement bancaire international. Are you an experienced Data Engineer with expertise in Gen AI and Python? emagine has an opportunity for you to join an emagine-led team delivering AI-driven solutions within a global banking environment. You will play a key role in building on-prem AI tools that process and model large volumes of unstructured data from sources such as legal documents and financial policies. This is a hands-on role requiring strong technical skills and the ability to design efficient data pipelines for Gen AI applications. Main Responsibilities Design and implement data ingestion pipelines for structured and unstructured data. Apply techniques such as vectorization and chunking to prepare data for LLM-based solutions. Develop Python-based tools for large-scale data processing and storage manipulation. Collaborate with Data Scientists and Business Analysts to ensure data readiness for AI models. Key Requirements 5+ years of experience as a Data Engineer in complex environments. Strong expertise in Python and experience with data modelling for AI applications. Familiarity with vectorization, chunking, and handling large datasets. Knowledge of tools such as PySpark, MongoDB, graph databases, SparkleDP. Self-driven, proactive, and comfortable working in a fast-paced environment. Fluent in English Nice to Have Exposure to legal or procedure-focused applications. Other Details: This position is Hybrid – on-site minimum 3 days per week in Paris 8th arrondissement . Apply with your latest CV or reach out to Brendan to find out more.

Dans le cadre d'un projet ambitieux de transformation digitale, notre entreprise spécialisée dans les technologies de l'information et des télécommunications, située à Lille, cherche à renforcer son équipe avec deux Data Engineers experts. Notre mission : offrir des solutions robustes et évolutives basées sur Microsoft Fabric pour répondre aux besoins stratégiques de nos clients. Vous rejoindrez une équipe dynamique et collaborative, composée de Data Analysts et de spécialistes IT, où votre expertise sera cruciale pour la réussite de projets multicanaux et l'intégration de données complexes. Dans cette mission critique, vous serez un maillon essentiel de notre département Data Operations, travaillant sur des projets à fort impact business. Urgent : un Data Analyst doit rejoindre nos équipes sous 2 semaines, et le staffing global est prévu pour décembre, en vue de démarrer les lots en janvier pour une durée de 6 mois renouvelables, jusqu'à 12 mois selon l'évolution des projets. Missions - Implémenter et optimiser les composants Microsoft Fabric pour répondre à des cas d’usage prioritaires. - Concevoir et industrialiser des pipelines ETL/ELT, APIs et modèles de données avancés. - Assurer l'observabilité, la qualité des données, les tests rigoureux, ainsi que la mise en place des pratiques CI/CD. - Optimisation des coûts/performance, renforcer les aspects sécurité et conformité. - Assurer une collaboration étroite et efficace avec les Data Analysts et les équipes métiers.

• Au moins 3 ans d’expérience en tant que Data Ingénieur dans un environnement data • Compétences solides en data : structures de données, code, architecture • Expériences dans la conception et la réalisation de pipelines data • Expériences dans un environnement du cloud Google (GCP) • Expériences intégrant BigQuery • Expériences intégrant les langages Python et SQL • Expériences intégrant PySpark • Expériences intégrant Terraform et Terragrunt • Expériences intégrant Gitlab et Gitlab CI/CD • Expériences intégrant les méthodologies Agile : Scrum ou Kanban • Capacité à vulgariser et à communiquer sur des aspects purement techniques 1 . Déployer les cas d’usages en lien avec la personnalisation de l’expérience utilisateur 2. Accompagner les utilisateurs dans leurs usages 3. Mettre en place le contrôle qualité sur ces datasets

Contexte : Notre client, un grand groupe du secteur retail, déploie une plateforme Dataiku pour industrialiser la préparation et le scoring de ses modèles analytiques. Missions : Concevoir et maintenir des pipelines Dataiku Automatiser les processus de traitement et de scoring des données Garantir la qualité et la traçabilité des datasets Travailler en lien étroit avec les Data Scientists et les équipes métier Stack technique : Dataiku, Python, SQL, Airflow, Git, Docker, AWS S3 Profil recherché : Expérience confirmée sur Dataiku (projets réels en prod) Bon niveau en Python / SQL Capacité à travailler en mode agile, avec un fort sens de la communication

Data Engineer - Collecter, analyser et exploiter les données disponibles et pertinentes pour améliorer le pilotage des activités et identifier les leviers de création de valeur pour l'entreprise. - Aide aux équipes métier à développer, déployer et opérer les solutions pour permettre d’atteindre leurs objectifs. Principaux résultats attendus : • Les données pertinentes pour répondre aux besoins des utilisateurs sont identifiées, capturées et choisies • Le temps et les ressources/outils nécessaires à la gestion et à l'analyse des données sont optimisées. • Les données sont analysées et partagées dans un format accessible à tous grâce à des visualisations de données • Les activités métier disposent des lignes guides et recommandations pour créer de la valeur • Les offres, services ou processus de l'entreprise sont optimisés grâce aux connaissances acquises par l'analyse et l'évaluation des données • Les prescriptions du groupe en matière d'éthique et de gouvernance des données sont appliquées et respectées. • Présentation des fonctionnalités du ou des « produits » pour les promouvoir et pour faciliter la maintenance dans la durée • Résultats de tests conforme à la stratégie de test • Catalogue des produits data (dataset) à jour • Kit de formation et outils pour les utilisateurs Compétences fondamentales en Data Engineering : • Modélisation de données : conception de modèles relationnels, dimensionnels et Data Vault • ETL / ELT : conception et optimisation de pipelines robustes, gestion des dépendances • Qualité & gouvernance des données : data lineage, data quality checks, catalogage, gestion des métadonnées • Architecture data : compréhension des patterns modernes (Data Lakehouse, Data Mesh, etc.)

Contexte : Notre client, un acteur majeur du secteur énergie, renforce son pôle Data Platform dans le cadre de la modernisation de ses pipelines de données sur Azure. Missions : · Développer et maintenir des pipelines de données sur Azure Data Factory et Databricks · Assurer la qualité, la fiabilité et la performance des flux · Participer à la migration vers une architecture Cloud · Collaborer avec les équipes DataOps et Data Science Stack technique : · Azure Data Factory, Databricks, PySpark, SQL, Delta Lake, Git, CI/CD · Environnement Agile / DevOps Profil recherché : · 4+ ans d’expérience en Data Engineering · Bonne maîtrise des environnements Azure / Databricks · Esprit analytique, autonome et orienté delivery