Trouvez votre prochaine mission ou futur job IT.

Contexte du projet Notre client dans le secteur de l'energie, dans sa stratégie de transformation data-driven , souhaite exploiter pleinement ses données pour : proposer de nouvelles offres, réduire les risques opérationnels, accroître l’efficacité des équipes. Le projet One Pulse vise à centraliser et harmoniser les indicateurs clés liés aux activités d’approvisionnement dans différents pays. Objectif : mettre en place une plateforme Big Data robuste et scalable permettant de collecter, traiter et diffuser les données de manière cohérente et sécurisée à travers le groupe. Objectif de la mission Développer une plateforme basée sur des technologies Big Data et Cloud (AWS) pour : capturer et traiter des volumes importants de données, normaliser et exposer des indicateurs multi-pays, garantir la conformité avec les guidelines techniques et d’architecture, améliorer les frameworks communs (CI/CD, tests, monitoring, performance, qualité de code, etc.). Activités principales Collecter et challenger les besoins métiers. Concevoir des solutions conformes aux guidelines d’architecture. Participer au développement et à la maintenance du code (Python, API, Big Data). Optimiser la performance, la qualité et la robustesse des solutions. Rédiger la documentation technique en anglais. Mettre en place des outils de monitoring et d’alerting. Contribuer à la phase de production et à l’amélioration continue. Compétences attendues Techniques (2 à 3 compétences maîtrisées minimum) : CompétenceNiveau attendu: Python / API (Software engineering)Big Data ingestion (S3, Medaillon architecture)Big Data patterns (lambda, partitioning, bucketing…)AWS Fonctionnelles : Proactivité et autonomie, Leadership technique (capacité à guider d’autres devs), Sens de la qualité et du delivery, Rigueur, communication claire, Anglais courant. Livrables attendus Conception, développement et documentation technique, Rapports d’avancement et dashboards de suivi, Plan de monitoring et correction d’anomalies, Code source, spécifications techniques et fonctionnelles, Plan de réversibilité et continuité de service. Profil recherché Un Data Engineer expérimenté (3 à 6 ans d’expérience) capable d’évoluer dans un environnement Big Data international et complexe, avec une bonne culture logicielle et une maîtrise de Python et des architectures data sur cloud (idéalement AWS).

Rejoignez une équipe internationale dans le secteur de l'assurance/réassurance, au sein d’un environnement technique stimulant. Vous serez en charge de la conception et de la mise en œuvre de solutions de données avancées en utilisant des technologies modernes comme Databricks et Palantir Foundry . Le rôle implique une collaboration étroite avec des équipes produit pour développer des pipelines de données, services et APIs performants. Collecter et analyser les besoins métiers pour répondre aux exigences fonctionnelles et techniques. Concevoir, développer et maintenir des artefacts de données (pipelines, services, APIs) basés sur les meilleures pratiques. Implémenter des cas d’usage liés à l’analyse de données, à l’exploration BI et au calcul distribué. Documenter et optimiser les architectures de données suivant des standards éprouvés (architecture médaillon, GitFlow, etc.). Travailler en collaboration avec des équipes pluridisciplinaires pour garantir des livrables de qualité. Compétences obligatoires : Expertise en Databricks , Palantir Foundry , Python , SQL et Data Visualization . Maîtrise des outils MSDevOps , Jenkins , Artifactory , et Container Registry . Connaissances solides en parallélisation et programmation distribuée . Compétences appréciées : Expérience avec Delta Lake , BlobStorage , FileShare , et l’architecture médaillon.

📌 Mission Freelance – Développeur ETL / Data Engineer (DataStage, Unix, Control-M) 🎯 Contexte de la mission : Dans le cadre d’un programme stratégique d’industrialisation et de modernisation de nos chaînes de traitement data, nous recherchons plusieurs Développeurs ETL / Data Engineers maîtrisant DataStage, Unix et Control-M. Un des profils recherchés devra assurer un rôle de Lead Technique sur le développement (pas de gestion projet — un encadrement existe déjà). 🛠️ Compétences techniques requises Obligatoires : Expertise IBM DataStage (développement, optimisation, debugging, bonnes pratiques ETL) Très bonne maîtrise Unix/Linux (bash/ksh, scripts, automatisation) Compétence avérée Control-M (ordonnancement, dépendances, troubleshooting) SQL avancé (optimisation, analyse de performances) Pratique d’outils de versioning (Git, RTC), CI/CD, intégration & déploiements Souhaitées Python ou Java pour automatisation / outils internes Connaissances Data Lake / Data Warehouse Notions Cloud (Azure, AWS ou GCP) 🎯 Rôle & Responsabilités Pour les développeurs : Concevoir, développer et maintenir des jobs ETL sous DataStage Implémenter des scripts Unix et automatisations Intégrer et opérer les chaînes de traitement sous Control-M Analyser les performances, optimiser et fiabiliser les pipelines Participer aux déploiements et aux revues de code Contribuer à la mise en place des bonnes pratiques de développement Pour le Lead Développement : Encadrer techniquement les autres développeurs ETL Assurer la qualité du code, des jobs et des livrables Être point d’escalade pour les problématiques techniques DataStage/Control-M Réaliser des revues techniques, challenger les designs et améliorer les patterns ETL

Secteur : Finance / Gestion de fonds Localisation : Paris / Hybrid Type : CDI Notre client, un acteur majeur du secteur Finance / Gestion d’actifs , recherche un Consultant BI / Data Engineer confirmé afin d’intervenir sur des projets stratégiques de migration, d’évolution et d’optimisation des plateformes décisionnelles. 🎯 Objectif : remplacer un consultant expert, poste à compétences identiques. 🎓 Profil recherché Vous justifiez d’au moins 10 ans d’expérience en BI , avec une expertise forte sur l’environnement Microsoft BI : Compétences techniques indispensables : SQL Server (2016 → 2022) SSIS, SSRS, SSAS (Tabular & Multidimensional) Power BI (Report Server & Online) – DAX – RLS – Administration Azure DevOps / Azure DataFactory / Data Pipeline DataWarehouse, Datamarts, modélisation décisionnelle Reporting réglementaire & opérationnel Atouts supplémentaires Connaissance Fabric / Power BI Online Expérience en migration de plateformes BI Connaissance du secteur Finance / Gestion de fonds (vrai plus) 💼 Vos principales missions Migration SQL Server (2016 → 2022) et modernisation de la plateforme BI Migration SSIS, SSRS, SSAS Tabulaire / Multidimensional Migration Power BI Report Server → Power BI Online Gestion et administration des workspaces, datasets, gateways Conception et optimisation des flux d’intégration (SSIS, ADF) Développement de rapports SSRS / PBI, dashboards et cubes tabulaires Support utilisateurs + amélioration continue Participation à un environnement Agile / SCRUM

Bonjour ☺️ Nous recherchons un DATA ENGINEER orienté sur les technologies SPARK / SCALA / PYTHON/ AWS pour le compte de notre client ! Mission : Maintenir la plateforme en conditions opérationnelles : Garantir la disponibilité des données et des services de la plateforme, Assurer la communication avec les utilisateurs de la plateforme, Répondre aux demandes de données (données ad hoc, analyses d’anomalies), Développer les correctifs et évolutions nécessaires, Contribuer à la qualité des données et à l’industrialisation de leur exploitation. Concevoir et développer des services et pipelines de données fiables et performants : Mettre en place des flux de données (acquisition, transformation, export), Concevoir et modéliser les données, Développer et optimiser les pipelines de transformation, Réaliser les tests unitaires et d’intégration, Garantir la qualité des développements via les revues de code, Ordonnancer et gérer les dépendances entre traitements, Déployer sur l’ensemble des environnements, Enrichir et maintenir la documentation de la plateforme. Profil recherché : Minimum 5 ans d'expériences dans un contexte de grande volumétrie de données, Capacité à collaborer avec une pluralité d'interlocuteurs en même temps, Excellent esprit d’équipe, Capacité d'adaptation, Maitrise impérative de : Spark Scala, Python et SQL, Expérience significative sur AWS. Apprécié : Connaissance de Dataiku, Méthodologie Scrum/Safe, Airflow N'hésitez pas à envoyer votre CV !

Ton quotidien chez Komeet sera rythmé par : Animation des ateliers afin d’étudier et cadrer les besoins clients Préconisation, conception et mise en œuvre des plateformes Data (datawarehouse, datalake/lakehouse ) Rédaction de dossiers d’architecture et spécifications techniques Mise en œuvre des stratégies d’exploitation de plateformes Data Construction et déploiement des pipelines de données (ETL / ELT) à l’aide de langage de programmation ou d’outils de type Low-Code Mis en œuvre des flux d’intégration (en batch ou streaming) de données structurées/non structurées et volumineuses. Tests, validation et documentation des développements Réalisation d'audits et projets d’optimisation

Data Engineer AWS (S3, Glue, Athena, Python) 5 à 10 ans Anglais obligatoire Compétences recherchées : Data Engineer AWS (S3, Glue, Athena, Python) Tâches à traiter : Understanding of scientific data in the pharma CMC space Requirements clarification with stakeholders, effort estimation for PI planning Good knowledge of Lean & Agile practices AWS data engineering: S3, Glue (Jobs/Workflows), Athena ETL/ELT development: Python, Glue ETL, schema evolution, partitioning Data modeling: harmonized domain models, star/snowflake schemas, metadata management SQL optimization: Athena performance tuning, cost-aware query design, partition/pruning strategies Testing and quality: unit/integration tests for pipelines, DQ frameworks Documentation and KT: runbooks, architecture diagrams, KT planning and execution Migration experience: parallel-run strategy, cutover planning, backfill, data reconciliation

Nous recherchons un Senior Data Engineer pour intervenir au sein d’une équipe Data & Commerce dans un environnement international exigeant. Le consultant interviendra sur la conception et la mise en œuvre d’architectures Cloud GCP complexes, l’optimisation avancée BigQuery, le développement API, l’orchestration de pipelines et l’industrialisation des modèles Data & AI. La mission couvre un périmètre complet allant de l’architecture à la performance, en passant par les pratiques DevOps et IaC avec Terraform. Le rôle inclut également la participation aux initiatives GenAI, l’encadrement technique des développeurs et l’optimisation des modèles de données (Star Schema, Snowflake). Le consultant interagira directement avec les équipes Customer Service / Client Management pour soutenir la construction d’une plateforme Data évolutive, performante et conforme aux standards du groupe.

ANGLAIS COURANT OBLIGATOIRE Acteur majeur du secteur du sport et de l'innovation depuis plus de 40 ans, nous réinventons constamment le marché grâce à des produits accessibles et technologiques. Notre mission est de rendre les bienfaits du sport accessibles au plus grand nombre via un écosystème numérique complet : coaching virtuel, expériences connectées en magasin, services de location et produits intelligents. Vous rejoindrez une équipe technique de plus de 2 500 experts (ingénieurs, product managers, data experts) répartis entre Paris et Lille, dédiée à répondre aux besoins de 500 millions d'utilisateurs. Contexte de la mission Au sein de la division Connected Sports Platform (CSP) , nous accélérons notre transformation digitale via l'implémentation de solutions IoT. L'équipe Data est au cœur de ces enjeux : elle développe les briques nécessaires à l'ingestion, au stockage et à l'exposition des données échangées entre le cloud, les appareils connectés (vélos électriques, machines de fitness, etc.) et les applications mobiles. Objectifs : Optimiser l'exploitation des données pour la BI, la maintenance prédictive, la détection d'incidents et le design intelligent. Vos responsabilités En tant que Data Architect / Engineer (Freelance) , vous accompagnerez les projets dans leurs choix architecturaux et techniques avec les priorités suivantes : Architecture : Concevoir l'architecture d'ingestion et de stockage des données IoT (directes ou via mobile). Pipeline : Construire des pipelines de données structurées et non structurées scalables. Stratégie Tech : Définir la stratégie des stacks techniques et garantir le CI/CD. Optimisation : Maintenir et refondre les datasets existants pour de nouveaux cas d'usage. Qualité & Gouvernance : Assurer la fiabilité, l'accessibilité et la confidentialité des données (Data Privacy). Standardisation : Définir les standards d'architecture et assurer l'alignement entre la vision technique et les besoins utilisateurs. Profil recherché Expérience : +5 ans en tant que Senior Data Engineer dans un environnement microservices avec échanges de données en temps réel. Expertise Technique : Maîtrise de la modélisation de données, des systèmes distribués et de l'optimisation de requêtes. Stack : Maîtrise de Python (Scala ou Java sont un plus) et des technologies Kafka et Spark . Méthodologie : Culture Agile, GIT, Code Review et Peer Programming. Soft Skills : Excellente capacité de synthèse, communication fluide et esprit d'équipe. Langues : Français courant et anglais professionnel. Le "plus" pour cette mission : Expérience sur l'environnement AWS Big Data (Lambda, Redshift, S3). Expérience confirmée sur des produits IoT ou des appareils connectés. Modalités pratiques Durée : Mission longue durée. Lieu : Paris ou Lille (déplacements ponctuels à prévoir sur Lille si basé à Paris). Télétravail : Rythme hybride (environ 2 jours de télétravail par semaine). Matériel : Choix de l'environnement de travail (Mac, Windows). Compétences clés attendues (Récapitulatif) CompétenceNiveau attenduKafka / Spark Avancé AWS (Lambda, Redshift, S3) Confirmé Data Modeling Confirmé Écosystème IoT Confirmé Data Governance Confirmé

Data Engineer Spark/Scala Au sein de la DSI Finance de la DSI, le poste recherché porte sur le besoin d’un Data Engineer Spark/Scala confirmé (5-6 ans d’expérience). Objectifs et livrables Objectifs Le prestataire intégrera le projet d’intégration en coordination avec le chantier assiette comptable de référence en tant que Data Engineer. Les développements sur ce chantier s’appuient sur la plateforme Datalake Finance, basée sur la distribution Hadoop HortonWorks qui collecte les données des différents systèmes de synthèse afin de répondre aux nouveaux besoins de reporting Finances & Risques (COREP, calcul RWA, IFRS9, etc.…) Les tâches seront les suivantes : • la mission consistera à prendre part aux développements, au sein du datalake pour acquérir les nouvelles sources de données, les assemblées et les distribuées aux consommateurs, tout en étant garant de la pérennité et la non-régression de l’outillage déjà en place • Vous participerez à la conception et à l’implémentation de ce projet et serez amené, à ce titre, à travailler en méthode Agile avec de nombreux acteurs métiers et les équipes de maintenance Compétences techniques o Expérience dans la mise en œuvre de technologies et frameworks Big Data et NoSQL (Hadoop, Kafka, Spark, Scala, Hive, SolR, HBase, Kerberos) o Spark / Scala : confirmé o A l'aise avec le programmation fonctionnelle (connaissance des librairies ZIO, MONIX, CATS appréciée) o Expérience de travail dans un environnement Agile ; avec outils et méthodologies associés (Confluence, Jira, Scrum, Kanban) Compétences demandées Compétences Niveau de compétence Apache Kafka Avancé Apache Hadoop Confirmé Apache Hive Avancé SCALA Confirmé Spark Confirmé

Bonjour, Pour le compte de mon client, nous recherchons un data engineer. L’équipe de BUILD (qui gère les données du socle relation client et du socle connaissance client. Cette équipe est en charge de mettre à disposition des données en fraicheur pour deux équipes business. Le Data Ingénieur sera intégré dans une équipe Marketing d’une dizaine de personnes. La ressource doit accompagner la direction dans la réalisation des outils BI et analyses ad hoc pour leur permettre la réalisation de leurs usages. La mission se décompose en deux volets : 1. DIR DATA : Apporter un appui à la capacité à faire de l’équipe BUILD du projet et d’épauler la capacité à faire des métiers sur des montées de versions de leurs produits data métiers. Contexte de migration des projets métiers data basé actuellement sur Synapse vers Unity Catalog (Databricks). 2. DIR MKT : L'objectif de la mission est de permettre à la direction de piloter les offres par la réalisation d'analyse et la construction de tableaux de bord. Les indicateurs mis en visibilité permettront à la direction de suivre l'adoption des offres et services et de prendre les décisions stratégiques. Actiivités du poste : Partie direction Data Participation active à l’appui des équipes métiers lors de la migration vers Unity Catalog / suppression de synapse. Appui aux métiers pour assurer la MCO de leurs produits data métiers Participation active à l’équipe de développement BUILD du projet et aux phases de recette et de validation sur les différentes livraisons des traitements de données en lien avec l’équipe de build projet. - Participation ponctuelle aux analyses d’écarts et à l’identification des causes racines sur des problèmes de qualité et incohérences de données remontées via les clients auprès de la Relation Client, l’équipe RGPD ou par d’autres canaux internes (ex : incohérences sur les dates de naissance, doublons de clients, de segments de voyages, problèmes de référentiels, etc.) - Participation ponctuelle à la construction et évolutions sur des tableaux de bord Power BI en lien avec les besoins de monitoring de la donnée des socles sous responsabilité de la direction Data . Partie Direction MKT : Construction et maintien de tableaux de bord : Élaboration et implémentation de modèles de données optimisés pour les tableaux de bord Construction du tableau de bord Validation de la conformité et de la fiabilité des données présentées dans les tableaux de bord Traitements de données Développement et maintien d’indicateurs Optimisation des performances des traitements de données Interne Automatisation de la chaine de traitements des données depuis le socle Data TGV-IC ou d'autres sources Supervision de la chaine de traitements Réalisation d’analyse Réalisation d'extractions et analyses data ad hoc pour répondre aux besoins spécifiques des métiers Actions de gouvernance de la donnée Catalogage de la donnée : Documentation des dictionnaires de données, du lineage et des produits data business Suivi de la qualité des données Mise en place d’un outil de supervision de la qualité des données Identification des anomalies et investigations

Nous recherchons un Data Engineer pour intervenir sur un projet stratégique d’intégration et de valorisation de données au sein d’un environnement Cloud moderne. Le consultant interviendra sur la création, l’optimisation et la maintenance de pipelines data entre plusieurs plateformes internes, avec un fort niveau d’autonomie technique. Concevoir, développer et maintenir des flux de données entre différentes sources (API REST, Cloud, bases SQL). Mettre en place des traitements d’ingestion, transformation, normalisation et contrôle qualité des données. Développer et optimiser des pipelines dans GCP / BigQuery . Construire et maintenir des jobs Talend pour l’intégration et l’automatisation des traitements. Automatiser et industrialiser les workflows via des scripts Shell / Bash . Contribuer à la création et à l’optimisation de dashboards Power BI (KPI, dataviz). Garantir la qualité, la performance et la conformité des données. Documenter les flux, rédiger les spécifications et collaborer avec les équipes métiers et techniques. Versionner les développements via GitLab et respecter les bonnes pratiques CI/CD.

Notre client migre ses flux ETL d’Informatica vers Microsoft Fabric pour ses besoins en data ingestion et analytics. Le projet concerne principalement le domaine Finance, avec un modèle pivot centralisant contrats, positions, instruments de couverture, flux futurs, contreparties et données de marché. Environnement technique : * ESB (Software AG), * ETL (Informatica), * Data Platform (Fabric/Power BI) Mission En tant que Tech Lead Data, vous serez responsable de : * Définir les standards techniques (Fabric, Spark, Python) et bonnes pratiques de développement. * Piloter la migration des flux Informatica vers Fabric : * Évaluer l’existant (flux, modèles pivots, dépendances). * Concevoir le framework d’ingestion/transformation (Spark, Notebooks). * Mettre en place la CI/CD (Azure DevOps/GitHub). * Assurer le monitoring et la qualité des données. * Encadrer une équipe de 3 Data Engineers (mentorat, optimisation des performances). * Collaborer avec les équipes métiers (Finance/Risque) et l’architecture IT.

Data Engineer / MLops expérimenté ou sénior Lyon (2 jours TT) Python, Pydantic, PymuPDF Compétences attendues : Pipeline de données et de machine learning Compétences en programmation (Python, Pydantic, PymuPDF) Compétences sur les services d’IA d’AWS (sagemaker) et des services AWS (StepFunction, Lambda, SQS, CloudWatch, Textract…) Compétences en computer Vision par réseaux de neurones Outils de DevOps et de Cloud Computing (Terraform) Processus CI / CD Outils d’automatisation Méthodologies agiles (Jira, Confluence, Kanban, Scrum…) Connaissance des principaux LLM dont les modèles Gemini Compétences en optimisation sous contraintes et connaissance d’outils comme ORTools Localisation de la mission : Lyon 2 jours de présence sur site Date de démarrage : Début janvier Minimum 3 ans d’expérience Profils expérimentés (3 à 7 ans d’expérience) Profils senior (7 ans et +) Missions : Détection d’opportunités IA/ML et contribution à des preuves de concept (POC) (Identifier et analyser des opportunités IA/ML, concevoir et documenter des POC fonctionnels, puis présenter et évaluer leur valeur métier et robustesse auprès des parties prenantes.) Développement de fonctionnalités de Machine Learning et d'IA (Concevoir et valider l’architecture SI, collaborer avec l’équipe produit pour intégrer des fonctionnalités IA/ML, livrer des incréments industrialisables et contribuer à la documentation technique et produit.) Industrialisation et standardisation des pratiques IA / MLOps (Intégrer et déployer des modèles IA avec des formats standard, optimiser leur performance et coût, assurer le monitoring et les mises à jour, contribuer aux pratiques MLOps et réaliser une veille technologique en ML/IA.)

Au sein de la DSI Finance, vous interviendrez en tant que Data Engineer Spark / Scala confirmé sur le projet d’intégration du Datalake Finance, adossé à la distribution Hadoop HortonWorks. Ce datalake centralise les données issues des systèmes comptables et de synthèse afin de répondre aux besoins de reporting Finances & Risques (COREP, RWA, IFRS9, etc.). Missions principales : -Participer au développement et à l’intégration de nouvelles sources de données au sein du Datalake Finance. -Assembler et distribuer les données aux consommateurs métiers tout en garantissant la pérennité et la performance des pipelines existants. -Contribuer à la conception technique, l’implémentation et les tests des flux sous Spark / Scala. -Veiller à la non-régression et à la qualité du code dans le cadre des évolutions du socle. -Travailler en méthodologie Agile (Scrum / Kanban) avec les équipes métiers, data et maintenance. -Participer à la documentation technique et aux revues de code. Profil recherché : -5 à 6 ans d’expérience en environnement Big Data / Datalake. -Solide maîtrise de Spark / Scala et des paradigmes de programmation fonctionnelle (ZIO, Monix, Cats appréciés). -Connaissance des écosystèmes Hadoop, Hive, Kafka, HBase, Kerberos. -Expérience dans un cadre Agile (Scrum / Kanban) et outils associés (Jira, Confluence). -Esprit analytique, autonomie, rigueur et bon relationnel.

Dans le cadre d'un projet ambitieux de transformation digitale, notre entreprise spécialisée dans les technologies de l'information et des télécommunications, située à Lille, cherche à renforcer son équipe avec deux Data Engineers experts. Notre mission : offrir des solutions robustes et évolutives basées sur Microsoft Fabric pour répondre aux besoins stratégiques de nos clients. Vous rejoindrez une équipe dynamique et collaborative, composée de Data Analysts et de spécialistes IT, où votre expertise sera cruciale pour la réussite de projets multicanaux et l'intégration de données complexes. Dans cette mission critique, vous serez un maillon essentiel de notre département Data Operations, travaillant sur des projets à fort impact business. Urgent : un Data Analyst doit rejoindre nos équipes sous 2 semaines, et le staffing global est prévu pour décembre, en vue de démarrer les lots en janvier pour une durée de 6 mois renouvelables, jusqu'à 12 mois selon l'évolution des projets. Missions - Implémenter et optimiser les composants Microsoft Fabric pour répondre à des cas d’usage prioritaires. - Concevoir et industrialiser des pipelines ETL/ELT, APIs et modèles de données avancés. - Assurer l'observabilité, la qualité des données, les tests rigoureux, ainsi que la mise en place des pratiques CI/CD. - Optimisation des coûts/performance, renforcer les aspects sécurité et conformité. - Assurer une collaboration étroite et efficace avec les Data Analysts et les équipes métiers.