Trouvez votre prochaine mission ou futur job IT.

Nous recherchons un(e) Tech Lead Data Engineer capable de trouver des solutions innovantes et robustes à l'ensemble des problématiques Data. Vous aurez la charge de : • Assurer la mise en œuvre de l'accès, du référencement et de la qualité de la donnée • Assurer l'industrialisation, la supervision et l'intégration des solutions • Rédiger les normes de développement • Participer à la rédaction du manuel d'exploitation En tant que Tech Lead, vous savez : • Vous présenter et promouvoir des architectures data face au client • Identifier et comprendre les besoins métiers • Former, encadrer et faire évoluer les consultants juniors • Participer à la réponse aux appels d'offres (avant-vente) Référence de l'offre : dedbg6qwsh

En bref : Data Engineer (F/H) - CDI - Marignane - Salaire 35-40k brut annuel Notre client, PME dans le domaine industriel, recherche un Data Engineer (F/H) pour développer son activité à Marignane. Vos missions : - Concevoir, développer et maintenir les pipelines de données (ETL/ELT) permettant la collecte, la transformation et le chargement des données depuis diverses sources. - Modéliser et optimiser les architectures de données (data warehouse, data lake) en lien avec les besoins métiers. - Garantir la qualité, la fiabilité et la performance des flux de données (monitoring, tests, gestion des erreurs). - Industrialiser et automatiser les traitements de données en respectant les bonnes pratiques de développement (versioning, CI/CD, documentation). - Travailler en étroite collaboration avec les Data Analysts, Data Scientists et équipes métiers pour comprendre leurs besoins et mettre à disposition des données exploitables. - Participer à la mise en place et à l'évolution des outils et technologies data (bases de données, orchestrateurs, outils de streaming). - Assurer la sécurité et la conformité des données traitées (gouvernance, RGPD). - Optimiser les performances des requêtes et des traitements (tuning, indexation, partitionnement). - Documenter les architectures, les flux de données et les processus mis en place. - Assurer une veille technologique sur les outils et pratiques data engineering.

Démarrage : ASAP Localisation : Lille (59) avec 3 jours sur site/semaine Pour le compte d'un grand acteur international du secteur retail, nous recherchons un Data Engineer confirmé pour rejoindre une équipe Data pluridisciplinaire au sein d'un environnement cloud à forte volumétrie. Le contexte : Vous intégrerez une équipe composée de Data Engineers et d'experts DevSecFinOps, intervenant sur des projets stratégiques liés à la Supply Chain et à la valorisation de la donnée. Vous contribuerez à la conception, au développement et au maintien de solutions Data tout en participant à une démarche FinOps visant à optimiser les coûts d'exploitation des plateformes cloud. Vos missions : Build Participer aux projets Data liés aux enjeux Supply. Concevoir des solutions alignées avec les standards et frameworks Data de l'entreprise. Développer et modéliser les flux de données sous la gouvernance des architectes Data. Contribuer au développement d'applications Data. Réaliser les tests et validations techniques. Assurer le suivi et le reporting de vos activités. Run Maintenir en conditions opérationnelles plusieurs référentiels de données multi-sources ainsi que différentes applications Data. Gérer les incidents et demandes de support. Assurer les mises en production via les outils de CI/CD. Superviser et suivre les flux de données. Expertise Monter progressivement en compétence sur le système d'information et les domaines métiers associés. Participer à l'amélioration continue des pratiques Data et FinOps. Environnement technique : ✅ GCP ✅ BigQuery ✅ Apache Airflow ✅ Terraform ✅ GitLab ✅ Datalake ✅ Exposition de données / APIs Data ✅ Google Data Studio ✅ Python ✅ Shell

Missions principales : -Conception & Développement : bâtir des pipelines ETL/Data robustes et développer/maintenir les API d'exposition des données. -Architecture Databricks : optimiser les traitements et participer aux choix d'architecture selon l'approche Medallion (Bronze/Silver/Gold). -Qualité & Performance : garantir la fiabilité et l'optimisation des performances des traitements, et gérer la résolution d'incidents de production. -Leadership Technique : accompagner l'équipe sur les bonnes pratiques de dev et le déploiement de solutions.

Projet Développement et industrialisation d'une plateforme Data sur GCP permettant l'ingestion, la transformation et la mise à disposition de données pour des outils de recherche et d'analyse métier,. Activités - Concevoir et maintenir les pipelines d'ingestion de données publiques et internes. - Développer et industrialiser les traitements et transformations de données avec SQL, Python et dbt. - Mettre en place et maintenir les workflows d'orchestration avec Argo Workflows / Airflow. - Stocker, structurer et exposer les données via BigQuery et GCS, puis assurer leur connexion aux outils d'analyse métier. - Déployer et maintenir les composants Data sur GCP, notamment via Cloud Run, et gérer les droits d'accès avec IAM. - Industrialiser l'infrastructure avec Terraform et contribuer aux chaînes CI/CD GitLab. - Participer au monitoring, à la gouvernance et à la qualité des données ainsi qu'à l'amélioration de l'expérience utilisateur des outils internes.

Notre client, acteur majeur de la distribution et de la logistique, recherche son futur Data Engineer (H/F) dans le cadre du développement de ses outils de pilotage et de valorisation des données, pour son site basé au sud de Toulouse à environ 30 minutes. Vos missions : Intégré(e) à l'équipe Informatique, vous devrez : * Concevoir et maintenir les flux de données entre les différents systèmes métiers. * Développer des pipelines de données fiables et performants. * Structurer les architectures permettant la collecte, le stockage et le traitement des données. * Automatiser les traitements et optimiser les performances des processus Data. * Intervenir sur les environnements SAP BusinessObjects et les outils d'intégration de données. * Collaborer avec les équipes BI et métiers afin de répondre aux besoins d'analyse et de reporting. * Garantir la qualité, la disponibilité et la sécurité des données. * Assurer une veille technique et contribuer à l'évolution des solutions existantes. Les compétences techniques * Python * SQL * Linux / Unix * Concepts Big Data et traitement de données * ETL et intégration de données (BODS apprécié) * SAP BusinessObjects apprécié * Connaissances GCP, Java, C/C++, VBA ou Access constituant un atout

Nous recherchons un Data Engineer pour contribuer à la modernisation d'une plateforme data dans le secteur financier. Vous participerez à la conception et au développement de pipelines de données, à l'intégration de données dans Snowflake via DBT, à la modélisation des données et aux contrôles de qualité. Vous travaillerez également sur les flux batch/streaming, le SQL, les tests, la CI/CD, l'optimisation des performances ainsi que la gouvernance et la sécurité des données dans un environnement international.

Rejoignez une entreprise reconnue dans le secteur de l'événementiel et des services B2B, implantée en région parisienne et présente à l'international. Dans le cadre de la transformation de son système d'information et de la modernisation de son environnement Data, l'entreprise poursuit notamment la migration progressive de son écosystème vers Microsoft Fabric. Afin de renforcer l'équipe IT & Data, nous recherchons un Data Engineer / Consultant Data SQL & Microsoft Fabric capable d'intervenir à la fois sur le maintien en conditions opérationnelles de l'entrepôt de données existant, le traitement des demandes quotidiennes et l'accompagnement de cette transformation technologique. La mission comporte donc une dimension importante de RUN et de support, mais également des sujets d'évolution, d'intégration de données et de migration vers les nouveaux outils Microsoft. Missions Gestion et support de l'entrepôt de données : Assurer le suivi et le maintien en conditions opérationnelles du Data Warehouse. Analyser et corriger les anomalies rencontrées sur les traitements et flux de données. Optimiser les requêtes, traitements et performances des bases de données. Participer à la fiabilisation et à la qualité des données. Support et traitement des demandes Data : Prendre en charge les différents tickets liés à la Data. Investiguer et résoudre les incidents techniques. Traiter les demandes métiers et réaliser les évolutions mineures nécessaires. Accompagner les utilisateurs et les équipes internes dans la résolution des problématiques rencontrées. Migration vers Microsoft Fabric : Participer à la migration progressive de l'écosystème Data vers Microsoft Fabric. Accompagner l'équipe dans l'adaptation des traitements et flux existants. Contribuer à la fiabilisation de la nouvelle architecture et à la transition entre les environnements historiques et Fabric. Intégration et évolution des flux : Développer et maintenir des traitements ETL sous SSIS. Participer à différents projets d'intégration de données avec des solutions tierces. Contribuer notamment à des sujets d'intégration de données avec Brevo et d'autres applications métiers. Intervenir sur différents besoins d'interfaçage et d'alimentation des systèmes Data. Documentation et amélioration continue : Documenter les traitements, flux et procédures existantes. Capitaliser sur les incidents rencontrés et les solutions apportées. Participer au partage des bonnes pratiques avec l'équipe interne. Contribuer à l'amélioration continue de l'environnement Data.

Dans le cadre du développement et du maintien en condition opérationnelle de plateformes Data & Big Data, nous recherchons un Data Engineer spécialisé en Streaming pour intervenir à la fois sur les activités de Build et de Run. Vous évoluerez dans un environnement technique moderne, avec des enjeux d'industrialisation, d'automatisation et de déploiement de services Data dans le Cloud. Vos missionsIndustrialiser et automatiser les opérations d'administration, d'exploitation et de déploiement. Participer à la conception et à l'évolution de services Big Data orientés Streaming. Intervenir en support niveau 3 sur les incidents de production. Accompagner les développeurs dans l'utilisation des technologies Data et Streaming. Définir et faire appliquer les bonnes pratiques et règles d'ingénierie. Être force de proposition sur l'évolution des architectures et solutions Big Data. Concevoir et déployer de nouveaux services Data dans le Cloud, notamment sur OpenShift. Mettre en place des services autour du Streaming et du Processing, dans des environnements Cloud et on-premise. Participer à la sécurisation et à la fiabilisation de la production des plateformes Big Data. Assurer l'accompagnement et le support des équipes IT métiers. Contribuer au maintien en condition opérationnelle (MCO) des applications. Participer aux astreintes dans le cadre des activités RUN. Environnement techniqueStreaming / Big Data : Kafka, Flink, Kafka Connect, Stream Processing Développement : Java, Scala, Python, Go, Shell, Spring Boot, Java Multithreading, API REST DevOps / Cloud : Kubernetes, Docker, OpenShift, Ansible Industrialisation : automatisation, CI/CD, déploiement, supervision et exploitation Profil recherchéExpérience significative en Data Engineering / Big Data. Solide expertise sur les architectures Streaming, notamment Kafka. Bonne maîtrise de Java et idéalement de Spring Boot et du multithreading. Expérience des environnements Kubernetes / Docker / OpenShift. Sensibilité forte aux problématiques de production, industrialisation et MCO. Capacité à intervenir sur des sujets Build comme Run et à assurer du support niveau 3. Autonomie, rigueur et capacité à accompagner techniquement les équipes de développement. Mots-clés : Data Engineer, Big Data, Streaming, Kafka, Flink, Kafka Connect, Java, Spring Boot, Kubernetes, Docker, OpenShift, Cloud, Stream Processing, API REST, DevOps, MCO.

La mission s'inscrit dans les évolutions du datalake CIO Office, en lien avec les équipes de production applicative et DevOps. Le consultant intervient sur le développement et le traitement des données ainsi que sur l'évolution de la plateforme Hadoop. L'enjeu principal est de mettre en œuvre de nouvelles ingestions et transformations tout en maintenant les pipelines de données. Missions : - Mettre en œuvre de nouvelles ingestions de données - Réaliser les opérations de data prep et de transformation des données - Maintenir les outils de gestion des pipelines de données - Faire évoluer les pipelines de données avec PySpark et le shell scripting - Adresser les demandes d'évolution de la plateforme à l'équipe DevOps - Rédiger des spécifications techniques claires et précises - Travailler dans un environnement agile Scrum - Collaborer avec les équipes de production applicative et DevOps - Explorer de nouvelles solutions et technologies - Analyser et résoudre des problèmes complexes liés au traitement des données Profil attendu : Le profil recherché dispose de 0 à 6 ans d'expérience et d'une excellente maîtrise de Hadoop, Python/PySpark et Hive. Une bonne connaissance de SQL, Git, Jenkins, Jira et du shell scripting sous Unix/Linux est nécessaire. La maîtrise de l'anglais à l'écrit comme à l'oral ainsi qu'une expérience des environnements agiles Scrum sont attendues.

Nous recherchons un(e) Tech Lead Data Engineer capable de trouver des solutions innovantes et robustes à l'ensemble des problématiques Data. Vous aurez la charge de : • Assurer la mise en œuvre de l'accès, du référencement et de la qualité de la donnée • Assurer l'industrialisation, la supervision et l'intégration des solutions • Rédiger les normes de développement • Participer à la rédaction du manuel d'exploitation En tant que Tech Lead, vous savez : • Vous présenter et promouvoir des architectures data face au client • Identifier et comprendre les besoins métiers • Former, encadrer et faire évoluer les consultants juniors • Participer à la réponse aux appels d'offres (avant-vente) Référence de l'offre : efielz010x

Dans le cadre de la modernisation de son Système d'Information, la DSI recherche un Data Engineer Azure afin de concevoir, développer et faire évoluer les plateformes d'intégration et de traitement des données. Vous interviendrez sur plusieurs programmes stratégiques autour des architectures Event-Driven, de la modernisation des flux d'intégration, de la plateforme Data Azure ainsi que des projets analytiques. L'objectif est de construire des solutions robustes, évolutives et maintenables répondant aux enjeux de temps réel, de qualité des données et de performance. Équipe : 2 PO et 7 Data engineers DÉVELOPPEMENT DE LA PLATEFORME MIDDLEWARE AZURE Vous participerez à la conception et au développement d'une plateforme d'intégration temps réel basée sur une architecture Event-Driven. À ce titre, vous serez amené à : - Concevoir des architectures d'intégration basées sur Azure Service Bus et Azure Event Grid. - Développer des Azure Function Apps permettant le traitement, la transformation et le routage des événements. - Concevoir et développer des APIs et composants d'intégration robustes. - Participer aux choix d'architecture technique et aux bonnes pratiques de développement. - Garantir la scalabilité, la résilience et les performances des traitements. - Mettre en œuvre les mécanismes de gestion d'erreurs (Retry, Dead Letter Queue, Idempotence). - Assurer la sécurisation des échanges via Azure Key Vault. Vous interviendrez notamment sur : - Synchronisation des commandes d'achat entre Trax et NetSuite - Intégration des données de vols au format AIDX. - Automatisation des flux d'heures et cycles APU. - Développement de nouveaux flux événementiels entre les applications du SI. QUALITÉ DE DÉVELOPPEMENT Une attention particulière sera portée à la qualité du code produit. Le consultant devra appliquer les bonnes pratiques de développement Python : - Développement d'un code lisible, maintenable et documenté. - Respect des principes Clean Code et SOLID. - Séparation des responsabilités et modularisation. - Gestion robuste des exceptions. - Optimisation des performances. - Revue de code (Code Review). - Développement de tests unitaires avec Pytest. - Respect des conventions de développement (PEP8). - Documentation technique des composants. INDUSTRIALISATION & DEVOPS Vous participerez à l'industrialisation des développements : - Mise en place des pipelines CI/CD sous Azure DevOps. - Déploiement des ressources Azure via Bicep. - Infrastructure as Code. - Gestion des versions avec Git. - Supervision et monitoring des traitements. - Documentation des architectures et des flux. - Amélioration continue des processus de développement.

Contexte de la mission Le consultant travaillera en étroite collaboration avec les équipes de production applicative et DevOps afin de mettre en œuvre les évolutions techniques de la plateforme. Missions principales Mettre en œuvre de nouvelles ingestions de données. Réaliser les traitements de Data Preparation / transformation. Développer, maintenir et faire évoluer les pipelines de données en PySpark. Réaliser du Shell Scripting sous Unix/Linux. Collaborer avec l'équipe DevOps pour les demandes d'évolution de la plateforme. Participer au maintien en conditions opérationnelles et à l'évolution des traitements Data. Rédiger les spécifications techniques et documenter les solutions mises en œuvre. Compétences indispensables Très bonne maîtrise attendue : Hadoop Python / PySpark Hive SQL Shell Scripting Unix/Linux Environnement/outils : Git Jenkins Jira Méthodologie Agile / Scrum Anglais professionnel indispensable, à l'écrit comme à l'oral, Compétences appréciées / différenciantes Une expérience sur les technologies suivantes constituera un plus : Indexima – Alteryx – Altair – GCP – BigQuery – bibliothèques Python orientées API.