Trouvez votre prochaine mission ou futur job IT.

Dans le cadre d’un programme de transformation data, nous recherchons un Data Engineer Azure pour concevoir, optimiser et industrialiser des plateformes analytiques cloud natives sur Microsoft Azure. Vous analyserez des architectures existantes, proposerez des trajectoires d’évolution (refonte des pipelines, migration vers des traitements serverless, optimisation des modèles analytiques) et guiderez leur mise en œuvre avec Azure Data Factory, Azure Databricks, Azure Synapse, Azure Data Lake et Event Hubs. Vous serez responsable de la conception et de la fiabilisation des pipelines d’ingestion et de transformation, de l’amélioration des performances et de l’intégration de mécanismes d’observabilité et de qualité des données. Vous travaillerez main dans la main avec les équipes Cloud et DevOps pour intégrer les traitements dans des pipelines CI/CD robustes et adaptés aux contraintes d’exploitation. Vous aurez également un rôle clé dans la transmission de connaissances, l’animation d’ateliers techniques et l’accompagnement des équipes client sur les meilleures pratiques de data engineering cloud native et d’usage avancé d’Azure. Votre mission combinera expertise technique, rigueur méthodologique et capacité à structurer des solutions scalables et pérennes.

Contexte Dans le cadre de la mise en place et de l’évolution d’une plateforme DATA centralisée, nous renforcons son équipe avec un Data Ingénieur confirmé. Cette plateforme permet l’intégration, la mise en qualité et la mise à disposition de données brutes ou retravaillées issues de différents producteurs, afin de répondre à des besoins métiers opérationnels et analytiques à grande échelle. Rôle et responsabilités Développement et ingestion de données Concevoir, développer et optimiser des jobs d’ingestion et de transformation de données en Python et Spark sur Databricks , avec gestion de gros volumes. Mettre en place et maintenir des flux de données entre sources externes (ex. bases Oracle) et Delta Lake sur AWS S3 . Orchestration et supervision Créer et orchestrer des workflows avec AWS Airflow et automatiser les traitements. Mettre en place des mécanismes de contrôle qualité et de validation des données pour garantir cohérence et fiabilité. Développer des jobs de monitoring pour détecter et corriger automatiquement les anomalies. Maintien en condition opérationnelle Assurer la disponibilité et la performance des jobs en production. Analyser et corriger les incidents et anomalies détectées. Contribution stratégique Participer aux ateliers de conception technique et fonctionnelle. Promouvoir les bonnes pratiques de développement et d’optimisation Big Data. Documenter les processus, architectures et scripts. Compétences techniques requises MUST : Python Spark Databricks SQL SHOULD : AWS (S3, Glue, Airflow, CloudWatch, Lambda, IAM) COULD : Big Data (gestion et traitement de très gros volumes de données) WOULD : Git Méthodologies et outils : CI/CD avec GitLab JIRA / Confluence Méthodologie agile Scrum

Missions: Mon client recherche un DataOps / Data Engineer pour intervenir sur le service de maintenance prédictive, basé sur : un environnement on‑prem (Python, Airflow, Docker, GitHub CI/CD), un environnement Cloud Azure (Databricks, PySpark, ADF), une Service Platform pour les compagnies aériennes (application web). Assurer le MCO des environnements dev & production. Superviser et monitorer Databricks / Spark. Concevoir & maintenir des pipelines de données en production. Accompagner le déploiement d’algorithmes (optimisation performance & coûts). Améliorer les processus d’intégration / versioning dans la Service Platform.

Contexte Dans le cadre du développement d’une Data Marketplace interne pour un grand groupe international du secteur de l’énergie, nous recherchons un Data Engineer expérimenté afin de renforcer une équipe produit data. La plateforme permet de centraliser l’ensemble du parcours data des utilisateurs : découverte de données, data quality, data governance, transformation de données, monitoring de pipelines et BI. Elle sera progressivement déployée auprès de plusieurs milliers d’utilisateurs dans un environnement international. Le consultant interviendra sur la conception et l’évolution des pipelines de données ainsi que sur l’optimisation de la qualité et de la performance des flux. Missions Développement et maintenance de pipelines de données en Python et Scala Conception et évolution d’une architecture data scalable et modulaire Gestion et optimisation des flux de données Mise en place de processus de data quality et validation des données Optimisation des performances des ingestions de données Participation aux rituels agiles et aux revues de code Documentation des choix techniques et de l’architecture Environnement technique Python Scala / Spark Cloud : AWS et Azure AWS : Lambda, Glue, Redshift, Step Functions, DynamoDB Streaming : Kafka, Kinesis, EventHub, EventGrid API REST Git CI/CD Big Data Architecture Connaissance de Langchain ou Langgraph appréciée.

En tant que Data Engineer , vous intervenez sur la conception, le développement et l’exploitation de pipelines de données cloud-native, principalement orientés ELT. Votre rôle est central dans la structuration, la transformation et la fiabilisation des données , avec une utilisation avancée de dbt. Vous intervenez sur l’ensemble du cycle de vie de la donnée, de la transformation à la mise à disposition analytique, avec une attention particulière portée à la qualité,la performance , la fiabilité et la traçabilité des données.

Contexte Dans le cadre du développement d’une Squad Usages Data Avancés & IA , nous recherchons un(e) Data Engineer confirmé(e) pour contribuer à la conception, l’industrialisation et l’amélioration continue de solutions data à forte valeur ajoutée. Vous évoluerez dans un environnement orienté DataOps , MLOps et industrialisation de solutions analytiques, au sein d’une équipe pluridisciplinaire (Data Scientists, DevOps, Product Owner…). La squad intervient sur : La conception et la maintenance d’applications data L’amélioration continue des produits existants La construction de nouveaux usages Data & IA Vos missions Conception & Architecture Participer à la définition des solutions applicatives data Contribuer aux choix d’architecture (batch, streaming, microservices data) Concevoir des pipelines robustes, scalables et performants Développement & Intégration Construire et maintenir des pipelines ETL / ELT (données structurées et non structurées) Développer des traitements en Python (PySpark, FastAPI) et SQL Intégrer des flux temps réel via Kafka / Spark Réaliser les phases d’intégration et de recette technique Industrialisation – DataOps / MLOps Mettre en œuvre des chaînes CI/CD et de déploiement (Docker, Kubernetes, GitHub/GitLab Actions) Industrialiser des modèles statistiques ou de Machine Learning Versionner données, modèles et code Monitorer la performance, la qualité et les coûts des traitements Assurer l’observabilité des solutions (ELK, Prometheus/Grafana, MLflow) Qualité & Amélioration Continue Mettre en place des tests automatisés (Pytest) Maintenir un haut niveau de qualité de code (SonarQube) Améliorer l’efficacité des processus Maintenir une documentation claire et à jour Collaboration Travailler en étroite collaboration avec les membres de la squad Préparer des datasets pour l’exploration et l’analyse Accompagner les utilisateurs dans la prise en main des solutions Docker Kubernetes GitHub Actions ou GitLab CI Compétences techniques requises Langages & Frameworks: Python (PySpark, FastAPI), SQL Big Data & Streaming: Apache Spark, Apache Kafka Bases de données: PostgreSQL, Teradata, MySQL MLOps / CI-CD / Conteneurisation: Docker, Kubernetes, GitHub Actions ou GitLab CI Qualité & Observabilité: Pytest, SonarQube, Stack ELK, Prometheus / Grafana, MLflow

Dans le cadre d’une mission stratégique auprès d’un grand acteur du secteur des services digitaux, ASAP Technologies recherche un(e) Data Engineer / Architecte Data Senior . Vous interviendrez au sein d’un pôle Data Services pour accompagner la conception, l’industrialisation et l’évolution d’une plateforme Lakehouse à grande échelle, dans un environnement cloud moderne et exigeant. 🎯 Vos missions En tant qu’Architecte Data Senior, vous jouerez un rôle central dans la structuration et l’optimisation des solutions Data. 🏗 Architecture & Modélisation Concevoir et faire évoluer une architecture Lakehouse Structurer les transformations selon un modèle Médaillon (Bronze / Silver / Gold) Modéliser les données et optimiser la performance des pipelines ⚙️ Développement & Industrialisation Concevoir, développer et optimiser des pipelines de données à grande échelle Mettre en œuvre des flux batch , streaming et ingestion via API Développer et industrialiser les pipelines avec DBT Spark et Iceberg Orchestrer les workflows ETL/ELT via Airflow Déployer et maintenir les pipelines dans un environnement Cloud (AWS ou équivalent) Mettre en œuvre l’Infrastructure as Code via Terraform Exécuter les traitements dans des environnements conteneurisés ( Docker / Kubernetes ) 🔎 Qualité, Sécurité & Performance Garantir la disponibilité, la supervision et l’observabilité des traitements Définir et implémenter les règles de qualité des données (tests, contrôles automatisés) Documenter architectures, pipelines et règles métier Assurer la conformité réglementaire (RGPD) Participer à la gestion des incidents et à l’amélioration continue 🤝 Leadership & Expertise Accompagner des profils juniors Être force de proposition sur les choix techniques Faire le lien entre enjeux métiers et architecture data

Bonjour, Pour le compte de l'un de mes clients dans le secteur de l'électroménager, je suis à la recherche d'un Data Engineer Snowflake. Son rôle : Participer à des ateliers d’analyse des besoins avec les partenaires commerciaux (finances, ventes, achats, etc.) Suggérer & construire des architectures techniques adaptées, en se concentrant sur la fiabilité ainsi que les performances Développer & maintenir des flux de données, notamment dans le contexte de migration vers Snowflake Optimiser les performances des applications existantes et assurer une documentation approfondie

Prestations demandées RESPONSABILITES - Conception et implémentation des pipelines de données : • Concevoir et développer des pipelines de données automatisés pour collecter, charger et transformer les données provenant de différentes sources (internes et externes) dans le Data Hub puis pour les transformer en Data Product Data Hub, Data Science ou Data Viz (Power BI). • Optimiser les pipelines de données pour garantir des performances élevées, une faible latence, et une intégrité des données et des traitements tout au long du processus. • Travailler avec les équipes data science et métiers pour comprendre leurs besoins en données et en traitements, et adapter les pipelines en conséquence. - Industrialisation et automatisation des flux de données et des traitements : • Mettre en place des processus d’industrialisation des modèles de machine learning et des flux de données, en garantissant la scalabilité et la fiabilité des pipelines en production. • Automatiser la gestion et le traitement des données à grande échelle, en veillant à réduire les interventions manuelles tout en assurant une supervision proactive des performances et des anomalies. • Collaborer étroitement avec les data scientists et MLOps pour assurer une transition des projets de l’exploration à la production, en intégrant les modèles dans des pipelines automatisés. - Gestion des données et optimisation des performances : • Optimiser les performances des requêtes et des pipelines de traitement des données, en utilisant les meilleures pratiques en matière de gestion des ressources et d’architecture de stockage (raw, refined, trusted layers). • Assurer une surveillance continue de la qualité des données et mettre en place des contrôles de validation pour maintenir l’intégrité des jeux de données. - Sécurité et gouvernance des données : • Mettre en œuvre des solutions de sécurisation des données (gestion des accès, cryptage, audits) pour garantir la conformité avec les réglementations internes et externes. • Travailler en collaboration avec le Data Office pour assurer l’alignement avec les politiques et processus définis. • Maintenir la documentation technique des pipelines et des flux de données, en assurant la traçabilité et la gestion des métadonnées. COMPETENCES - Expérience confirmée en ingénierie des données : Solide expérience dans la conception, la mise en œuvre et l’optimisation de pipelines de données. - Maîtrise des technologies de traitement de données : Expertise dans l’utilisation d’outils et technologies tels que ELT, Spark, SQL, Python, Dataiku, et la gestion de data warehouses et data hubs. - Compétence en sécurité et gouvernance des données : Connaissance des enjeux de sécurité, de conformité réglementaire (GDPR), et de gouvernance des données, avec une capacité à implémenter des solutions adéquates. - Compétences en automatisation et industrialisation : Capacité à automatiser et industrialiser les flux de données et les traitements afférents, en assurant la transition fluide des projets data science vers la production. - Maîtrise de l’anglais : La maîtrise de l’anglais est indispensable pour interagir avec des parties prenantes

Contexte de la mission Au sein de la Direction des Systèmes d'Information d'un acteur majeur du secteur bancaire, vous intégrez une équipe Data en charge de la conception, du développement et du maintien en conditions opérationnelles des pipelines de données. Vous intervenez en transverse auprès de plusieurs directions métiers (Marketing, Fraude, Risque) pour répondre à leurs besoins en données fiables et accessibles. Missions principales Concevoir, développer et industrialiser les pipelines de données (batch et/ou temps réel) pour alimenter les cas d'usage métiers Développer et maintenir des APIs de mise à disposition des données Assurer le Build et le Run des solutions data : monitoring, gestion des incidents, optimisation des performances Collaborer avec les équipes métiers Marketing, Fraude et Risque pour comprendre les besoins, modéliser les flux de données et garantir la qualité des livrables Participer à l'industrialisation des déploiements via les outils XL Release et XL Deploy () Mettre en place et maintenir les workflows d'orchestration sur GCP Cloud Composer (Airflow) Contribuer à l'amélioration continue des pratiques (documentation, tests, revues de code) Stack technique Langages : Python, SQL Cloud : Google Cloud Platform (BigQuery, Cloud Storage, Pub/Sub…) Orchestration : Cloud Composer (Apache Airflow) CI/CD & Déploiement : XL Release, XL Deploy () Versioning : Git

Au sein de la Direction des Systèmes d'Information d'un acteur majeur du secteur bancaire, vous intégrez une équipe Data en charge de la conception, du développement et du maintien en conditions opérationnelles des pipelines de données. Vous intervenez en transverse auprès de plusieurs directions métiers (Marketing, Fraude, Risque) pour répondre à leurs besoins en données fiables et accessibles. Missions principales Concevoir, développer et industrialiser les pipelines de données (batch et/ou temps réel) pour alimenter les cas d'usage métiers Développer et maintenir des APIs de mise à disposition des données Assurer le Build et le Run des solutions data : monitoring, gestion des incidents, optimisation des performances Collaborer avec les équipes métiers Marketing, Fraude et Risque pour comprendre les besoins, modéliser les flux de données et garantir la qualité des livrables Participer à l'industrialisation des déploiements via les outils XL Release et XL Deploy () Mettre en place et maintenir les workflows d'orchestration sur GCP Cloud Composer (Airflow) Contribuer à l'amélioration continue des pratiques (documentation, tests, revues de code) Stack technique Langages : Python, SQL Cloud : Google Cloud Platform (BigQuery, Cloud Storage, Pub/Sub…) Orchestration : Cloud Composer (Apache Airflow) CI/CD & Déploiement : XL Release, XL Deploy () Versioning : Git

Notre client, acteur majeur du secteur de la grande distribution, recherche son futur Data Engineer (H/F) pour son site basé dans l'Aude, à 45 minutes de Toulouse, dans le cadre du développement et de l’évolution de ses outils de pilotage. ### Vos missions Intégré à l’équipe informatique du client, vous devrez : * Centraliser et fiabiliser les données issues des outils métiers (logistique, commerce, marketing, qualité, finance). * Concevoir et déployer des architectures robustes pour collecter, structurer et exploiter des volumes importants de données. * Développer, automatiser et optimiser les flux et traitements de données, notamment depuis l’environnement SAP BusinessObjects via l’ETL BODS. * Garantir la performance, la disponibilité et la pérennité des infrastructures data. * Collaborer étroitement avec les équipes métiers et les Data Analysts afin de fournir des données fiables et exploitables pour la prise de décision. Les compétences techniques * Maîtrise des langages : Python, C/C++, Java, Perl. * Solide expérience des environnements UNIX, Linux, Solaris. * Bonne connaissance des bases de données et du SQL. * Compréhension globale des enjeux Big Data. * Atouts complémentaires : Access, VBA, Google Cloud Platform (GCP).

Missions principales -Industrialiser et optimiser les traitements de données en s'appuyant sur Dataiku (scénarios, plugins, recettes avancées...). -Mettre en place une architecture data fiable et optimisée, principalement sur des solutions AWS (S3, Redshift, le Common Data Hub Engie). -Développer des solutions techniques de collecte de la donnée via des API. -Modéliser les données nécessaires aux analyses et aux usages métiers. -Assurer la qualité, la sécurité et le monitoring des flux de données. -Collaborer avec la Data Analyst pour garantir la mise à disposition des données pertinentes. -Participer à la définition des bonnes pratiques Data et à leur diffusion au sein de l'entreprise. -Contribuer à la documentation technique et à l'amélioration continue des environnements. -Assurer une veille technologique sur les solutions de stockage et traitement des données

Intégré à la DSI au sein de l’équipe Data Tech Knowledge de la direction IT DATA de notre client à Bordeaux , le Data Engineer participera à des projets autour de l’IA et de la data. La mission consiste à : Effectuer des alimentations de données . Collaborer avec un Data Analyst sur des projets IA/Data. Développer et travailler autour d’ agents IA pour le requetage SQL en langage naturel . Mettre à disposition des outils d’aide au développement et au monitoring . Assurer une veille technologique sur les architectures data et outils associés. Stack Technique : Langages : Python, SQL Bases de données : Snowflake, SQL Server, PostgreSQL DevOps : Git, TFS, Azure DevOps, Docker, Kubernetes, Liquibase Infrastructure as Code : Terraform Data Processing : DBT, Talend Data Ingestion : DLT, Kafka, Talend Data Visualisation : PowerBI

Dans le cadre d’un programme de transformation data, nous recherchons un Data Engineer AWS pour concevoir, optimiser et industrialiser des plateformes analytiques cloud natives sur AWS. Vous analyserez des architectures existantes, proposerez des trajectoires d’évolution (refonte des pipelines, modernisation vers des traitements serverless, optimisation des modèles analytiques) et guiderez leur mise en œuvre avec des services tels que AWS Glue, Athena, Redshift, S3 et Kinesis. Vous serez responsable de la conception et de la fiabilisation des pipelines d’ingestion et de transformation, de l’amélioration des performances et de l’intégration de mécanismes d’observabilité et de qualité des données. Vous travaillerez main dans la main avec les équipes Cloud et DevOps pour intégrer les traitements dans des pipelines CI/CD robustes et adaptés aux contraintes d’exploitation. Vous aurez également un rôle clé dans la transmission de connaissances, l’animation d’ateliers techniques et l’accompagnement des équipes client sur les meilleures pratiques de data engineering cloud native et d’usage avancé d’AWS. Votre mission combinera expertise technique, rigueur méthodologique et capacité à structurer des solutions scalables et pérennes.