Trouvez votre prochaine mission ou futur job IT.

La Direction des Systèmes d'Information recrute un Data Engineer pour concevoir, développer et maintenir les architectures Data nécessaires à l'exploitation des données par les analystes métiers et data scientists. Principales missions : - Mener les projets d'intégration (temps réel) et data (big data & insights) - Comprendre, analyser et proposer des solutions techniques répondant aux besoins des divers acteurs de la donnée (spécialistes métier, domain managers, architecte, data analystes et scientists) - Apporter un éclairage technique sur les architectures Cloud, dialoguer avec les fournisseurs de solutions et les consultants techniques - Dans une logique de mise en production, créer et déployer des pipelines de données robustes pour les data scientists et data analysts (collecte, stockage, transformation et exploitation) - Assurer une bonne qualité des données pour les projets Machine Learning (préparation, complétude, épuration, enrichissement) dans le but d'optimiser les performances des modèles - Améliorer les processus internes : localisation et traçabilité de la donnée, standardisation des flux et des scripts de traitement des données, documentation - Collaborer avec les équipes basées aux Pays-Bas pour faciliter le Data-Sharing, échanger sur les best-practices et les moyens d'optimiser les architectures - Contribuer à l'amélioration de la gouvernance sur la protection et la confidentialité des données Conception et mise en œuvre d'une plateforme d'intégration Azure à grande échelle, servant de hub central pour 20+ applications métier et orchestrant ~150 flux d'intégration batch et temps réel répartis sur 7 ODS. Développement de flux d'intégration avec Azure Service Bus, Azure Functions, Event Grid et Azure Data Factory pour synchroniser les données entre les différents systèmes. Développement d'orchestrations distribuées et persistantes avec Azure Durable Functions pour gérer des processus métier asynchrones. Conception et gouvernance des API d'intégration via Azure API Management selon une approche spec-first avec validation des contrats d'échange. Modélisation et optimisation des ODS afin de garantir la cohérence et la disponibilité des données opérationnelles. Optimisation des requêtes SQL et des traitements de données pour améliorer les performances et la fiabilité des flux. Développement de composants mutualisés (librairies Python, modules Bicep et Terraform) afin de standardiser les développements et accélérer l'intégration de nouveaux flux. Mise en place des pipelines CI/CD, automatisation des déploiements et amélioration de l'observabilité via la standardisation des logs et des métriques personnalisées.

Dans le cadre du renouvellement d'un partenaire stratégique et de l'évolution de ses plateformes décisionnelles, notre client recherche un Data Engineer Big Data confirmé H/F pour rejoindre les équipes Risque et Finance de la filière Reporting Finance, Data & Marketing. Vous évoluerez dans un environnement bancaire exigeant, où les enjeux de qualité des données, de performance, de sécurité, de traçabilité et de conformité réglementaire sont au cœur des projets. Vous contribuerez à la conception, au développement et à l'industrialisation de traitements data à forte volumétrie permettant d'alimenter les datamarts réglementaires et les systèmes de reporting Risque et Finance. Vos missionsAu sein d'une équipe Data Engineering, vous intervenez sur l'ensemble du cycle de vie des traitements de données. Conception et développementRecueillir et analyser les besoins fonctionnels et techniques. Concevoir des architectures de traitement distribuées performantes et évolutives. Développer des pipelines batch robustes en environnement Big Data. Réaliser des traitements Spark en Scala et des transformations SQL avancées. Intégrer des données provenant de sources multiples et hétérogènes. Participer aux choix de conception et aux revues techniques. Data Quality et gouvernanceMettre en œuvre des contrôles de qualité, de complétude et de cohérence des données. Identifier, analyser et corriger les anomalies de traitement. Garantir la traçabilité et la reproductibilité des flux de données. Assurer le respect des exigences réglementaires et de gouvernance des données. Performance et optimisationOptimiser les traitements Spark et SQL sur des volumes importants. Travailler sur les problématiques de partitionnement, parallélisme et gestion des ressources. Améliorer les performances des traitements et réduire les temps d'exécution. Identifier et résoudre les goulots d'étranglement techniques. Industrialisation et DevOpsConcevoir et maintenir les workflows d'orchestration sous Apache Airflow. Participer à la mise en œuvre des pipelines CI/CD. Industrialiser les déploiements et automatiser les processus. Mettre en place les mécanismes de supervision, d'alerting et de gestion des erreurs. Garantir la robustesse, l'idempotence et la résilience des traitements. Run et support de productionAssurer le suivi quotidien et mensuel des traitements. Participer à l'analyse et à la résolution des incidents de production. Suivre les rejets de données et piloter leur correction. Contribuer à l'amélioration continue de la plateforme data. Environnement techniqueTechnologies principalesScala Apache Spark SQL avancé Apache Airflow Hadoop / HDFS Apache Hive Presto / Trino Industrialisation & DevOpsGit CI/CD Automatisation des déploiements Monitoring & Logging Technologies complémentairesKafka Bases relationnelles (Oracle, PostgreSQL, SQL Server...) Bases NoSQL

Data Engineer Experimenté chez CATS à Vannes Renfort du Chapitre Data d'un profil Data Engineer Experimenté qui sera amené à intervenir au sein d'une squad du domaine régalien, dans un environnement Cloudera - en utilisant un framework interne entreprise – en lien avec PO/BA de la squad ainsi que l'équipe de Dev., ceci dans un cadre agile sujets : adaptations et réécritures des traitements réglementaires autour des arrêtés comptables, évolution des traitements de supervision, montée de version, documentation technique, 📝 Activités - Affiner les US avec le PO/BA, concevoir puis développer les solutions de collecte et de stockage des données (provenant de multiples sources) afin de le rendre disponibles pour les usages métiers : -- Concevoir et développer des pipelines via ETL interne basé sur spark / Automatiser l'ingestion de données depuis diverses source / Orchestrer les flux de données batch et temps réel - Mettre en œuvre les tests unitaires et automatisés - Déployer le produit dans les différents environnements - Garantir le bon fonctionnement du produit en production et assurer le suivi / l'assistance / la gestion des incidents y compris mise en place et optimisation du monitoring - Accompagner l'évolution des pratiques de l'équipe dans une logique d'amélioration continue de la qualité du code 🏦 Domaine d'activité : Domaine bancaire - équipe régalien (Expérience dans le domaine Bancaire très fortement apprécié) ⚙️ Compétences Techniques : Langage / ETL : Spark - streaming et batch (requis), Semarchy xDI (apprécié) Framework Big Data : Hadoop Cloudera (très fortement apprécié) Sensibilité forte aux enjeux métiers, de préférence avec le milieu bancaire 🧠 Compétences Humaines : Bonne communication / Pédagogue Prise de Lead / Force de proposition, Sait challenger les besoins Autonomie, Adaptabilité 🚀 XP : Experimenté (4 à 7 ans) 🗺️Localisation : Vannes : 3 jours sur le site

La mission consiste à : - Exposer les données utiles à l'entreprise pour les analyser et les utiliser afin d'améliorer l'expérience utilisateur et la productivité - Transformer des données issues du DataLake afin de les normaliser - Modéliser la sphère de données - Développer les flux - Exposer des données brutes et/ou agrégées au bon niveau de granularité aux différents métiers de l'entreprise - Travailler en lien avec des Data Scientists sur les données qu'il aura exposées - Mettre en place des rapports de Dataviz - Mission basée en métropole lilloise avec présence sur site 3j/semaine obligatoire Compétences demandées : - Première expérience en Data Engineering indispensable - Snowflake, GCP, BigQuery, DBT, SQL, Semarchy, Airflow, Python ... - Data Analyse sur Power BI un + - Excellents savoir-être : rigueur, esprit analytique et de synthèse, communication... - Méthode Agile - Anglais

Cartographier et documenter les sources de données Assurer la maintenance des différentes applications données (Data) déployées en production et des infrastructures Concevoir les solutions permettant le traitement de volumes importants de flux de données et ceci en toute sécurité Structurer le data lake Contribuer à la gestion des référentiels de données Intégration des données : · Capter et stocker, en toute sécurité, les données (structurées ou non) produites dans les différentes applications ou venant de l'extérieur de l'entreprise · Assurer la supervision et l'intégration des données de diverses nature qui proviennent de sources multiples · Vérifier la qualité des données qui entrent dans le Data Lake et s'assure de leur sécurité · Nettoyer la donnée (élimination des doublons…) et la valider pour une utilisation aval Animation des communautés : · Animer une communauté technique qui met en œuvre les dispositifs prévus ou nécessaires à l'application de la politique de la donnée Veille technologique : · Assurer une veille sur les technologies liées au traitement de la manipulation de la donnée et identifier les solutions utilisables · Mettre en œuvre des POC le cas échéant · Propose des évolutions pour les infrastructures et solutions de données en place Entrants · Normes et standards d'architecture d'entreprise · Plan d'occupation des sols (POS) et cartographies SI · Exigences métiers Principaux livrables · Dossier d'architecture (ou cadre technique) des solutions (plateformes) de traitement des données · Data lake adapté aux besoins actuels et futurs · Cartographie des données · Eléments permettant de garantir la qualité de la donnée · Rapport d'études de veille technologique, POC · Comptes rendus, plan d'actions animation communautés

Notre client dans le secteur Aérospatial et défense recherche un/une Data Engineer H/F Description de la mission : Dans le cadre d'un programme de transformation Data au sein d'un acteur majeur de l'aéronautique, nous recherchons un Data Engineer GCP en freelance afin de renforcer une équipe en charge d'un projet décisionnel stratégique dédié aux opérations au sol. La mission s'inscrit dans un contexte de migration et d'optimisation d'une plateforme Data Warehouse sur Google Cloud Platform. L'objectif est d'améliorer les performances des traitements, la qualité du code et l'organisation des référentiels Git tout en réduisant la dette technique. Missions principalesParticiper à l'évolution et à l'optimisation d'une plateforme Data Warehouse sur GCP Améliorer les performances des traitements et requêtes BigQuery Optimiser la structure, l'organisation et la maintenabilité des dépôts Git Contribuer à l'amélioration continue des pratiques de développement et de déploiement Participer à la mise en place et à l'amélioration des chaînes CI/CD Accompagner la migration des solutions BI vers l'environnement GCP Collaborer avec les équipes métiers afin de comprendre et valoriser les données opérationnelles Participer à la réduction de la dette technique et à la définition des bonnes pratiques de développement Environnement techniqueCompétences indispensablesGoogle Cloud Platform (GCP) BigQuery Git / GitHub CI/CD GitHub Actions ou outils équivalents Connaissances appréciéesData Warehouse / BI Optimisation de performances Data Méthodologies Agile (Kanban) Profil recherchéMinimum 5 ans d'expérience en Data Engineering Excellent esprit d'équipe Forte capacité d'intégration dans un environnement existant Sens de l'écoute Bonnes qualités de communication Autonomie et capacité à être rapidement opérationnel Challenges de la missionPrendre en main un projet comportant plusieurs dizaines de modules Optimiser les performances des traitements BigQuery à grande échelle Structurer durablement les pratiques de développement et les dépôts Git Poser des bases solides pour l'exploitation de la plateforme Data sur GCP Réduire la dette technique tout en accompagnant les évolutions fonctionnelles Compétences / Qualités indispensables : Java, Spark, GCP, Big Query Compétences / Qualités qui seraient un + : Expérience dans l'optimisation de plateformes Data à fort volume, Appétence pour les environnements métiers opérationnels complexes Informations concernant le télétravail : Oui — 4 jours/semaine

Bonjour, Pour le compte de l'un de mes clients dans le secteur du cosmétique, je suis à la recherche d'un Data Engineer Snowflake en recrutement sur mission. Nous recherchons un ingénieur de données (Data Engineer) possédant une solide expérience pratique de Snowflake et du développement SQL avancé. Le candidat idéal concevra & développera des solutions de données, tout en garantissant la qualité, la performance et l'évolutivité des données au sein des plateformes d'analyse et de Business Intelligence. Les responsabilités souhaitées : Développer et maintenir des modèles de données, des transformations et des pipelines de données en utilisant dbt & Snowflake. Écrire du code SQL avancé et optimisé pour gérer une logique métier complexe et des volumes de données importants. Concevoir des architectures de données évolutives garantissant haute performance et fiabilité. Collaborer avec les analystes de données, les data scientists et les parties prenantes métier pour fournir des données propres, fiables et structurées. Mettre en place des contrôles de qualité des données, la documentation et le contrôle de version pour les projets dbt. Surveiller les performances des pipelines de données et résoudre les problèmes de manière proactive. Participer à l'amélioration continue des meilleures pratiques en ingénierie des données.

Astrelya est un cabinet de conseil franco/suisse, en très forte croissance depuis sa création en 2017, spécialisé dans la transformation digitale, l'excellence opérationnelle et l'innovation technologique. Il est composé de 300 expert passionnés. Le cabinet accompagne ses clients sur l'ensemble du cycle de transformation, depuis la phase de cadrage jusqu'à la mise en œuvre opérationnelle, avec une expertise forte en Data/IA, Cloud, DevOps et méthodes agiles. Astrelya se distingue par un modèle fondé sur la proximité, la confiance et une culture humaine forte, qui place les collaborateurs au cœur de la création de valeur. Dans le cadre de notre développement, nous recherchons un Data Engineer – Plateforme Data B2C AWS / Databricks Contexte Vous rejoignez un programme stratégique de refonte d'une plateforme B2C à l'échelle mondiale, dans un environnement Agile Scrum. Description du poste En tant que Data Engineer, vous jouez un rôle clé dans la conception, le développement et l'évolution de la plateforme Data. Vous intervenez à la fois comme leader technique et acteur opérationnel avec pour objectif de garantir la qualité, la performance, la fiabilité et la maîtrise des coûts de la plateforme, tout en contribuant à la valorisation des données. Responsabilités principales Concevoir et développer des architectures Data cloud-native sur AWS, basées sur Databricks Garantir la qualité, la cohérence et la fiabilité des données tout au long de leur cycle de vie. Participer activement au développement conception et développement de pipelines Data ; traitements batch et streaming ; optimisation des performances. Définir, mettre en œuvre et promouvoir les bonnes pratiques de Data Engineering Mettre en place des mécanismes de monitoring et de contrôle de la qualité des données Piloter l'optimisation des coûts AWS et Databricks liés aux traitements Data dans une démarche FinOps. Accompagner les Data Engineers et développeurs Collaborer étroitement avec les équipes Produit et IT, dans un environnement international et multiculturel. Stack technique Data & Cloud Databricks AWS : S3, EC2, RDS, Lambda Langages & Frameworks Java SQL Apache Spark DevOps & CI/CD GitHub Enterprise ArgoCD SonarQube Intégration & Services Kafka PostgreSQL Collaboration & Agile Jira Confluence Agile Scrum Soft Skills Leadership technique : capacité à guider, structurer et faire grandir une équipe Data. Vision transverse : compréhension des enjeux métiers, Data et Cloud, et capacité à les mettre en perspective. Communication : aptitude à vulgariser des concepts techniques et à communiquer efficacement avec différents interlocuteurs. Esprit collaboratif et interculturel : capacité à travailler efficacement avec des équipes internationales. Proactivité et adaptabilité : capacité à anticiper les risques liés à la qualité, aux coûts et aux performances, et à évoluer dans un contexte Agile.

Data Engineer Senior, votre périmètre d'action porte sur la conception, le développement et les opérations de solutions data. Vous contribuez aux évolutions et aux opérations des produits existants en apportant votre expertise sur le Data Engineering (transformation, modeling). Les équipes sont constituées de squad dédiées à différentes problématiques métier. L'environnement technologique, riche, est multicloud (Amazon Web Services, Microsoft Azure) et nécessite une très bonne connaissance des modèles sémantiques sous Power BI Premium.

Dans le cadre du renforcement d'une équipe Data, nous recherchons un(e) Data Engineer pour intervenir sur une plateforme Data à fort volume, au sein d'un environnement international et orienté produit. Vous rejoindrez une équipe technique en charge de construire, industrialiser et faire évoluer des solutions permettant de collecter, transformer, fiabiliser et exposer la donnée à destination des équipes Data et métiers. L'environnement repose sur une Modern Data Stack, avec une architecture de type Lakehouse, et de forts enjeux autour de la scalabilité, de l'automatisation et de la qualité des données. Vos missionsConcevoir, développer et maintenir des pipelines de données robustes et scalables. Collecter, transformer et mettre à disposition des données provenant de différentes sources. Développer des traitements en Python / PySpark / SQL. Orchestrer les pipelines de données et les workflows avec Airflow. Participer à la modélisation et à la structuration des données. Développer et maintenir les transformations avec dbt. Mettre en place des contrôles permettant de garantir la qualité et la fiabilité des données. Optimiser les performances et les coûts des traitements. Participer à l'amélioration continue de la plateforme Data. Contribuer aux sujets de Data Governance, Data Lineage et Data Contracts. Appliquer les bonnes pratiques de Software Engineering : Git, GitHub, CI/CD, tests et documentation. Travailler en étroite collaboration avec les Data Engineers, Analytics Engineers, Data Analysts et Data Scientists. Environnement techniqueCloud : AWS / GCP Data Platform : Databricks, S3 Processing : Spark / PySpark Langages : Python, SQL, idéalement Scala Orchestration : Airflow Transformation : dbt Data Quality : Great Expectations Versioning / Delivery : Git, GitHub, CI/CD Data : Lakehouse, Data Lineage, Data Governance, Data Contracts Méthodologies : Agile / Scrum / Kanban

Dans le cadre d'un vaste programme de modernisation du Système d'Information, nous recherchons un Data Engineer pour accompagner la transformation et la valorisation des données au sein d'un environnement à forts enjeux métiers. Vous contribuerez à la construction d'un écosystème Data moderne permettant de fiabiliser, centraliser et exploiter les données issues de multiples applications historiques et nouvelles plateformes digitales. Missions : Concevoir et développer les flux d'intégration et de transformation de données. Participer à la construction et à l'évolution des plateformes de données. Industrialiser les processus d'alimentation des entrepôts de données et datamarts. Assurer la qualité, la cohérence et la traçabilité des données. Optimiser les performances des traitements et des pipelines Data. Collaborer avec les équipes métiers, BI, Architecture et Développement. Contribuer à la mise en place des bonnes pratiques DataOps et CI/CD. Participer aux projets de migration et de modernisation du patrimoine applicatif.

Nous recherchons actuellement un(e) Data Engineer Senior pour accompagner une équipe Data sur des sujets à forts enjeux autour de la Data Engineering, du Big Data et des architectures Lakehouse. 🔎 1 Data Engineer Senior 🎯 Missions principales : · Concevoir, développer et optimiser des pipelines de données à grande échelle · Mettre en œuvre des flux batch, streaming et ingestion via API · Structurer les transformations selon le modèle Médaillon (Bronze / Silver / Gold) · Développer et industrialiser les pipelines avec DBT, Spark et Iceberg · Contribuer à l'évolution et à l'optimisation de l'architecture Lakehouse · Déployer et maintenir les pipelines dans un environnement Cloud AWS · Orchestrer les workflows ETL / ELT avec Airflow · Mettre en œuvre l'Infrastructure as Code avec Terraform · Travailler sur des environnements conteneurisés avec Docker / Kubernetes · Garantir la disponibilité, la supervision et l'observabilité des traitements · Participer à la gestion des incidents et à l'amélioration continue · Définir et mettre en œuvre les règles de qualité des données : tests, validations et contrôles automatisés · Documenter les architectures, pipelines et règles métier · Garantir la conformité des flux, notamment dans le respect des exigences RGPD ⚙️ Environnement technique : · DBT / Data Catalog · Apache Spark · Apache Iceberg · AWS : Glue, EMR, S3… · Terraform · Airflow · Python · Trino / Starburst · Datadog · Docker / Kubernetes · Architectures Big Data / Lakehouse · Modélisation et collecte de données 🧑‍💻 Profil recherché : · Minimum 8 ans d'expérience en Data Engineering · Expertise confirmée des architectures Big Data et Lakehouse · Très bonne maîtrise de DBT, Spark, Iceberg, AWS et Terraform · Solide expérience sur les services AWS, notamment Glue, EMR et S3 · Connaissance de Trino / Starburst et Datadog · Bon niveau en Python · Forte capacité d'analyse et de compréhension des enjeux métiers · Expérience dans l'accompagnement et l'encadrement de profils juniors · Autonomie, rigueur et forte culture de l'amélioration continue 🌍 Contexte : · Environnement Data à grande échelle · Projets autour de la modernisation et de l'industrialisation des plateformes Data · Forts enjeux Lakehouse, Data Quality, Observabilité et Cloud · Collaboration avec des équipes Data, IT et métiers 📍 Localisation : Île-de-France – Hybride 🏠 Télétravail : 3 jours par semaine 📅 Démarrage : fin août 2026 💼 Mission longue durée Si vous êtes intéressé(e) ou connaissez un(e) Data Engineer Senior correspondant à ce profil, n'hésitez pas à me contacter en MP ou directement par téléphone. Cordialement,

Vos missions ? Intégré(e) à nos équipes ou chez nos clients, vous contribuez à développer et valoriser l'ensemble des données en résolvant des problématiques business concrètes via les technologies liées à la Data A ce titre, vos missions seront les suivantes : - Concevoir et mettre en place des architectures de données en choisissant les technologies adaptées aux besoins. - Gestion des bases de données en garantissant la performance et la scalabilité des solutions de stockage. - Analyser et explorer les données avec les différents outils. - Mettre en place des tableaux de bord avec Power BI ou Tableau en exploitant les données transformées via Talend. - Interagir avec les équipes métier pour comprendre et les besoins. - Utiliser TALEND pour extraire des données depuis plusieurs sources (SQL, API, Excel ...). - Automatiser les processus ETL pour centraliser les données dans un Data Wrehouse (Snowflake). - Participation aux projets IA. Compétences requises : - Snowflake, Talend - Analyse de données (PowerBI, Tableau) - Base de données (SQL, GCP) - Langages: Python, SQL

Vos missions ? Intégré(e) à nos équipes ou chez nos clients, vous contribuez à développer et valoriser l'ensemble des données en résolvant des problématiques business concrètes via les technologies liées à la Data A ce titre, vos missions seront les suivantes : - Concevoir et mettre en place des architectures de données en choisissant les technologies adaptées aux besoins. - Gestion des bases de données en garantissant la performance et la scalabilité des solutions de stockage. - Analyser et explorer les données avec les différents outils. - Mettre en place des tableaux de bord avec Power BI ou Tableau en exploitant les données transformées via Talend. - Interagir avec les équipes métier pour comprendre et les besoins. - Utiliser TALEND pour extraire des données depuis plusieurs sources (SQL, API, Excel ...). - Automatiser les processus ETL pour centraliser les données dans un Data Wrehouse (Snowflake). - Participation aux projets IA. Compétences requises : • ETL: Talend • Analyse de données (PowerBI, Tableau) • Base de données (SQL, GCP) • Langages: Python, SQL

Il est garant de l'accès qualitatif aux sources de données. Il s'assure de la maîtrise de la donnée et est garant de la qualité de son utilisation (référencement, normalisation, et qualification) afin d'en faciliter l'exploitation par les équipes (Data Analysts et Data Scientists). Il contribue également à la définition de la politique de la donnée et à la structuration de son cycle de vie dans le respect des réglementations en vigueur, en collaboration avec le Chief Data Officer. Son périmètre d'intervention est axé sur les systèmes applicatifs autour de la gestion de la donnée et du traitement, et sur les plateformes Big Data, IoT, … QUALIFICATION ET GESTION DES DONNÉES : • Capte les données (structurées et non structurées) produites dans les différentes applications ou à l'extérieur de l'entité • Intègre les éléments • Structure la donnée (sémantique, etc.) • Cartographie les éléments à disposition • Nettoie la donnée (élimination des doublons, …) • Valide la donnée • Éventuellement, il crée le référentiel de données Résultat attendu Le prestataire devra développer un outil dans databricks qui permet de filtrer les clients selon des critères définis par le client. Il devra livrer une interface permettant d'activer ou désactiver les filtres et produire des rapports sur les clients sélectionnés ce jour. Il devra développer un ETL en utilisant les services AWS les plus adaptés: notamment AWS Step Functions pour l'orchestration / moteur de workflow AWS lambda pour des traitements légers AWS Aurora ou RDS comme BDD relationnelle transactionnelle Eventuellement Databricks si besoin d'offload pour des charges de traitements / transformations lourdes Les données entrantes seront récupérés via des API ou des fichiers plats Les données sélectionnées et transformées seront envoyées dans une 20aine d'API