Trouvez votre prochaine mission ou futur job IT.

Contexte La mission vient dans le contexte d'un projet de gestion (Build + Run) d'une plateforme data sur GCP pour les données de l'entreprise. Interlocuteurs : Directeur Data, Data Analysts, Data Engineers, Data Scientists, Product Owners, Équipe Métier. Missions Mise en place de pipelines d'ingestion des données cliniques depuis les systèmes on-premise vers GCP (Python, GCS, BigQuery, Argo Workflows, Docker, GKE). Transformation des données via dbt selon les modèles métiers définis. Gestion de l'infrastructure cloud de la plateforme data (création des ressources, gestion des accès) avec Terraform. Orchestration et automatisation des workflows de données sur GKE via Argo Workflows. Développement du backend d'un portail utilisateur pour l'accès aux services de la plateforme (Flask). Création d'un connecteur entre GCP et l'outil de dictionnaire des données pour la remontée et la restitution des métadonnées (Python, DataGalaxy). Développement, maintenance des chaînes CI/CD (Git, Gitlab CI/CD). Mise en place de la supervision et du monitoring des pipelines de données. Rédaction de la documentation technique liée aux développements réalisés.

Concevoir, développer et maintenir des pipelines de données robustes et performants. Développer et industrialiser les transformations de données avec DBT. Concevoir et optimiser les modèles de données dans BigQuery. Intégrer différentes sources de données au sein de l'écosystème Google Cloud Platform. Garantir la qualité, la fiabilité et la disponibilité des données. Optimiser les performances des traitements et des requêtes SQL. Mettre en place des tests et contrôles de qualité des données. Participer à l'automatisation des déploiements et aux pratiques CI/CD / DataOps. Contribuer à la documentation technique et au respect des standards Data. Collaborer avec les Data Analysts, Data Scientists, équipes métiers et équipes Cloud/DevOps. Participer aux problématiques de gouvernance, sécurité et traçabilité des données propres au secteur bancaire.

Vous aimez les plateformes de données qui tournent vraiment en production ? Rejoignez l'équipe qui fait vivre le datalake des fonctions Technologies & Opérations d'un grand groupe bancaire. La DSI fournit aux directions technologiques, aux opérations et à la banque de proximité les applications et les données dont elles ont besoin au quotidien. Le datalake Hadoop en est une pièce centrale : il alimente le pilotage et les usages analytiques de plusieurs directions. Vous intervenez en lien direct avec la production applicative et l'équipe DevOps, au sein d'une équipe IT internationale. Vos principales missions : Concevoir et mettre en production de nouvelles ingestions de données : collecte, préparation, transformation. Maintenir et faire évoluer les outils de gestion des pipelines de données (PySpark, shell scripting). Porter auprès de l'équipe DevOps les évolutions nécessaires de la plateforme. Rédiger des spécifications techniques claires et exploitables par l'équipe. Ce que la mission vous apporte : Un datalake en production, avec de vrais volumes et de vrais utilisateurs métier. Une équipe internationale : l'anglais est utilisé au quotidien. Une ouverture vers le cloud (GCP / BigQuery) pour qui veut élargir sa stack. Environnement technique : Hadoop, PySpark, Spark, Hive, Python, SQL, Git, Jenkins, Jira, Unix / Linux — Scrum.

Cartographier et documenter les sources de données Assurer la maintenance des différentes applications données (Data) déployées en production et des infrastructures Concevoir les solutions permettant le traitement de volumes importants de flux de données et ceci en toute sécurité Structurer le data lake Contribuer à la gestion des référentiels de données Intégration des données : · Capter et stocker, en toute sécurité, les données (structurées ou non) produites dans les différentes applications ou venant de l'extérieur de l'entreprise · Assurer la supervision et l'intégration des données de diverses nature qui proviennent de sources multiples · Vérifier la qualité des données qui entrent dans le Data Lake et s'assure de leur sécurité · Nettoyer la donnée (élimination des doublons…) et la valider pour une utilisation aval Animation des communautés : · Animer une communauté technique qui met en œuvre les dispositifs prévus ou nécessaires à l'application de la politique de la donnée Veille technologique : · Assurer une veille sur les technologies liées au traitement de la manipulation de la donnée et identifier les solutions utilisables · Mettre en œuvre des POC le cas échéant · Propose des évolutions pour les infrastructures et solutions de données en place Entrants · Normes et standards d'architecture d'entreprise · Plan d'occupation des sols (POS) et cartographies SI · Exigences métiers Principaux livrables · Dossier d'architecture (ou cadre technique) des solutions (plateformes) de traitement des données · Data lake adapté aux besoins actuels et futurs · Cartographie des données · Eléments permettant de garantir la qualité de la donnée · Rapport d'études de veille technologique, POC · Comptes rendus, plan d'actions animation communautés

La mission consiste à : - Exposer les données utiles à l'entreprise pour les analyser et les utiliser afin d'améliorer l'expérience utilisateur et la productivité - Transformer des données issues du DataLake afin de les normaliser - Modéliser la sphère de données - Développer les flux - Exposer des données brutes et/ou agrégées au bon niveau de granularité aux différents métiers de l'entreprise - Travailler en lien avec des Data Scientists sur les données qu'il aura exposées - Mettre en place des rapports de Dataviz - Mission basée en métropole lilloise avec présence sur site 3j/semaine obligatoire Compétences demandées : - Première expérience en Data Engineering indispensable - Snowflake, GCP, BigQuery, DBT, SQL, Semarchy, Airflow, Python ... - Data Analyse sur Power BI un + - Excellents savoir-être : rigueur, esprit analytique et de synthèse, communication... - Méthode Agile - Anglais

Intégration / Modélisation / Restitution de données – Sustainability Contexte de la mission Dans le cadre de l'optimisation et de l'unification de ses capacités analytiques transversales, une grande entreprise internationale recherche un consultant Data Analytics Engineer autonome pour une mission d'intégration, de modélisation et de restitution de données Sustainability stratégiques. Cette initiative vise à fournir une vision consolidée et exploitable des indicateurs clés provenant de diverses sources externes, essentielles à la prise de décision stratégique et opérationnelle. Contrainte forte du projet Couvrir des cas d'usage analytiques à destination du département Sustainability avec une forte contrainte de qualité et de traçabilité de la donnée. Livrables Dashboard de suivi des consommations d'eau Dashboard de suivi des consommations d'énergie Dashboard de suivi du gaspillage alimentaire Objectifs de la mission Établir et sécuriser des connexions techniques robustes et évolutives avec les systèmes sources identifiés (Ressource Advisor, référentiels internes). Extraire et charger les données des domaines fonctionnels Corporate clés : finance, ressources humaines, référentiels, achats, etc. Concevoir et implémenter des pipelines d'ingestion automatisés, fiables et performants, garantissant l'intégrité et la fraîcheur des données. Structurer et modéliser les données dans un Data Warehouse Snowflake de manière logique, modulaire, réutilisable et optimisée pour l'analyse et la restitution. Mettre en place des mécanismes de gouvernance des données : gestion des métadonnées, logiques de rafraîchissement, suivi de la qualité des données et gestion des erreurs. Développer des vues et agrégats de données spécifiques aux besoins de restitution et d'analyse pour les départements Sustainability et leurs collaborateurs en région. Documenter de manière exhaustive les pipelines d'ingestion, les modèles de données (logique et physique), les règles de transformation et les points de reprise afin d'assurer la maintenabilité et la transférabilité. Environnement technique Sources : multiples systèmes (Ressource Advisor, référentiels internes – via APIs, exports ou connecteurs natifs) Destination : Snowflake – Data Warehouse Cloud Orchestration : Airflow Transformation : DBT Core / SQL, Python (Pandas/PySpark) ou équivalent Modélisation : DrawIO, Lucidchart ou autre outil libre Visualisation / Restitution : Tableau CI/CD / Versioning : GitLab, GitHub Documentation : Confluence, Jira, SharePoint Compétences techniques Snowflake : Confirmé – Impératif DBT : Confirmé – Important Airflow : Confirmé – Important Tableau : Confirmé – Souhaitable Data modeling analytique : modèles dimensionnels, Data Vault, architecture médaillon ou autres architectures d'entrepôt de données Ingestion et transformation de données dans un environnement cloud Orchestration de pipelines de données Versioning et pratiques CI/CD Documentation technique et fonctionnelle Profil recherché Maîtrise des techniques d'ingestion et de transformation de données dans un environnement cloud, notamment Snowflake. Solides compétences en data modeling analytique. Excellentes pratiques en matière d'orchestration de pipelines de données, de versioning de code et de documentation technique et fonctionnelle. Capacité à travailler efficacement au sein d'une équipe Agile suivant la méthodologie Scrum. Forte capacité à travailler en autonomie, à prendre des initiatives et à interagir efficacement avec les équipes techniques et les interlocuteurs métiers. Capacité à comprendre et traduire des besoins métiers complexes en solutions techniques de données. Anglais professionnel – Impératif Bonus importants Connaissance des structures de données et des processus métier typiques d'un grand groupe international dans l'hôtellerie ou un secteur similaire. Expérience dans l'utilisation de l'IA et des Agent LLM dans le delivery, que ce soit pour la conception, la documentation, le développement ou les tests.

En tant qu'Ingénieur Support & Fiabilité, vous serez responsable de la gestion et de l'assurance de la fiabilité des systèmes et processus de données au sein du département Data Technology. Vous travaillerez en étroite collaboration avec les équipes de développement, les ingénieurs de données et les data scientists pour garantir la disponibilité, la qualité et la performance des pipelines de données et des systèmes sous-jacents. Support et opérations des données Fournir un support de niveau 1 pour les domaines de données, gérer les alertes et incidents pendant le shift de Paris. Objectifs et livrables : Mettre en place les meilleures pratiques de support et la documentation Agir en tant que gatekeeper pour la gestion des versions de données (processus CMRM), gestion de la fiabilité des données Maintenir des pipelines de données fiables et évolutifs (collecte, stockage, traitement, livraison) Mettre en œuvre une surveillance proactive pour la qualité, l'intégrité et la cohérence des données Définir et appliquer les politiques de gestion des données (sauvegarde, récupération, sécurité) Automatisation et meilleures pratiques Automatiser les tâches de données récurrentes pour améliorer l'efficacité et réduire les erreurs Établir une surveillance continue pour détecter les anomalies Promouvoir les meilleures pratiques de développement axées sur la fiabilité des données Collaboration inter fonctionnelle Travailler avec les équipes de développement, quant dev, ingénieurs data et data scientists pour comprendre les besoins Résoudre ensemble les problèmes liés aux données Fournir des conseils techniques sur la gestion des données avec les meilleures pratiques

Nous recherchons pour le compte de notre client dans le domaine de la banque, un(e) Data Engineer GCP. Environnement technique GCP, BigQuery, Cloud Storage, SQL, Python (orienté objet), Pandas, Dask, Bash scripting, Git, méthodologie Agile/SCRUM. Un plus : Cloud Functions, SAS, Alteryx, XLD/XLR, ControlM, Hadoop, Spark. Contexte Au sein de la direction IT d'un grand groupe bancaire, l'équipe Technologies & Opérations met à disposition des différents pôles métiers (transformation, workplace, banque de proximité) l'ensemble des applications nécessaires à leur activité. Le consultant interviendra sur le projet DatOps, en soutien à l'équipe de production applicative et devops, pour répondre aux besoins techniques exprimés par les métiers. Missions Mettre en place de nouveaux flux d'ingestion et réaliser les travaux de préparation et transformation de données Faire évoluer et maintenir les outils de gestion des pipelines de données Relayer auprès de l'équipe devops les besoins d'évolution de la plateforme Compétences attendues GCP, BigQuery, Cloud Storage, SQL, Python orienté objet, Pandas, Dask, Bash, Git, Cloud Functions, SAS, Alteryx, XLD/XLR, ControlM, Hadoop, Spark, Agile/SCRUM, Anglais professionnel

Dans le cadre de la modernisation d'une plateforme décisionnelle au sein d'un acteur de l'épargne salariale et de la retraite, nous recherchons un Data Engineer / Data Architect Senior. La mission s'inscrit dans un programme de transformation visant à faire évoluer une plateforme BI existante vers une architecture moderne de type Lakehouse, tout en garantissant la continuité des services actuellement proposés. Vous rejoindrez l'équipe Cœur-Data, composée de cinq personnes, et travaillerez en étroite collaboration avec les équipes métier, la MOA et les équipes techniques transverses. Objectifs de la missionL'objectif principal sera de concevoir et mettre à disposition des données structurées, fiables et exploitables par l'équipe Marketing. Vous interviendrez notamment sur : La définition de l'architecture et de l'organisation du Lakehouse ; La conception de solutions de collecte, de stockage et de transformation des données ; La migration et la modernisation progressive des traitements existants ; L'industrialisation et le suivi des pipelines de données ; La mise à disposition de données brutes et transformées pour les usages analytiques et la datavisualisation. Principales responsabilitésEn tant que Data Engineer / Data Architect Senior, vous serez amené à : Concevoir l'organisation des données et des flux au sein d'un environnement Lakehouse basé sur S3 ; Développer des pipelines de traitement avec Python, Spark et PySpark ; Mettre en place et maintenir les traitements d'ingestion et de transformation ; Participer à l'ordonnancement des traitements avec Dagster ; Contribuer à l'exposition des données via Trino et les outils de datavisualisation ; Développer les solutions de collecte et de stockage répondant aux besoins métiers ; Mettre en place les tests unitaires et les contrôles nécessaires à la qualité des développements ; Assurer le suivi des traitements et identifier les éventuels incidents ou blocages ; Rédiger et maintenir la documentation technique ; Participer à la recette avec la MOA et les utilisateurs ; Estimer les charges et contribuer au suivi de l'avancement du projet ; Réaliser des études en collaboration avec les équipes transverses ; Participer à l'amélioration continue des processus de développement et d'exploitation. Environnement techniquePlateforme ciblePython ; Apache Spark / PySpark ; SQL ; Amazon S3 ; Dagster ; Trino ; Git ; Jenkins. Environnement existantInformatica ; DAC ; Oracle 19 ; Outils BI et de reporting. Outils projetJira ; Confluence ; Windows 10 avec WSL.

Pour le compte d'un acteur bancaire, nous recherchons un Data Platform Engineer GCP spécialisé réseau et sécurité. Il interviendra sur une plateforme Data Google Cloud hybride et multi-régions, connectée à un datacenter on-premise. Objectifs de la mission : Basculer les APIs et microservices de la plateforme Data vers un réseau privé, sans exposition Internet publique Finaliser la recette de l'interconnexion hybride GCP–Datacenter et lever les blocages de routage et de pare-feu Migrer les flux Kafka temps réel sur le lien Cloud Interconnect dédié Industrialiser le socle réseau et sécurité en Terraform via GitLab CI Mettre en place l'authentification centralisée (PingFederate, OIDC/SAML) et aligner les APIs sur les normes de sécurité bancaires Principales tâches : Raccorder les VPC Spokes au hub NCC et valider le routage BGP Déployer des Internal Load Balancers L7 et des Serverless NEGs vers Cloud Run Configurer le DNS Peering et les zones Cloud DNS privées Développer des modules Terraform réutilisables sur 4 environnements (Dev, Staging, Préprod, Prod) Mettre en place les politiques Zero-Trust (Cloud Armor, IAP) Provisionner Cloud SQL en IP privée et gérer le chiffrement KMS/CMEK Livrables attendus : DAT, matrice de flux réseau, cahier de recette et PV de connectivité, modules Terraform documentés, runbooks de dépannage, transfert de compétences aux équipes internes.

Dans le cadre des programmes stratégiques de transformation Data du Groupe, le consultant intégrera le Cloud Center of Excellence et participera à la conception, au développement et à l'exploitation des plateformes de données. La mission consiste à construire des pipelines de données robustes et industrialisés, concevoir des architectures Data modernes (Data Lake, Data Warehouse, Data Mart), garantir la qualité et la disponibilité des données, et accompagner les équipes métiers dans leurs besoins analytiques. Le consultant sera également impliqué dans les projets de migration, d'intégration et d'optimisation des traitements ETL/ELT tout en appliquant les standards de développement, de sécurité et de gouvernance définis par le Groupe. Missions principales Concevoir et développer des pipelines ETL/ELT avec Talend, SSIS et Azure Data Factory Mettre en place les infrastructures nécessaires à l'extraction, la transformation et au chargement des données Développer des composants ETL réutilisables et industrialisés Mettre en œuvre les mécanismes d'alimentation des données (Full Load, Delta Load, historisation) Assurer le support, le débogage et la résolution d'incidents de production Participer à la conception et à l'évolution des Data Lakes Intégrer les données via API, transferts de fichiers et autres mécanismes d'ingestion Concevoir et maintenir des Data Warehouses, Data Marts et cubes analytiques Réaliser la modélisation et l'assemblage de jeux de données complexes répondant aux besoins métiers Collaborer avec les Product Owners, équipes Data, administrateurs et équipes plateformes Participer aux phases de Data Discovery et Data Scoping Contribuer aux cérémonies Agile et aux activités d'amélioration continue Garantir les bonnes pratiques de développement, de qualité et de déploiement Participer à l'automatisation des déploiements et à l'intégration continue

Nous recherchons un(e) Data Engineer confirmé(e) / Senior, disposant d'une solide expérience sur Google Cloud Platform (GCP), pour rejoindre une nouvelle équipe dédiée aux données clients et marketing. L'équipe intervient sur différents systèmes sources, sur une plateforme Data centralisant et valorisant les données, ainsi que sur un service dédié à la personnalisation des parcours et expériences clients. L'objectif du projet est de construire une plateforme permettant de fournir aux modèles de Machine Learning des données de personnalisation fiables, pertinentes et facilement exploitables. Dans un premier temps, vous interviendrez sur l'amélioration et la fiabilisation des données provenant de différentes sources de tracking et de données commerciales. Vous participerez ensuite au développement de la plateforme Data centrale du projet. Vos missionsConcevoir, développer et maintenir des pipelines de données robustes et scalables. Collecter, transformer et intégrer des données provenant de différentes sources. Participer à la conception et à l'évolution de la Data Platform. Contribuer au développement d'un service de contexte et personnalisation client. Préparer et enrichir les données destinées aux modèles de Machine Learning. Garantir la qualité, la fiabilité et la disponibilité des données. Participer à la conception des architectures et flux Data. Mettre en place des contrôles et bonnes pratiques de Data Quality. Collaborer avec les équipes Data, ML, Marketing et les équipes techniques. Participer aux tests, à la documentation et au déploiement des solutions. Contribuer à l'amélioration continue de l'architecture et des processus Data.

Hello ! Nous c'est WEKEY ! Nous ne sommes ni une ESN ni un cabinet de recrutement. Aaah mais qui sommes-nous alors ? Pour tout savoir sur nous et votre future mission c'est par ici 😁⬇ Vous êtes Data Engineer H/F et vous recherchez une mission en freelance ? Nous avons le projet qu'il vous faut pour l'un de nos clients basé à Niort. CE QUI VOUS ATTEND👀 Dans le cadre de la mission votre rôle sera : Assurer le fonctionnement quotidien et le maintien en conditions opérationnelles de l'activité Data • Créer et maintenir des tableaux de bord et reportings • Suivre, contrôler et fiabiliser les pipelines de données • Exposer et valoriser les données pour développer de nouveaux services • Participer aux travaux de segmentation, de cartographie et de géolocalisation • Contribuer à la réflexion sur le stockage et l'exploitation des documents métier

Notre client dans le secteur Banque et finance recherche un/une Data Platform Engineer GCP H/F Description de la mission : Contexte Intervention au sein d'une plateforme Data Google Cloud (GCP) en environnement hybride multi-régions, connectée à un datacenter on-premise. Le périmètre comprend Cloud Interconnect, Network Connectivity Center (NCC), Load Balancers internes (ILB L7), Serverless NEGs, Cloud Run, Cloud SQL, Cloud DNS privé, PingFederate (OIDC/SAML), Cloud Armor, Terraform et GitLab CI. Les objectifs sont de sécuriser les flux de la plateforme Data en basculant les APIs et microservices vers un réseau sans exposition publique à Internet, de finaliser la recette opérationnelle de l'interconnexion GCP-datacenter, de migrer les flux Kafka vers le lien dédié, d'industrialiser le socle réseau et sécurité avec Terraform et GitLab CI, et de mettre en œuvre l'authentification centralisée conformément aux normes de sécurité bancaires. Mission L'ingénieur Data Platform intervient sur la connectivité réseau hybride GCP, le déploiement de services privés, la sécurisation des accès et l'industrialisation de l'infrastructure. Il contribue également à la migration des flux de données et accompagne les équipes applicatives sur l'interfaçage sécurisé de leurs APIs. Principales responsabilités Diagnostiquer et résoudre les blocages de connectivité, de routage et de pare-feu entre les postes d'entreprise et les Load Balancers internes GCP. Raccorder les VPCs Spokes Data au hub central NCC et valider le routage BGP. Déployer des Load Balancers internes L7 et des Serverless NEGs reliés aux microservices Cloud Run. Mettre en place le DNS Peering avec le hub DNS central et configurer les zones Cloud DNS privées. Industrialiser les infrastructures réseau et sécurité avec des modules Terraform réutilisables sur les environnements Dev, Staging, Préprod et Prod. Basculer les flux de streaming Kafka sur le lien Cloud Interconnect dédié. Configurer les politiques d'accès Zero-Trust avec Cloud Armor, IAP et PingFederate. Provisionner et sécuriser des bases Cloud SQL managées en IP privée, assurer l'isolation et la conformité du chiffrement KMS/CMEK, et conseiller les équipes applicatives sur la sécurisation de leurs APIs. Environnement technique Cloud et réseau : Google Cloud (GCP), Cloud Interconnect, Network Connectivity Center (NCC), Cloud Router, BGP, VPC, Private Google Access Load balancing et services : Internal Load Balancer HTTP(S) L7, Proxy-only subnets, Serverless NEGs, Cloud Run, Direct VPC Egress Infrastructure et CI/CD : Terraform, GitLab CI DNS et sécurité : Cloud DNS, DNS Peering, Cloud Armor, Identity-Aware Proxy (IAP), PingFederate, OIDC/SAML, KMS/CMEK Data : Kafka, TLS/SASL, Cloud SQL, dbt Diagnostic : VPC Flow Logs, Cloud Logging, analyse de paquets TCP, tables de routage et pare-feu Livrables attendus Dossier d'Architecture Technique (DAT) validé et matrice d'ouverture de flux réseau formalisée par environnement. Cahier de recette technique et procès-verbal de validation de la connectivité Ingress/Egress. Dépôts de modules Terraform documentés et pipelines GitLab CI associés. Runbooks de dépannage réseau et sécurité. Sessions formelles de transfert de compétences auprès des ingénieurs internes de l'équipe Plateforme Data.

Contexte : La mission s'inscrit dans le cadre du projet DatOps. Le Data Engineer interviendra en lien étroit avec les équipes de production applicative / DevOps afin de mettre en œuvre techniquement les demandes métiers et de faire évoluer la plateforme Data. Missions principales Mettre en œuvre de nouvelles ingestions de données. Réaliser les opérations de Data Preparation et transformation. Maintenir et faire évoluer les pipelines de données. Participer aux évolutions techniques de la plateforme. Formaliser et transmettre à l'équipe DevOps les demandes d'évolution. Contribuer au maintien et à l'amélioration des solutions Data existantes. Rédiger des spécifications techniques claires et précises. Compétences indispensables Très bonne maîtrise attendue de : GCP – Google Cloud Platform BigQuery Cloud Storage SQL Python orienté objet Pandas et/ou Dask Bash scripting Git Une expérience en environnement Agile / Scrum est également attendue. Anglais professionnel indispensable à l'écrit et à l'oral Compétences appréciées / différenciantes Les technologies suivantes constituent des atouts supplémentaires : Cloud Functions – SAS – Alteryx – XLD/XLR – Control-M – Hadoop – Spark.