Trouvez votre prochaine offre d’emploi ou de mission freelance Big Data à Lille

Contexte de la mission : Dans le cadre de la transformation et de l’urbanisation du système d’information Data, nous recherchons un Architecte Data chargé d’intervenir sur les différents volets liés à l’architecture de données. Le consultant sera garant de la cohérence, de la circulation et de la valorisation de la donnée au sein d’un écosystème applicatif complexe et historiquement siloté. Il contribuera à assurer l’interopérabilité, la qualité et l’accessibilité des données pour les usages métiers et opérationnels. Objectifs principaux de la mission : Définir et piloter la trajectoire d’urbanisation du SI Data afin d’évoluer vers une architecture orientée données et services (API, hub de données, événements, etc.) Garantir la cohérence technique et fonctionnelle des échanges de données entre les différentes applications Définir les standards et méthodes permettant de rendre les données accessibles, fiables et interopérables pour les usages métiers (BI, reporting, temps réel, maintenance prédictive, pilotage opérationnel…) Activités et responsabilités : Architecture & Modélisation Réaliser et maintenir la cartographie des données et des flux inter-applicatifs Définir les modèles de données conceptuels et logiques Gouverner les objets métier de référence et leurs interactions entre systèmes Définir les modalités d’échanges : fréquence, volumétrie, performances, dépendances et règles de gestion Participer à l’intégration et à la mise en œuvre des standards d’échange et d’interopérabilité Assurer une veille technologique et méthodologique autour des standards Data Conception des échanges & interopérabilité Concevoir les contrats d’interfaces et mécanismes d’échange entre applications : API REST / SOAP Webservices ETL Bus de messages / ESB Collaborer avec les équipes d’architecture et de développement sur les solutions d’intégration Valider le dimensionnement et les performances des flux de données, notamment dans les contextes temps réel et critiques Gouvernance, qualité & conformité des données Participer à la définition des référentiels de données et des stratégies MDM (Master Data Management) Contribuer à la mise en œuvre de la stratégie de qualité des données : règles de gestion contrôles automatisés dédoublonnage validation des formats supervision et monitoring Accompagner les métiers dans l’identification et la correction des anomalies de données Garantir la conformité des architectures Data aux exigences de sécurité et de protection des données (RGPD, NIS2, bonnes pratiques SSI) Pilotage & accompagnement projets Intervenir en tant qu’expert Data sur les projets d’évolution du SI Participer aux phases de cadrage et de conception Rédiger les dossiers d’architecture technique et les livrables associés Veiller à la cohérence globale du SI avec les orientations d’architecture d’entreprise

Conception, Développement et Optimisation de Pipelines de Données sur GCP : ○ Concevoir, développer et maintenir des pipelines robustes et performants de collecte, transformation et chargement de données à partir de diverses sources (Oracle, fichiers, APIs, etc.) vers BigQuery et d'autres destinations. ○ Utiliser et orchestrer les services Google Cloud Platform (Dataflow, Dataproc, Cloud Composer/Airflow, Pub/Sub, Cloud Storage, BigQuery) pour construire des architectures de données scalables et fiables. ○ Assurer l'automatisation des traitements, la gestion des dépendances et l'ordonnancement des jobs de données. ○ Optimiser les performances des pipelines et la consommation des ressources GCP. Modélisation et Gestion des Données : ○ Participer à la conception et à l'évolution des modèles de données dans BigQuery, en collaboration avec les Data Analysts et les équipes métier. ○ Assurer la qualité, la cohérence et l'intégrité des données stockées et mises à disposition. ○ Mettre en place et gérer des stratégies de versioning des schémas de données et de cycle de vie des données. Run Opérationnel, Maintenance et Support N2/N3 : ○ Assurer le support opérationnel de niveau 2/3 du produit Topase dans ensemble (GCP + Solution éditeur). ○ Développer et maintenir des scripts Bash pour l'automatisation des tâches opérationnelles, la supervision des flux, l'extraction/transformation de données et les tâches de maintenance système. ○ Écrire, optimiser et exécuter des requêtes SQL complexes pour l'analyse, la qualification, le diagnostic d'incidents, la manipulation et la restitution de données dans BigQuery et Oracle. ○ Gérer les incidents en collaboration avec l'éditeur et les équipes internes. ○ Participer à la qualification des livraisons de patchs éditeur impactant les flux de données. ○ Gérer les incidents éditeur sur son CRM et participer aux ateliers de suivi.

Contexte : Dans le cadre d’un projet stratégique autour des référentiels et de la data, nous recherchons un(e) Agile Master pour accompagner une équipe de développement au sein d’un environnement complexe et transverse. L’enjeu principal porte autant sur l’équipe que sur les interactions entre les équipes produit, les métiers et les autres parties prenantes. Une forte capacité de facilitation et de communication est attendue afin de fluidifier les échanges et favoriser l’amélioration continue. Description : L’Agile Master facilite le fonctionnement de l’équipe de delivery et veille à la bonne application des pratiques Agile. Dans une posture de coach, il accompagne les équipes dans leur montée en autonomie, favorise l’amélioration continue et contribue à la diffusion des bonnes pratiques Agile et DevOps. Principales responsabilités Faciliter le fonctionnement quotidien de l’équipe. Accompagner la montée en autonomie des équipes. Promouvoir les pratiques Agile adaptées au contexte. Faciliter les interactions entre équipes techniques, produit et métier. Identifier et lever les obstacles à la performance collective. Accompagner les acteurs dans l’adoption des meilleures pratiques. Livrables : Mise en place et accompagnement des pratiques Agile. Coaching du Product Owner et animation des ateliers d’estimation et de priorisation. Mise en place et suivi des indicateurs Agile : Burndown Charts. Health Checks. KPI d’équipe. Organisation et animation des cérémonies Agile : Daily. Weekly. Rétrospectives. Ateliers de maturation. Démonstrations. Analyse des freins, dépendances et axes d’amélioration. Accompagnement vers davantage d’autonomie et de déploiement continu. Contribution à la qualité et au partage de la documentation.

Contexte Acteur majeur de la régénération urbaine et des services immobiliers, l’entreprise est engagée dans une transformation Data & IA à l’échelle internationale. Au sein de sa plateforme Data & AI (présente dans plusieurs pays), organisée autour d’une architecture Cloud Azure / Lakehouse , l’entreprise renforce son équipe Data Engineering. Mission En tant que Senior Data & AI Engineer , vous intervenez au cœur de la plateforme Data pour : Concevoir, modéliser et structurer les données (approche “design first”) Développer des pipelines robustes et performants Mettre en place des architectures Data et IA (incluant agents IA) Améliorer les pratiques de développement et la qualité globale des livrables Collaborer étroitement avec les équipes métiers et BI Responsabilités principales 📥 Collecte et intégration des données (multi-sources) 🧱 Modélisation de la donnée (schémas analytiques, SCD, modèles robustes) ⚙️ Développement sous Databricks (notebooks Python / SQL) 🚀 Optimisation des performances (volumétrie, coûts, traitements) 🤖 Conception de modèles / composants IA (MCP, agents IA) 🧪 Utilisation d’outils de développement assistés par IA (génération, refactoring, documentation) 📊 Préparation des datasets pour les usages BI (Power BI) et IA ✅ Mise en œuvre de bonnes pratiques (qualité, tests, dette technique)

Nous recherchons un(e) Chef de Projet DATA pour un client de la région. Ce qui rend ce poste unique Ce poste s'adresse à un profil d'environ 5 ans d’expérience qui veut aller vite, prendre de la hauteur et avoir un vrai impact. Vous n'êtes pas là pour exécuter une feuille de route figée — vous participez à la construire. • Un terrain de jeu large : data, intégrations, référentiels, reporting, coordination métiers et partenaires — vous touchez à tout. • Une autonomie réelle dès les premiers mois • Des projets concrets et visibles, avec un impact direct sur le pilotage du groupe. • Un environnement international et dynamique, en interaction régulière avec les équipes groupe à l'étranger. Vos missions Plateforme Data • Participer à la mise en place et à l'évolution de la plateforme data ; • Contribuer à la structuration des flux d'alimentation et des modèles de données ; • Accompagner l'industrialisation des usages data et des reportings métiers ; • Améliorer la qualité et la disponibilité des données. Interfaces et échanges applicatifs • Piloter la coordination des échanges entre les applications du SI ; • Fiabiliser et rationaliser les flux existants (fichiers plats, interfaces, échanges automatisés) ; • Contribuer à l'évolution vers des mécanismes d'intégration plus industrialisés ; • Assurer la coordination avec les éditeurs, intégrateurs et équipes techniques. Référentiels et gouvernance des données • Structurer et fiabiliser les référentiels clés du groupe ; • Participer à la définition des règles de gestion et de qualité des données ; • Assurer la cohérence des données entre les différents systèmes ; • Accompagner les métiers dans l'identification et la formalisation de leurs besoins. Coordination et pilotage • Piloter opérationnellement les projets et chantiers ; • Coordonner les parties prenantes métiers, IT et partenaires externes ; • Produire les reportings d'avancement, suivre les risques et plans d'action ; • Participer aux échanges réguliers avec les équipes groupe pour garantir l'alignement stratégique.

Concevoir, construire et maintenir des infrastructures et des pipelines robustes et performantes Garantir une architecture et une modélisation des flux optimisés et évolutives. Apporter une expertise et aider l'équipe à prendre les meilleurs choix techniques. Transformer la stack legacy vers les nouveaux standards de la Data Platform. Assurer la qualité, la fiabilité et la gouvernance des données . Maîtriser la qualité du code et promouvoir les meilleures pratiques. Collaborer en environnement Agile au sein d'une équipe internationale (Anglais) . Garantir un RUN de qualité (SLA) Respecter les engagements de sprint et s'inscrire dans une démarche d' amélioration continue .

Missions principalesSupport & Run Analyser et résoudre des incidents complexes Traiter les demandes de services et tickets (ServiceNow) Identifier et suivre les incidents récurrents Assurer un rôle de point d’entrée utilisateur Collaboration & amélioration continue Travailler avec les équipes produit pour : diagnostiquer les incidents définir des plans de remédiation prévenir les récurrences Contribuer à l' amélioration continue des plateformes Automatisation & optimisation Automatiser les demandes récurrentes Développer des scripts et outils internes Participer aux pratiques SRE / Perf4Ops Documentation & capitalisation Rédiger des procédures et documentations Capitaliser les solutions mises en place Partager les bonnes pratiques 📦 Livrables attendus Suivi des demandes via ServiceNow Documentation technique & procédures Scripts / automatisations des tâches récurrentes Contribution aux plans d’amélioration 🧠 Compétences techniques✅ Impératif – Confirmé Échanges : API, Kafka, ESB Observabilité & Monitoring : Datadog, Prometheus, Grafana PagerDuty (alerting) ✅ Important – Confirmé Cloud & développement : GCP Python, Go Automatisation & IaC : Terraform, Ansible Kubernetes (K8s), Helm 🌐 Langues Anglais professionnel : impératif

Tu rejoindras un client du retail pour jouer un rôle moteur dans le développement de leurs solutions externes. Ton quotidien ? Piloter la vision, la conception et l'amélioration continue de produits complexes tout en garantissant une excellence opérationnelle sur les phases de Discovery et de Delivery. Tu seras le·la garant·e de l'alignement stratégique avec les parties prenantes, transformant des problématiques métier en opportunités technologiques concrètes au sein d'un environnement riche en données.

Missions principales Le Chef de Projet prendra en charge un projet déjà lancé, dans un environnement hybride (Agile / cycle en V). Pilotage du projet (environ 2/3 du temps) Reprendre et assurer le pilotage opérationnel du projet en cours Suivre l’avancement des différentes épics et lots de travaux Animer et structurer les instances de pilotage (comités projets, comités de suivi, comités de pilotage) Assurer la coordination entre les parties prenantes métiers, IT et produits (ancien et nouveau référentiel) Garantir la qualité du reporting et du suivi projet Identifier les risques, dépendances et plans d’actions associés Assurer la bonne visibilité auprès du sponsoring et des équipes de transformation Cadrage et contribution opérationnelle (environ 1/3 du temps) Réaliser les cadrages complémentaires nécessaires à l’avancement du projet Contribuer à certaines actions opérationnelles en lien avec les équipes projet Participer à la clarification du périmètre et des besoins restants Appuyer les décisions fonctionnelles et techniques en lien avec les enjeux du référentiel Livrables attendus Supports et comptes rendus des instances de pilotage Tableaux de bord d’avancement projet Reporting projet (avancement, risques, alertes, plan d’actions) Documents de cadrage complémentaires Suivi des dépendances et plans de delivery

Contexte de la mission : Dans le cadre du développement de notre plateforme Data internationale dédiée aux activités Supply Chain, nous renforçons notre équipe avec un Data Engineer expérimenté capable de contribuer à la construction, l'optimisation et la fiabilisation de nos produits de données. Vous interviendrez dans un environnement multi-BU et international, avec des enjeux forts autour de la qualité de la donnée, de la performance des traitements et de la mise à disposition d'indicateurs métiers stratégiques. L'objectif est d'accompagner la construction et l'évolution de plusieurs Data Products tout en participant à l'amélioration continue de notre plateforme Data sur Google Cloud Platform.

Vos missions✅ Qualité & tests data Définir la stratégie de tests sur les flux data (Snowflake) Exécuter les tests : unitaires, intégration, non-régression Contrôler la qualité des données (cohérence, complétude, exactitude) Vérifier l’intégrité des données entre systèmes sources et DWH Valider les traitements ETL / ELT ⚙️ Automatisation & technique Développer des scripts de tests automatisés ( SQL ) Tester les pipelines data (ingestion → DWH → datamarts) Participer aux chaînes CI/CD 📊 Suivi & amélioration Identifier et suivre les anomalies Réaliser des analyses de causes racines Produire les KPI qualité Contribuer à l’amélioration continue Profil recherché🔧 Technique Expérience en QA / Test Data (3 ans min) Excellente maîtrise de SQL Expérience sur Snowflake ou datawarehouse cloud Connaissances ETL / ELT Data quality / data validation Outils QA : Jira, Xray, Squash… Notions CI/CD & automatisation 🧠 Fonctionnel Connaissance du secteur bancaire Capacité à intervenir sur : B2C, Risk, Finance Sensibilité aux enjeux de qualité & conformité des données Environnement Snowflake SQL / Python (optionnel) ETL : Talend, DBT, Airflow… Méthodologie Agile

4. Description de la prestation et des missions attendues Le/La Data Engineer sera intégré(e) à l'équipe produit TOPASE NLS et interviendra sur les missions suivantes : 🔹 Conception, développement et optimisation des pipelines de données (GCP) Concevoir, développer et maintenir des pipelines robustes et performants pour la collecte, la transformation et le chargement des données depuis diverses sources (Oracle, fichiers, API, etc.) vers BigQuery et autres cibles. Exploiter et orchestrer les services Google Cloud Platform (Dataflow, Dataproc, Cloud Composer/Airflow, Pub/Sub, Cloud Storage, BigQuery) afin de construire des architectures data scalables et fiables. Automatiser les traitements, gérer les dépendances et orchestrer les jobs de données. Optimiser les performances des pipelines ainsi que la consommation des ressources GCP. 🔹 Modélisation et gestion des données Participer à la conception et à l'évolution des modèles de données dans BigQuery, en lien avec les Data Analysts et les équipes métiers. Garantir la qualité, la cohérence et l'intégrité des données. Mettre en œuvre des stratégies de versioning des schémas et de gestion du cycle de vie des données. 🔹 Run opérationnel, maintenance et support N2/N3 Assurer le support opérationnel de niveau 2/3 de la solution TOPASE (environnement GCP + solution éditeur). Développer et maintenir des scripts Bash pour automatiser les tâches récurrentes (supervision, traitement de données, maintenance). Rédiger, optimiser et exécuter des requêtes SQL complexes (BigQuery et Oracle) pour l'analyse, le diagnostic d'incidents et la restitution de données. Gérer les incidents en collaboration avec les équipes internes et l'éditeur. Participer à la qualification des livraisons de patchs éditeur impactant les flux de données. Suivre les incidents via le CRM éditeur et contribuer aux comités de suivi. 🔹 Monitoring, logging et alerting Mettre en place et maintenir des dispositifs de supervision des flux de données, de la qualité, des performances et de l'utilisation des ressources (Stackdriver, Grafana, Looker Studio). Définir et implémenter des alertes permettant la détection proactive des anomalies. Concevoir des tableaux de bord pour le suivi des KPI opérationnels et métier. 🔹 Infrastructure as Code (IaC) Contribuer à la définition et à l'implémentation de l'infrastructure data via Terraform. Garantir la reproductibilité et la traçabilité des environnements (Dev, Recette, Pré-prod, Prod). 🔹 Collaboration et conseil Travailler en étroite collaboration avec les équipes Data (Data Scientists, Data Analysts), les Product Owners et les métiers. Proposer des solutions techniques adaptées et conseiller sur les bonnes pratiques en Data Engineering. Participer aux rituels Agile/Kanban de l'équipe produit. 5. Compétences et expériences requises5.1 Expertise technique Cloud GCP : Expertise confirmée des services data (BigQuery, Dataflow, Cloud Storage, Pub/Sub, Composer/Airflow, Stackdriver, Data Catalog). Bases de données : Maîtrise avancée SQL (optimisation, requêtes complexes), expérience sur BigQuery et Oracle 19 (MySQL/PostgreSQL appréciés). Scripting : Excellente maîtrise de Bash (indispensable pour le run). Systèmes : Bonne maîtrise des environnements Linux (RedHat). IaC : Solide expérience avec Terraform. CI/CD : Maîtrise d'un outil comme GitLab CI. Monitoring/Logging : Stackdriver, Grafana, ELK, Looker Studio. Versioning : Git (GitLab). Réseaux : Connaissances solides (TCP/IP, HTTP/S, DNS, load balancing, firewall). Data Engineering : Maîtrise des concepts ETL/ELT, Data Warehouse, Data Lake et streaming. 5.2 Environnement technique TOPASE NLS OS : RedHat Enterprise 9.4 Cloud : Azure (solution éditeur) & GCP (data, monitoring, pipelines) CI/CD : GitLab CI IaC : Terraform Monitoring : Looker Studio, GANTI, Grafana, ELK Bases : Oracle, BigQuery Langage : Bash 5.3 Méthodologies et soft skills Expérience en environnement Agile (Scrum, Kanban). Excellentes capacités d'analyse et de résolution de problèmes, notamment en situation d'incident. Autonomie, proactivité et sens de l'amélioration continue. Bonnes compétences de communication (français courant, anglais technique). Esprit d'équipe et partage des connaissances. Sens des responsabilités, notamment en environnement de production. 5.4 Expérience Minimum 3 ans d'expérience en tant que Data Engineer, idéalement sur GCP. Expérience sur des environnements à forte volumétrie, avec des enjeux de performance, fiabilité et disponibilité.

La mission consiste à : - Exposer les données utiles à l’entreprise pour les analyser et les utiliser afin d’améliorer l’expérience utilisateur et la productivité - Transformer des données issues du DataLake afin de les normaliser - Modéliser la sphère de données - Développer les flux - Exposer des données brutes et/ou agrégées au bon niveau de granularité aux différents métiers de l’entreprise - Travailler en lien avec des Data Scientists sur les données qu’il aura exposées - Mettre en place des rapports de Dataviz - Mission basée en métropole lilloise avec présence sur site 3j/semaine obligatoire Compétences demandées : - Formation supérieure en école d’ingénieur, école d’informatique ou Master spécialisé dans la Data Science - Première expérience en Data Engineering indispensable - Snowflake, GCP, BigQuery, DBT, SQL, Semarchy, Airflow, Python ... - Excellents savoir-être : rigueur, esprit analytique et de synthèse, communication... - Méthode Agile - Anglais

Contexte de la mission Dans le cadre de l’évolution de ses plateformes data sur Google Cloud Platform, nous recherchons un Data Engineer expérimenté afin d’améliorer la qualité, la performance et l’optimisation des datasets BigQuery. La mission s’inscrit dans un contexte de forte croissance des volumes de données avec des enjeux majeurs autour de : la maîtrise des coûts cloud (FinOps), la fiabilité des données, la performance des pipelines, et la préparation des données pour les usages IA. Objectifs de la mission Réduire les coûts liés aux traitements et aux requêtes BigQuery. Améliorer la qualité et l’observabilité des données. Optimiser les pipelines d’ingestion et de transformation. Accompagner les projets IA via des datasets fiables et industrialisés. Responsabilités principalesAudit & Optimisation BigQuery Analyser les logs et identifier les requêtes coûteuses ou peu performantes. Mettre en œuvre les bonnes pratiques BigQuery : partitionnement, clustering, optimisation des schémas, gestion des tables matérialisées et des vues. Réduire les volumes de données scannées et améliorer les performances globales. Architecture Data & Pipelines Optimiser les pipelines d’ingestion et de traitement des données. Renforcer la robustesse des flux (gestion des erreurs, retry, montée en charge). Participer à l’industrialisation des traitements via Terraform et les pratiques DataOps. Data Quality & Observability Déployer un framework de monitoring et de tests automatisés. Définir les indicateurs de qualité : fraîcheur des données, cohérence des schémas, volumétrie, validité des données. Mettre en place des alertes proactives en cas d’anomalies. Data & IA Collaborer avec les équipes IA/ML pour fournir des datasets exploitables. Participer à l’intégration des services GCP liés à l’IA (BigQuery, Vertex AI, etc.). Être force de proposition sur les usages Data & IA.

Contexte Dans le cadre de la structuration de leur plateforme data, notre client recherche plusieurs profils Data et Flux pour intervenir sur la mise en place et l’optimisation de nos systèmes de gestion de données. Leur environnement technique s’appuie principalement sur : Snowflake (cœur de la plateforme data) AWS (EventBridge, Lambda) Airflow (orchestration des flux) Nous recrutons 4 profils avec des niveaux allant de très junior (sortie d’école) à très sénior (expert / architecte) . Vos missions 🔹 Volet Data Mise en place et structuration des données d’entreprise Contribution à la qualité des données (data quality) Modélisation et gestion des données dans Snowflake Participation aux bonnes pratiques Data (gouvernance, structuration) 🔹 Volet Flux / Data Engineering Développement et gestion des flux de données Mise en place des pipelines (ETL / ELT) Orchestration avec Airflow Intégration et gestion des événements via AWS EventBridge Développement serverless avec AWS Lambda 👉 Environnement orienté industrialisation des flux et qualité de la donnée (le décisionnel n’est pas la priorité à ce stade). INFORMATIONS COMPLEMENTAIRES Mission longue (minimum 1 an) Démarrage : 2 postes en juin 2 postes en septembre Localisation : Lille (59)