Trouvez votre prochaine offre d’emploi ou de mission freelance BigQuery à Lille

Contexte de la mission : Dans le cadre du développement de notre plateforme Data internationale dédiée aux activités Supply Chain, nous renforçons notre équipe avec un Data Engineer expérimenté capable de contribuer à la construction, l'optimisation et la fiabilisation de nos produits de données. Vous interviendrez dans un environnement multi-BU et international, avec des enjeux forts autour de la qualité de la donnée, de la performance des traitements et de la mise à disposition d'indicateurs métiers stratégiques. L'objectif est d'accompagner la construction et l'évolution de plusieurs Data Products tout en participant à l'amélioration continue de notre plateforme Data sur Google Cloud Platform.

Missions Au sein d’une équipe transverse composée notamment d’un : Tech Lead UX Data Gouverneur Le consultant interviendra principalement sur : Data Engineering / Analytics Engineering Conception et maintien de flux de données Refactoring de pipelines existants Mise en place et migration vers les bonnes pratiques Data Exposition et mise à disposition des données pour différents usages analytiques Structuration de datasets à destination des Data Analysts et des produits digitaux Participation à l’amélioration de la qualité et de la fiabilité des données Data Analyse & DataViz Compréhension des besoins métiers Accompagnement des équipes produit dans l’exploitation de la donnée Contribution à des dashboards KPI fournisseurs Participation à des sujets de visualisation via Power BI et ponctuellement Looker Collaboration transverse Interaction quotidienne avec les équipes métiers et produits Communication avec des BU à l’international Participation aux échanges techniques et fonctionnels Capacité à challenger les besoins et proposer des solutions adaptées Environnement techniqueObligatoire GCP BigQuery DBT Important Git GitHub Souhaité Terraform Power BI Looker (hors Looker Studio) Expérience environnement retail Connaissance des sujets fournisseurs / marketplace / retail data

La mission consiste à : - Analyse, Spécification fonctionnelle et technique - Animation de backlog - Cadrage et pilotage de projet - Recueil et analyse des données recueillies - Proposition d’un modèle opérationnel - Recette auprès des MOA et MOE - Mission basée sur la métropole lilloise avec télétravail hybride Profil recherché : - Expérience confirmée comme Business Analyst - Compétences en DATA - Méthodologie Agile - Conduite de projet, animation - Compétences techniques : GCP, BigQuery, SQL - Anglais un +

Contexte de la mission Dans le cadre de l’évolution de ses plateformes data sur Google Cloud Platform, nous recherchons un Data Engineer expérimenté afin d’améliorer la qualité, la performance et l’optimisation des datasets BigQuery. La mission s’inscrit dans un contexte de forte croissance des volumes de données avec des enjeux majeurs autour de : la maîtrise des coûts cloud (FinOps), la fiabilité des données, la performance des pipelines, et la préparation des données pour les usages IA. Objectifs de la mission Réduire les coûts liés aux traitements et aux requêtes BigQuery. Améliorer la qualité et l’observabilité des données. Optimiser les pipelines d’ingestion et de transformation. Accompagner les projets IA via des datasets fiables et industrialisés. Responsabilités principalesAudit & Optimisation BigQuery Analyser les logs et identifier les requêtes coûteuses ou peu performantes. Mettre en œuvre les bonnes pratiques BigQuery : partitionnement, clustering, optimisation des schémas, gestion des tables matérialisées et des vues. Réduire les volumes de données scannées et améliorer les performances globales. Architecture Data & Pipelines Optimiser les pipelines d’ingestion et de traitement des données. Renforcer la robustesse des flux (gestion des erreurs, retry, montée en charge). Participer à l’industrialisation des traitements via Terraform et les pratiques DataOps. Data Quality & Observability Déployer un framework de monitoring et de tests automatisés. Définir les indicateurs de qualité : fraîcheur des données, cohérence des schémas, volumétrie, validité des données. Mettre en place des alertes proactives en cas d’anomalies. Data & IA Collaborer avec les équipes IA/ML pour fournir des datasets exploitables. Participer à l’intégration des services GCP liés à l’IA (BigQuery, Vertex AI, etc.). Être force de proposition sur les usages Data & IA.

Dans le cadre du renforcement de ses équipes Data, notre client recherche un profil Analytics Engineer / Data Engineer GCP pour intervenir sur la transformation, la modélisation et l’industrialisation de données à destination des équipes métiers. Le profil attendu doit être à l’aise à la frontière entre data engineering et analytics, avec une forte maîtrise de DBT et de l’écosystème GCP / BigQuery. Missions Développer et maintenir des modèles de données avec DBT Concevoir des transformations fiables, documentées et industrialisées Travailler sur des datasets dans BigQuery Participer à la qualité, la cohérence et la fiabilité des données Optimiser les requêtes, modèles et traitements data Collaborer avec les Data Analysts, Data Engineers et équipes métiers Contribuer aux bonnes pratiques de développement data : documentation, versioning, tests, CI/CD Participer à la mise à disposition des données pour des usages BI / reporting, notamment Power BI Compétences attendues Obligatoire : DBT LookML Confirmé : GCP BigQuery SQL avancé Modélisation de données Data Quality / tests / documentation Souhaitable : Terraform Power BI Git / GitHub / GitLab CI/CD Expérience en environnement data platform / data product

Conception, Développement et Optimisation de Pipelines de Données sur GCP : ○ Concevoir, développer et maintenir des pipelines robustes et performants de collecte, transformation et chargement de données à partir de diverses sources (Oracle, fichiers, APIs, etc.) vers BigQuery et d'autres destinations. ○ Utiliser et orchestrer les services Google Cloud Platform (Dataflow, Dataproc, Cloud Composer/Airflow, Pub/Sub, Cloud Storage, BigQuery) pour construire des architectures de données scalables et fiables. ○ Assurer l'automatisation des traitements, la gestion des dépendances et l'ordonnancement des jobs de données. ○ Optimiser les performances des pipelines et la consommation des ressources GCP. Modélisation et Gestion des Données : ○ Participer à la conception et à l'évolution des modèles de données dans BigQuery, en collaboration avec les Data Analysts et les équipes métier. ○ Assurer la qualité, la cohérence et l'intégrité des données stockées et mises à disposition. ○ Mettre en place et gérer des stratégies de versioning des schémas de données et de cycle de vie des données. Run Opérationnel, Maintenance et Support N2/N3 : ○ Assurer le support opérationnel de niveau 2/3 du produit Topase dans ensemble (GCP + Solution éditeur). ○ Développer et maintenir des scripts Bash pour l'automatisation des tâches opérationnelles, la supervision des flux, l'extraction/transformation de données et les tâches de maintenance système. ○ Écrire, optimiser et exécuter des requêtes SQL complexes pour l'analyse, la qualification, le diagnostic d'incidents, la manipulation et la restitution de données dans BigQuery et Oracle. ○ Gérer les incidents en collaboration avec l'éditeur et les équipes internes. ○ Participer à la qualification des livraisons de patchs éditeur impactant les flux de données. ○ Gérer les incidents éditeur sur son CRM et participer aux ateliers de suivi.

La mission consiste à : - Exposer les données utiles à l’entreprise pour les analyser et les utiliser afin d’améliorer l’expérience utilisateur et la productivité - Transformer des données issues du DataLake afin de les normaliser - Modéliser la sphère de données - Développer les flux - Exposer des données brutes et/ou agrégées au bon niveau de granularité aux différents métiers de l’entreprise - Travailler en lien avec des Data Scientists sur les données qu’il aura exposées - Mettre en place des rapports de Dataviz - Mission basée en métropole lilloise avec présence sur site 3j/semaine obligatoire Compétences demandées : - Formation supérieure en école d’ingénieur, école d’informatique ou Master spécialisé dans la Data Science - Première expérience en Data Engineering indispensable - Snowflake, GCP, BigQuery, DBT, SQL, Semarchy, Airflow, Python ... - Excellents savoir-être : rigueur, esprit analytique et de synthèse, communication... - Méthode Agile - Anglais

4. Description de la prestation et des missions attendues Le/La Data Engineer sera intégré(e) à l'équipe produit TOPASE NLS et interviendra sur les missions suivantes : 🔹 Conception, développement et optimisation des pipelines de données (GCP) Concevoir, développer et maintenir des pipelines robustes et performants pour la collecte, la transformation et le chargement des données depuis diverses sources (Oracle, fichiers, API, etc.) vers BigQuery et autres cibles. Exploiter et orchestrer les services Google Cloud Platform (Dataflow, Dataproc, Cloud Composer/Airflow, Pub/Sub, Cloud Storage, BigQuery) afin de construire des architectures data scalables et fiables. Automatiser les traitements, gérer les dépendances et orchestrer les jobs de données. Optimiser les performances des pipelines ainsi que la consommation des ressources GCP. 🔹 Modélisation et gestion des données Participer à la conception et à l'évolution des modèles de données dans BigQuery, en lien avec les Data Analysts et les équipes métiers. Garantir la qualité, la cohérence et l'intégrité des données. Mettre en œuvre des stratégies de versioning des schémas et de gestion du cycle de vie des données. 🔹 Run opérationnel, maintenance et support N2/N3 Assurer le support opérationnel de niveau 2/3 de la solution TOPASE (environnement GCP + solution éditeur). Développer et maintenir des scripts Bash pour automatiser les tâches récurrentes (supervision, traitement de données, maintenance). Rédiger, optimiser et exécuter des requêtes SQL complexes (BigQuery et Oracle) pour l'analyse, le diagnostic d'incidents et la restitution de données. Gérer les incidents en collaboration avec les équipes internes et l'éditeur. Participer à la qualification des livraisons de patchs éditeur impactant les flux de données. Suivre les incidents via le CRM éditeur et contribuer aux comités de suivi. 🔹 Monitoring, logging et alerting Mettre en place et maintenir des dispositifs de supervision des flux de données, de la qualité, des performances et de l'utilisation des ressources (Stackdriver, Grafana, Looker Studio). Définir et implémenter des alertes permettant la détection proactive des anomalies. Concevoir des tableaux de bord pour le suivi des KPI opérationnels et métier. 🔹 Infrastructure as Code (IaC) Contribuer à la définition et à l'implémentation de l'infrastructure data via Terraform. Garantir la reproductibilité et la traçabilité des environnements (Dev, Recette, Pré-prod, Prod). 🔹 Collaboration et conseil Travailler en étroite collaboration avec les équipes Data (Data Scientists, Data Analysts), les Product Owners et les métiers. Proposer des solutions techniques adaptées et conseiller sur les bonnes pratiques en Data Engineering. Participer aux rituels Agile/Kanban de l'équipe produit. 5. Compétences et expériences requises5.1 Expertise technique Cloud GCP : Expertise confirmée des services data (BigQuery, Dataflow, Cloud Storage, Pub/Sub, Composer/Airflow, Stackdriver, Data Catalog). Bases de données : Maîtrise avancée SQL (optimisation, requêtes complexes), expérience sur BigQuery et Oracle 19 (MySQL/PostgreSQL appréciés). Scripting : Excellente maîtrise de Bash (indispensable pour le run). Systèmes : Bonne maîtrise des environnements Linux (RedHat). IaC : Solide expérience avec Terraform. CI/CD : Maîtrise d'un outil comme GitLab CI. Monitoring/Logging : Stackdriver, Grafana, ELK, Looker Studio. Versioning : Git (GitLab). Réseaux : Connaissances solides (TCP/IP, HTTP/S, DNS, load balancing, firewall). Data Engineering : Maîtrise des concepts ETL/ELT, Data Warehouse, Data Lake et streaming. 5.2 Environnement technique TOPASE NLS OS : RedHat Enterprise 9.4 Cloud : Azure (solution éditeur) & GCP (data, monitoring, pipelines) CI/CD : GitLab CI IaC : Terraform Monitoring : Looker Studio, GANTI, Grafana, ELK Bases : Oracle, BigQuery Langage : Bash 5.3 Méthodologies et soft skills Expérience en environnement Agile (Scrum, Kanban). Excellentes capacités d'analyse et de résolution de problèmes, notamment en situation d'incident. Autonomie, proactivité et sens de l'amélioration continue. Bonnes compétences de communication (français courant, anglais technique). Esprit d'équipe et partage des connaissances. Sens des responsabilités, notamment en environnement de production. 5.4 Expérience Minimum 3 ans d'expérience en tant que Data Engineer, idéalement sur GCP. Expérience sur des environnements à forte volumétrie, avec des enjeux de performance, fiabilité et disponibilité.