Trouvez votre prochaine offre d’emploi ou de mission freelance ETL (Extract-transform-load) à Lille

Contexte de la mission : Dans le cadre de la transformation et de l’urbanisation du système d’information Data, nous recherchons un Architecte Data chargé d’intervenir sur les différents volets liés à l’architecture de données. Le consultant sera garant de la cohérence, de la circulation et de la valorisation de la donnée au sein d’un écosystème applicatif complexe et historiquement siloté. Il contribuera à assurer l’interopérabilité, la qualité et l’accessibilité des données pour les usages métiers et opérationnels. Objectifs principaux de la mission : Définir et piloter la trajectoire d’urbanisation du SI Data afin d’évoluer vers une architecture orientée données et services (API, hub de données, événements, etc.) Garantir la cohérence technique et fonctionnelle des échanges de données entre les différentes applications Définir les standards et méthodes permettant de rendre les données accessibles, fiables et interopérables pour les usages métiers (BI, reporting, temps réel, maintenance prédictive, pilotage opérationnel…) Activités et responsabilités : Architecture & Modélisation Réaliser et maintenir la cartographie des données et des flux inter-applicatifs Définir les modèles de données conceptuels et logiques Gouverner les objets métier de référence et leurs interactions entre systèmes Définir les modalités d’échanges : fréquence, volumétrie, performances, dépendances et règles de gestion Participer à l’intégration et à la mise en œuvre des standards d’échange et d’interopérabilité Assurer une veille technologique et méthodologique autour des standards Data Conception des échanges & interopérabilité Concevoir les contrats d’interfaces et mécanismes d’échange entre applications : API REST / SOAP Webservices ETL Bus de messages / ESB Collaborer avec les équipes d’architecture et de développement sur les solutions d’intégration Valider le dimensionnement et les performances des flux de données, notamment dans les contextes temps réel et critiques Gouvernance, qualité & conformité des données Participer à la définition des référentiels de données et des stratégies MDM (Master Data Management) Contribuer à la mise en œuvre de la stratégie de qualité des données : règles de gestion contrôles automatisés dédoublonnage validation des formats supervision et monitoring Accompagner les métiers dans l’identification et la correction des anomalies de données Garantir la conformité des architectures Data aux exigences de sécurité et de protection des données (RGPD, NIS2, bonnes pratiques SSI) Pilotage & accompagnement projets Intervenir en tant qu’expert Data sur les projets d’évolution du SI Participer aux phases de cadrage et de conception Rédiger les dossiers d’architecture technique et les livrables associés Veiller à la cohérence globale du SI avec les orientations d’architecture d’entreprise

La mission consiste à : - Exposer les données utiles à l’entreprise pour les analyser et les utiliser afin d’améliorer l’expérience utilisateur et la productivité - Transformer des données issues du DataLake afin de les normaliser - Modéliser la sphère de données - Développer les flux - Exposer des données brutes et/ou agrégées au bon niveau de granularité aux différents métiers de l’entreprise - Travailler en lien avec des Data Scientists sur les données qu’il aura exposées - Mettre en place des rapports de Dataviz - Mission basée en métropole lilloise avec présence sur site 3j/semaine obligatoire Compétences demandées : - Formation supérieure en école d’ingénieur, école d’informatique ou Master spécialisé dans la Data Science - Première expérience en Data Engineering indispensable - Snowflake, GCP, BigQuery, DBT, SQL, Semarchy, Airflow, Python ... - Excellents savoir-être : rigueur, esprit analytique et de synthèse, communication... - Méthode Agile - Anglais

Nous sommes à la recherche d’un profil type Responsable d’applications expérimenté sur le périmètre de la Supply Chain pour un de nos clients grand compte de la région. Dans le cadre de cette mission, il travaillera dans une équipe « Build&Run » en lien étroit avec leurs utilisateurs en France et à l'étranger, les équipes d'organisation métier, les administrateurs métier, les experts IT (infrastructure & production, sécurité, architecte, ) et nos partenaires externes (partenaires logistiques, éditeurs de solution SaaS,...) La durée de cette mission est à minima d’un an. Sur les produits digitaux qui lui seront confiés, la mission proposée sera de : - Assurer le maintien en conditions opérationnelles. La satisfaction utilisateur est primordiale. - Suivre et piloter l’activité : partage d’indicateurs, plan d’actions préventives, correctives et gestion des demandes d’évolutions et de service, respect des SLAs. - Travailler en collaboration avec les autres membres de la team IT et plus particulièrement le Product Owner, les développeurs et les Responsables d’applications sur d’autres périmètre que le sien. - Proposer et mettre en place des solutions afin d’améliorer la qualité de service rendue aux utilisateurs - Mettre en production des nouvelles versions et ou des projets de sécurisation du SI avec des enjeux de disponibilité et de performance. - Maîtriser le paramétrage et les flux des solutions à maintenir et leur plan de production. - Être en proximité des collaborateurs métiers qu’il dessert.

Dans le cadre de notre équipe Ingénierie Data, nous recherchons un Ingénieur Développement Flux ETL H/F pour intervenir sur la conception, le développement et la maintenance d'outils techniques. Responsabilités : - Concevoir, développer et maintenir des outils back-end et des scripts techniques; - Optimiser et fiabiliser les traitements existants; - Participer à l'analyse des besoins fonctionnels et techniques; - Produire et maintenir la documentation associée.

Contexte de la mission : Viveris pilote les chantiers de transformation métier et IT qui contribuent à la performance des entreprises bancaires. Dans ce cadre, nous recherchons notre Data Engineer qui contribuera à un programme important d'évolution de la plateforme Data. Vos missions et responsabilités : - Analyser les besoins métiers et les traduire en solutions BI pertinentes et durables ; - Modéliser les données en cohérence avec les objectifs fonctionnels et les bonnes pratiques décisionnelles ; - Créer et maintenir les flux de données via des outils ETL, en assurant leur qualité, robustesse et performance ; - Participer à la recette et au suivi de production des chaînes décisionnelles, en lien étroit avec les utilisateurs ; - Assurer un rôle transverse sur les projets décisionnels : échange avec les MOA, rédaction de spécifications fonctionnelles, accompagnement des utilisateurs.

Vos missions✅ Qualité & tests data Définir la stratégie de tests sur les flux data (Snowflake) Exécuter les tests : unitaires, intégration, non-régression Contrôler la qualité des données (cohérence, complétude, exactitude) Vérifier l’intégrité des données entre systèmes sources et DWH Valider les traitements ETL / ELT ⚙️ Automatisation & technique Développer des scripts de tests automatisés ( SQL ) Tester les pipelines data (ingestion → DWH → datamarts) Participer aux chaînes CI/CD 📊 Suivi & amélioration Identifier et suivre les anomalies Réaliser des analyses de causes racines Produire les KPI qualité Contribuer à l’amélioration continue Profil recherché🔧 Technique Expérience en QA / Test Data (3 ans min) Excellente maîtrise de SQL Expérience sur Snowflake ou datawarehouse cloud Connaissances ETL / ELT Data quality / data validation Outils QA : Jira, Xray, Squash… Notions CI/CD & automatisation 🧠 Fonctionnel Connaissance du secteur bancaire Capacité à intervenir sur : B2C, Risk, Finance Sensibilité aux enjeux de qualité & conformité des données Environnement Snowflake SQL / Python (optionnel) ETL : Talend, DBT, Airflow… Méthodologie Agile

Vos missions ? Intégré(e) à nos équipes ou chez nos clients, vous contribuez à développer et valoriser l'ensemble des données en résolvant des problématiques business concrètes via les technologies liées à la Data A ce titre, vos missions seront les suivantes : - Concevoir et mettre en place des architectures de données en choisissant les technologies adaptées aux besoins. - Gestion des bases de données en garantissant la performance et la scalabilité des solutions de stockage. - Analyser et explorer les données avec les différents outils. - Mettre en place des tableaux de bord avec Power BI ou Tableau en exploitant les données transformées via Talend. - Interagir avec les équipes métier pour comprendre et les besoins. - Utiliser TALEND pour extraire des données depuis plusieurs sources (SQL, API, Excel ...). - Automatiser les processus ETL pour centraliser les données dans un Data Wrehouse (Snowflake). - Participation aux projets IA. Compétences requises : • ETL: Talend • Analyse de données (PowerBI, Tableau) • Base de données (SQL, GCP) • Langages: Python, SQL

Contexte : Dans le cadre de la structuration et de la gouvernance des données au sein d’un système d’information complexe et fortement interconnecté, nous recherchons un Data Steward. Le Data Steward joue un rôle clé dans la qualité, la fiabilité et la bonne utilisation des données au sein de l’organisation. Il agit en interface entre les équipes métiers, les équipes IT et les data owners afin de garantir la cohérence, la traçabilité et la conformité des données tout au long de leur cycle de vie. Missions principales :Gouvernance et qualité des données Définir, formaliser et maintenir les règles de gestion des données Mettre en place et suivre les indicateurs de qualité (complétude, unicité, cohérence, fraîcheur) Identifier, analyser et corriger les anomalies de données Participer à la mise en place de processus de Master Data Management (MDM) Assurer le suivi des référentiels de données et des données de référence Modélisation et référentiels Contribuer à la définition des modèles de données conceptuels et logiques Participer à la structuration des dictionnaires de données et catalogues Garantir l’uniformisation des définitions entre les systèmes Collaborer avec les Data Architects et Data Owners sur la définition des objets métier Qualité et exploitation des flux de données Suivre les flux de données issus des systèmes sources (API, ETL, ESB, streaming) Contrôler la qualité des données injectées dans les plateformes analytiques Participer à la mise en place de contrôles automatisés (data quality checks, profiling, dédoublonnage) Contribuer au monitoring des flux et à la détection d’anomalies Support aux métiers Accompagner les utilisateurs métiers dans la compréhension et l’usage des données Garantir la bonne utilisation des référentiels dans les outils opérationnels et décisionnels Participer à la diffusion d’une culture data au sein des équipes Environnement technique :Data & Intégration API REST / SOAP ETL (type Azure Data Factory ou équivalent) ESB / Message Broker (Kafka ou équivalent) Bases de données relationnelles (PostgreSQL, SQL Server, MySQL) Bases NoSQL (MongoDB) Cloud & Data Platform Environnements Cloud (Azure principalement, éventuellement AWS ou GCP) Data Warehouse / Data Lake Solutions de gouvernance et catalogage de données BI & exploitation Outils de visualisation (Power BI, équivalent) SQL avancé pour analyse et contrôle qualité Outils de monitoring des flux et de data quality

Contexte Dans le cadre de la structuration de leur plateforme data, notre client recherche plusieurs profils Data et Flux pour intervenir sur la mise en place et l’optimisation de nos systèmes de gestion de données. Leur environnement technique s’appuie principalement sur : Snowflake (cœur de la plateforme data) AWS (EventBridge, Lambda) Airflow (orchestration des flux) Nous recrutons 4 profils avec des niveaux allant de très junior (sortie d’école) à très sénior (expert / architecte) . Vos missions 🔹 Volet Data Mise en place et structuration des données d’entreprise Contribution à la qualité des données (data quality) Modélisation et gestion des données dans Snowflake Participation aux bonnes pratiques Data (gouvernance, structuration) 🔹 Volet Flux / Data Engineering Développement et gestion des flux de données Mise en place des pipelines (ETL / ELT) Orchestration avec Airflow Intégration et gestion des événements via AWS EventBridge Développement serverless avec AWS Lambda 👉 Environnement orienté industrialisation des flux et qualité de la donnée (le décisionnel n’est pas la priorité à ce stade). INFORMATIONS COMPLEMENTAIRES Mission longue (minimum 1 an) Démarrage : 2 postes en juin 2 postes en septembre Localisation : Lille (59)

Contexte Dans le cadre du développement d’une plateforme interne de gestion et d’administration de bases de données Cloud, nous recherchons un Développeur Python Senior orienté backend et plateforme produit. L’équipe conçoit et maintient une plateforme centralisée permettant la gestion du provisioning, des accès, de la sécurité, du FinOps, du monitoring et de la performance des environnements bases de données Cloud. Le poste s’inscrit dans une logique de développement produit et non dans une approche DevOps infrastructure ou data/ETL. Missions Concevoir et développer des services backend Python robustes et industrialisés. Développer et maintenir des APIs modernes et sécurisées (REST). Participer à la conception d’une plateforme technique interne orientée self-service. Contribuer à l’architecture backend et aux choix techniques. Développer des fonctionnalités liées au provisioning, monitoring, sécurité, gestion des accès et performance. Participer à l’amélioration continue de la CI/CD et de l’industrialisation. Collaborer avec les équipes DBA, Cloud, sécurité et développement. Participer aux phases de build et de run de la plateforme. Attention ! Nous recherchons un profil qui a déjà : développé une plateforme interne ou un produit technique, construit des APIs backend robustes (FastAPI, Flask structuré, microservices…), travaillé sur des sujets de provisioning, orchestration, gestion d’accès, sécurité, monitoring, manipulé Kubernetes/GCP dans une logique applicative produit, contribué à une architecture backend moderne, travaillé en CI/CD industrialisé (GitHub Actions, pipelines, tests auto…).

Le contexte Notre client est une fintech européenne en forte croissance, spécialisée dans le crédit instantané et présente dans plusieurs pays. Sa plateforme 100% digitale traite des millions de dossiers par an et son équipe tech lilloise renforce ses capacités backend avec un Développeur Python Senior capable de prendre ownership sur des sujets critiques dès le premier sprint. V os missions Concevoir et développer des services backend Python robustes et scalables au sein d'une architecture microservices Contribuer à la construction et à l'évolution des pipelines de traitement de données (ETL, orchestration Airflow) Participer à la conception des APIs REST consommées par les équipes produit et les partenaires externes Garantir la qualité du code : tests unitaires, tests d'intégration, code review, documentation Collaborer étroitement avec les équipes Data, DevOps et Product dans un contexte Agile Contribuer aux choix d'architecture et aux décisions techniques en lien avec le Lead Dev Stack technique Langage : Python 3.10+ Frameworks : FastAPI, Django REST Framework Data / Orchestration : Airflow, Pandas, SQLAlchemy Bases de données : PostgreSQL, Redis DevOps / Infra : Docker, Kubernetes, GitLab CI/CD, AWS Qualité : Pytest, Mypy, Ruff Méthodo : Agile Scrum, Git Flow Pourquoi cette mission ? Une scale-up avec une vraie culture engineering, les décisions tech se prennent vite et avec du sens Un périmètre backend riche avec des enjeux de performance, de fiabilité et de sécurité réels Une équipe qui livre en continu sur un produit utilisé par des millions d'utilisateurs en Europe Un contexte freelance en mode ownership : vous venez pour contribuer, pas pour exécuter

4. Description de la prestation et des missions attendues Le/La Data Engineer sera intégré(e) à l'équipe produit TOPASE NLS et interviendra sur les missions suivantes : 🔹 Conception, développement et optimisation des pipelines de données (GCP) Concevoir, développer et maintenir des pipelines robustes et performants pour la collecte, la transformation et le chargement des données depuis diverses sources (Oracle, fichiers, API, etc.) vers BigQuery et autres cibles. Exploiter et orchestrer les services Google Cloud Platform (Dataflow, Dataproc, Cloud Composer/Airflow, Pub/Sub, Cloud Storage, BigQuery) afin de construire des architectures data scalables et fiables. Automatiser les traitements, gérer les dépendances et orchestrer les jobs de données. Optimiser les performances des pipelines ainsi que la consommation des ressources GCP. 🔹 Modélisation et gestion des données Participer à la conception et à l'évolution des modèles de données dans BigQuery, en lien avec les Data Analysts et les équipes métiers. Garantir la qualité, la cohérence et l'intégrité des données. Mettre en œuvre des stratégies de versioning des schémas et de gestion du cycle de vie des données. 🔹 Run opérationnel, maintenance et support N2/N3 Assurer le support opérationnel de niveau 2/3 de la solution TOPASE (environnement GCP + solution éditeur). Développer et maintenir des scripts Bash pour automatiser les tâches récurrentes (supervision, traitement de données, maintenance). Rédiger, optimiser et exécuter des requêtes SQL complexes (BigQuery et Oracle) pour l'analyse, le diagnostic d'incidents et la restitution de données. Gérer les incidents en collaboration avec les équipes internes et l'éditeur. Participer à la qualification des livraisons de patchs éditeur impactant les flux de données. Suivre les incidents via le CRM éditeur et contribuer aux comités de suivi. 🔹 Monitoring, logging et alerting Mettre en place et maintenir des dispositifs de supervision des flux de données, de la qualité, des performances et de l'utilisation des ressources (Stackdriver, Grafana, Looker Studio). Définir et implémenter des alertes permettant la détection proactive des anomalies. Concevoir des tableaux de bord pour le suivi des KPI opérationnels et métier. 🔹 Infrastructure as Code (IaC) Contribuer à la définition et à l'implémentation de l'infrastructure data via Terraform. Garantir la reproductibilité et la traçabilité des environnements (Dev, Recette, Pré-prod, Prod). 🔹 Collaboration et conseil Travailler en étroite collaboration avec les équipes Data (Data Scientists, Data Analysts), les Product Owners et les métiers. Proposer des solutions techniques adaptées et conseiller sur les bonnes pratiques en Data Engineering. Participer aux rituels Agile/Kanban de l'équipe produit. 5. Compétences et expériences requises5.1 Expertise technique Cloud GCP : Expertise confirmée des services data (BigQuery, Dataflow, Cloud Storage, Pub/Sub, Composer/Airflow, Stackdriver, Data Catalog). Bases de données : Maîtrise avancée SQL (optimisation, requêtes complexes), expérience sur BigQuery et Oracle 19 (MySQL/PostgreSQL appréciés). Scripting : Excellente maîtrise de Bash (indispensable pour le run). Systèmes : Bonne maîtrise des environnements Linux (RedHat). IaC : Solide expérience avec Terraform. CI/CD : Maîtrise d'un outil comme GitLab CI. Monitoring/Logging : Stackdriver, Grafana, ELK, Looker Studio. Versioning : Git (GitLab). Réseaux : Connaissances solides (TCP/IP, HTTP/S, DNS, load balancing, firewall). Data Engineering : Maîtrise des concepts ETL/ELT, Data Warehouse, Data Lake et streaming. 5.2 Environnement technique TOPASE NLS OS : RedHat Enterprise 9.4 Cloud : Azure (solution éditeur) & GCP (data, monitoring, pipelines) CI/CD : GitLab CI IaC : Terraform Monitoring : Looker Studio, GANTI, Grafana, ELK Bases : Oracle, BigQuery Langage : Bash 5.3 Méthodologies et soft skills Expérience en environnement Agile (Scrum, Kanban). Excellentes capacités d'analyse et de résolution de problèmes, notamment en situation d'incident. Autonomie, proactivité et sens de l'amélioration continue. Bonnes compétences de communication (français courant, anglais technique). Esprit d'équipe et partage des connaissances. Sens des responsabilités, notamment en environnement de production. 5.4 Expérience Minimum 3 ans d'expérience en tant que Data Engineer, idéalement sur GCP. Expérience sur des environnements à forte volumétrie, avec des enjeux de performance, fiabilité et disponibilité.