Trouvez votre prochaine offre d’emploi ou de mission freelance ETL (Extract-transform-load) à Lille

Environnement Technique : Fullstack C#.NET / PHP / JS , Cloud (AWS/Azure). 1. Missions Principales : L'intervenant garantira la conception d'architectures robustes et évolutives. Ses responsabilités incluront : Cadrage et Conception : Définir les orientations techno, concevoir des architectures (microservices, event-driven) et identifier les risques techniques. Aider à la réalisation de conception complexe. Pilotage Technique : Collaborer avec les devs, apporter un support expert sur les problèmes complexes et piloter la transformation DevOps (CI/CD). Gouvernance : Promouvoir les standards (SOLID, Clean Code) et animer des revues d'architecture. 2. Compétences Requises (Hard Skills) : Développement Fullstack (Indispensable) : Maîtrise de C#.NET, PHP, JavaScript, SQL. Architecture : Concepts Microservices, Serverless, Event-driven. Intégration : API REST, ETL, ESB. Cloud & DevOps : Connaissance AWS/Azure/GCP et maîtrise des pipelines CI/CD. 3. Profil Recherché : Expérience : 8 à 10 ans minimum en développement logiciel dont plusieurs années sur des problématiques d'architecture. Savoir-être : Leadership, capacité de vulgarisation et vision stratégique.

Dans le cadre d’un projet de migration de flux vers une nouvelle plateforme technique , nous recherchons un Intégrateur de flux pour intervenir sur un périmètre existant de flux Talend en cours de migration. Le consultant interviendra dans un environnement technique riche et collaboratif, avec un rôle clé dans la sécurisation de la transition et l’accompagnement des équipes utilisatrices. Description de la mission Le ou la consultant(e) sera en charge d’un périmètre de flux Talend migrés vers une nouvelle plateforme technique. À ce titre, ses principales responsabilités seront : Assurer la cohérence fonctionnelle et technique entre les flux existants et les flux migrés Gérer la phase de double run (ancienne et nouvelle plateforme) Accompagner les utilisateurs finaux dans la reprise et la validation des flux de leurs périmètres Participer aux activités de déploiement et d’intégration Identifier les risques, faire avancer les sujets et alerter en cas de dérive Contribuer à la stabilisation et à l’industrialisation des flux migrés

Nous recherchons un Data Engineer pour travailler sur des projets de collecte, transformation et gestion des flux de données au sein de notre équipe. Le poste requiert des compétences techniques en Data Bricks , Python , SQL et Azure DevOps pour assurer le bon déroulement des pipelines de données. De plus, des connaissances de base dans l’utilisation de Power BI et une approche agile basée sur Scrum sont attendues. Le Data Engineer jouera un rôle clé dans la mise en place et l'optimisation des processus de gestion des données, en s'assurant de la qualité, de la transformation et de l'intégration des données dans des environnements Azure. Responsabilités : Collecte et transformation des données : Concevoir et développer des pipelines de collecte de données et de transformation (ETL) à l’aide des technologies adaptées (notamment Data Bricks ). Gestion des flux de données : Assurer l’intégration et la gestion fluide des flux de données entre les différentes sources et plateformes. Développement Python & SQL : Créer des scripts Python et des requêtes SQL pour manipuler, nettoyer et transformer les données. Support Azure DevOps : Utiliser Azure DevOps pour gérer les processus de déploiement et d’intégration continue (CI/CD). Participation aux projets Power BI : Fournir un soutien de base pour les projets Power BI, notamment au niveau sémantique (compréhension des données et modèles). Méthodologie Agile : Travailler en étroite collaboration avec l'équipe produit dans un cadre Agile (méthodologie Scrum) pour assurer la livraison rapide et efficace des projets. Compétences requises : Techniques : Maîtrise des technologies Data Bricks , Python , SQL . Expérience avec Azure DevOps pour la gestion des déploiements et de l’intégration continue. Power BI : Connaissances de base en sémantique des données et modèle de données dans Power BI. Connaissance des processus ETL pour la gestion de la collecte, transformation et stockage des données. Agilité : Bonne maîtrise des méthodes Agile , avec une expérience en Scrum . Compétences en communication : Capacité à travailler efficacement en équipe, à échanger et à comprendre les besoins fonctionnels pour traduire ces besoins en solutions techniques. Profil recherché : Formation : Bac+5 en informatique, data science, ou dans un domaine similaire. Expérience : Minimum 2 à 3 ans d’expérience en tant que Data Engineer ou sur un poste similaire avec des compétences en développement Python, SQL et gestion des données. Autonomie et capacité à travailler dans un environnement dynamique et en constante évolution. Compétences appréciées : Expérience avec Azure Synapse , Azure Data Lake , ou autres outils cloud pour la gestion des données. Bonne capacité à comprendre et à travailler avec des données complexes et variées. Connaissance approfondie des bonnes pratiques en data engineering (qualité, transformation, gestion des données).

Vos missions ? Intégré(e) à nos équipes ou chez nos clients, vous contribuez à développer et valoriser l'ensemble des données en résolvant des problématiques business concrètes via les technologies liées à la Data A ce titre, vos missions seront les suivantes : - Concevoir et mettre en place des architectures de données en choisissant les technologies adaptées aux besoins. - Gestion des bases de données en garantissant la performance et la scalabilité des solutions de stockage. - Analyser et explorer les données avec les différents outils. - Mettre en place des tableaux de bord avec Power BI ou Tableau en exploitant les données transformées via Talend. - Interagir avec les équipes métier pour comprendre et les besoins. - Utiliser TALEND pour extraire des données depuis plusieurs sources (SQL, API, Excel ...). - Automatiser les processus ETL pour centraliser les données dans un Data Wrehouse (Snowflake). - Participation aux projets IA. Compétences requises : • ETL: Talend • Analyse de données (PowerBI, Tableau) • Base de données (SQL, GCP) • Langages: Python, SQL

Basée à Lille, Lyon, Nantes, Grenoble et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s’imposer comme une référence en matière de freelancing par son expertise dans l’IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Data engineer senior H/F à Lille, France. Contexte : Les missions attendues par le Data engineer senior H/F : Au sein de l'équipe Data Ingénieur, vous serez responsable de la conception, du développement et de la maintenance des infrastructures et pipelines de données permettant de collecter, transformer, stocker et mettre à disposition des données fiables et optimisées pour les besoins analytiques et opérationnels. Concevoir et développer des pipelines ETL/ELT pour l’ingestion et la transformation des données. Assurer la qualité, la cohérence et la sécurité des données dans les systèmes. Optimiser les performances des bases de données et des flux de données. Collaborer avec les Data Scientists, Analystes et équipes métiers pour comprendre les besoins et fournir des solutions adaptées. Mettre en place des outils de monitoring et de gouvernance des données. Garantir la conformité aux normes RGPD et aux politiques internes de sécurité. Compétences techniques : Maîtrise des langages de programmation (Python, SQL). Expérience avec des systèmes de bases de données (relationnelles et NoSQL). Connaissance des plateformes Cloud (GCP, Snowflake). Expérience ETL (Une connaissance de semarchy est un plus) Familiarité avec les outils de workflow (Airflow, PubSub). Bonne compréhension des architectures orientées données (Data Lake, Data Warehouse, Golden).

Nous sommes à la recherche d’un profil type Responsable d’applications expérimenté sur le périmètre de la Supply Chain pour un de nos clients grand compte de la région. Dans le cadre de cette mission, il travaillera dans une équipe « Build&Run » en lien étroit avec leurs utilisateurs en France et à l'étranger, les équipes d'organisation métier, les administrateurs métier, les experts IT (infrastructure & production, sécurité, architecte, ) et nos partenaires externes (partenaires logistiques, éditeurs de solution SaaS,...) La durée de cette mission est à minima d’un an. Sur les produits digitaux qui lui seront confiés, la mission proposée sera de : - Assurer le maintien en conditions opérationnelles. La satisfaction utilisateur est primordiale. - Suivre et piloter l’activité : partage d’indicateurs, plan d’actions préventives, correctives et gestion des demandes d’évolutions et de service, respect des SLAs. - Travailler en collaboration avec les autres membres de la team IT et plus particulièrement le Product Owner, les développeurs et les Responsables d’applications sur d’autres périmètre que le sien. - Proposer et mettre en place des solutions afin d’améliorer la qualité de service rendue aux utilisateurs - Mettre en production des nouvelles versions et ou des projets de sécurisation du SI avec des enjeux de disponibilité et de performance. - Maîtriser le paramétrage et les flux des solutions à maintenir et leur plan de production. - Être en proximité des collaborateurs métiers qu’il dessert.

Contexte de la mission : Nous cherchons un Architecte Data, dont la mission sera de travailler sur différents aspects de l'architecture de données. Il sera le garant de l'urbanisation de la donnée, de sa cohérence et de sa circulation de la donnée au sein d'un écosystème complexe et siloté. Il assure l'interopérabilité, la qualité et la valorisation des données issues des différents silos applicatifs. Objectifs principaux de la mission : · Urbaniser le SI Data : Définir et piloter la trajectoire pour passer d'un SI siloté à une architecture data-centric (orientée service/API et/ou hub de données). · Garantir la cohérence technique : Assurer la définition d'un langage commun et la gestion des données de référence (MDM) à travers les applications. · Définir le cadre d’implémentation des données : proposer la méthode pour rendre les données accessibles et interopérables pour les usages Métier (BI, reporting opérationnel, information voyageurs temps réel, maintenance prédictive…) Activités et Responsabilités Clés Ø Architecture & Modélisation · Cartographie du SI Data en lien avec le gestionnaire des données : Établir et maintenir la cartographie des données (conceptuelle, logique) et des flux inter-applicatifs, en cohérence avec la cartographie globale du SI. · Modélisation des données : Définir et gouverner les objets métier centraux conformément aux spécifications fournies par les métiers et définir les modalités d’interactions des différents systèmes avec ces objets (fréquence, pattern, performance, liaisons entre les différents objets.) · Standards & Normes : Aider à l’intégration et la bonne implémentation des standards du transport public (NeTEx pour l'offre théorique et tarifaire, SIRI pour le temps réel…) dans les projets internes et externe, il doit également assurer une veille sur les standards. Ø Conception des Échanges & Interopérabilité · Définition des Interfaces : En collaboration avec les équipes d’architecture et de développement, concevoir les ‘contrats d'interface’ (API, Webservices, Messages, ETL) entre les solutions éditeur ou solutions maison en utilisant les plateformes d'intégration (ESB, API Management, Message Broker…). · Validation des flux : S'assurer que le dimensionnement des flux de données répondent aux besoins fonctionnels et aux contraintes de performance (ex : criticité du temps réel entre le SAE et l'application mobile). Ø Gouvernance, Qualité & Conformité des Données · Master Data Management (MDM) : En collaboration avec les gestionnaires de la donnée Identifier les applications ‘ maîtres ’ pour chaque donnée de référence (produit / billettique, véhicule/Mainta…) · Stratégie de Mise en Qualité (Data Quality) : Contribuer à la définition de la stratégie de qualité des données, en combinant des approches métier et techniques : o Stratégie Métier : Accompagner les référents métier (Ex : Gestionnaires des données) dans la définition des règles de gestion et dans les processus de correction des anomalies à la source o Stratégie Technique : Définir et contribuer à la mise en œuvre des contrôles de qualité automatisés (profiling, dédoublonnage, validation de format) au sein des flux de données (via l'ETL, l'ESB) et des tableaux de bord de suivi de la qualité des données (Data Quality Monitoring) à destination des métiers et de la DSI. · Sécurité & Conformité : Garantir que l'architecture data respecte les contraintes de sécurité (NIS2) et de protection des données personnelles (RGPD sur le CRM et la Billettique…). Ø Pilotage de Projets & Vision Stratégique · Support aux Projets : Agir en tant qu'expert Data pour tous les nouveaux projets · Cadrage Architectural : Rédiger les Dossiers d'Architecture Technique (DAT) sur le volet Data

Dans le cadre d'un projet ambitieux de transformation digitale, notre entreprise spécialisée dans les technologies de l'information et des télécommunications, située à Lille, cherche à renforcer son équipe avec deux Data Engineers experts. Notre mission : offrir des solutions robustes et évolutives basées sur Microsoft Fabric pour répondre aux besoins stratégiques de nos clients. Vous rejoindrez une équipe dynamique et collaborative, composée de Data Analysts et de spécialistes IT, où votre expertise sera cruciale pour la réussite de projets multicanaux et l'intégration de données complexes. Dans cette mission critique, vous serez un maillon essentiel de notre département Data Operations, travaillant sur des projets à fort impact business. Urgent : un Data Analyst doit rejoindre nos équipes sous 2 semaines, et le staffing global est prévu pour décembre, en vue de démarrer les lots en janvier pour une durée de 6 mois renouvelables, jusqu'à 12 mois selon l'évolution des projets. Missions - Implémenter et optimiser les composants Microsoft Fabric pour répondre à des cas d’usage prioritaires. - Concevoir et industrialiser des pipelines ETL/ELT, APIs et modèles de données avancés. - Assurer l'observabilité, la qualité des données, les tests rigoureux, ainsi que la mise en place des pratiques CI/CD. - Optimisation des coûts/performance, renforcer les aspects sécurité et conformité. - Assurer une collaboration étroite et efficace avec les Data Analysts et les équipes métiers.

Contexte de la mission : Viveris pilote les chantiers de transformation métier et IT qui contribuent à la performance des entreprises bancaires. Dans ce cadre, nous recherchons notre Data Engineer qui contribuera à un programme important d'évolution de la plateforme Data. Vos missions et responsabilités : - Analyser les besoins métiers et les traduire en solutions BI pertinentes et durables ; - Modéliser les données en cohérence avec les objectifs fonctionnels et les bonnes pratiques décisionnelles ; - Créer et maintenir les flux de données via des outils ETL, en assurant leur qualité, robustesse et performance ; - Participer à la recette et au suivi de production des chaînes décisionnelles, en lien étroit avec les utilisateurs ; - Assurer un rôle transverse sur les projets décisionnels : échange avec les MOA, rédaction de spécifications fonctionnelles, accompagnement des utilisateurs.

La mission consiste à : - Maîtrise de la donnée et garant de la qualité de son utilisation - Analyser les besoins des utilisateurs et proposer des solutions innovantes - Développer les solutions data - Maintenir les solutions existantes - Mettre en oeuvre des pipelines de données Compétences attendues : - Expériences significatives comme Data Engineer / Data Analyst - Maîtrise de SQL, Python, PowerBI, GCP, CI/CD, Terraform, Github et les ETL/ELT - Anglais un + Mission basée sur la métropole lilloise avec télétravail hybride

Dans le cadre de l’évolution de sa plateforme de données, le client souhaite renforcer son équipe Data Integration par un développeur Stambia . L’objectif est d’assurer le développement, la maintenance et l’optimisation des flux d’intégration de données, dans un contexte de modernisation du SI et de forte interconnexion entre systèmes métiers. Concevoir, développer et maintenir des mappings et processus d’intégration avec Stambia ETL / DI Réaliser les interfaces de chargement (batch ou temps réel) entre les différentes applications métiers et le Datawarehouse Mettre en place des flux d’alimentation de référentiels (produits, clients, ventes, etc.) Garantir la qualité et la cohérence des données (contrôles, rejets, logs) Contribuer à la documentation technique et au transfert de compétences Participer à la revue de code et à l’optimisation des performances Assurer le MCO des jobs Stambia (monitoring, correction des anomalies, évolutions) Participer à la migration des flux vers des environnements Cloud ou Big Data (selon roadmap du client) Équipe Data Integration (4 à 6 personnes) Product Owner / Data Architect Référent technique Stambia Collaborations transverses avec les équipes BI, DataOps et Infrastructure