La Direction des Systèmes d'Information recrute un Data Engineer pour concevoir, développer et maintenir les architectures Data nécessaires à l'exploitation des données par les analystes métiers et data scientists. Principales missions : - Mener les projets d'intégration (temps réel) et data (big data & insights) - Comprendre, analyser et proposer des solutions techniques répondant aux besoins des divers acteurs de la donnée (spécialistes métier, domain managers, architecte, data analystes et scientists) - Apporter un éclairage technique sur les architectures Cloud, dialoguer avec les fournisseurs de solutions et les consultants techniques - Dans une logique de mise en production, créer et déployer des pipelines de données robustes pour les data scientists et data analysts (collecte, stockage, transformation et exploitation) - Assurer une bonne qualité des données pour les projets Machine Learning (préparation, complétude, épuration, enrichissement) dans le but d'optimiser les performances des modèles - Améliorer les processus internes : localisation et traçabilité de la donnée, standardisation des flux et des scripts de traitement des données, documentation - Collaborer avec les équipes basées aux Pays-Bas pour faciliter le Data-Sharing, échanger sur les best-practices et les moyens d'optimiser les architectures - Contribuer à l'amélioration de la gouvernance sur la protection et la confidentialité des données Conception et mise en œuvre d'une plateforme d'intégration Azure à grande échelle, servant de hub central pour 20+ applications métier et orchestrant ~150 flux d'intégration batch et temps réel répartis sur 7 ODS. Développement de flux d'intégration avec Azure Service Bus, Azure Functions, Event Grid et Azure Data Factory pour synchroniser les données entre les différents systèmes. Développement d'orchestrations distribuées et persistantes avec Azure Durable Functions pour gérer des processus métier asynchrones. Conception et gouvernance des API d'intégration via Azure API Management selon une approche spec-first avec validation des contrats d'échange. Modélisation et optimisation des ODS afin de garantir la cohérence et la disponibilité des données opérationnelles. Optimisation des requêtes SQL et des traitements de données pour améliorer les performances et la fiabilité des flux. Développement de composants mutualisés (librairies Python, modules Bicep et Terraform) afin de standardiser les développements et accélérer l'intégration de nouveaux flux. Mise en place des pipelines CI/CD, automatisation des déploiements et amélioration de l'observabilité via la standardisation des logs et des métriques personnalisées.
Contexte : Pour accompagner la création de notre socle DATA sous GCP, nous recrutons un Data Engineer N3. Intégré à l'équipe Data Engineering & Socle, vous serez le moteur opérationnel de la mise en place des flux d'ingestion et de préparation des données. Vous apporterez votre expertise technique pour sécuriser les développements et garantir le respect des engagements de livraison du projet. Descriptif : Intégré au sein de l'équipe Data Engineering & Socle, vous interviendrez en tant que Data Engineer, avec un rôle hautement opérationnel et moteur sur notre stack Google Cloud Platform (GCP). Vous collaborerez étroitement avec les autres squads pour concevoir, optimiser et développer les pipelines d'ingestion, de transformation et d'exposition des données. Grâce à votre maîtrise éprouvée de GCP et d'outils clés tels que Composer, dbt et BigQuery, vous serez le garant de l'application des bonnes pratiques de développement, capable de challenger les architectures techniques et d'accompagner techniquement vos pairs dans leur mise en œuvre. Ce poste est stratégique pour renforcer les capacités de livraison du produit DATA via la construction et la consolidation d'un socle robuste (comptoir data, pipelines d'ingestion et de préparation, industrialisation et CI/CD).
Dans le cadre du renforcement des équipes Data, vous interviendrez en tant que Data Engineer / Data Architect Senior afin de concevoir, faire évoluer et industrialiser des architectures et plateformes de données robustes, performantes et évolutives. Vous participerez à la définition des architectures techniques, à la conception et au développement des flux de données, à leur intégration et à leur optimisation, tout en garantissant la qualité, la disponibilité et la fiabilité des données. Vous accompagnerez également les équipes dans la mise en œuvre des bonnes pratiques d'architecture et d'ingénierie Data, contribuerez aux choix technologiques et veillerez à la maintenabilité, à la sécurité et à la performance des solutions déployées.
Le consultant sera amené à travailler sur des sujets Data en s'appuyant sur la plateforme Dataiku, avec une forte dimension technique et opérationnelle. Compétences requises : - Dataiku : Expert - Data Engineering / Data : Expert - Maîtrise de la plateforme Dataiku DSS - Conception et industrialisation de pipelines de données - Préparation, transformation et exploitation des données - Mise en œuvre de traitements et workflows Dataiku - Bonnes pratiques de développement et d'industrialisation Data Prérequis : Une expérience dans des environnements sensibles / Défense serait un plus.
Contexte : Rattaché(e) à la direction R&D / Innovation, vous prenez la responsabilité du pôle Data et pilotez l'ensemble de la chaîne de valeur de la donnée, de l'architecture à l'indexation. Missions : Architecture & Data Engineering Concevoir et mettre en place une architecture data scalable et performante Organiser des entrepôts de données massifs (data Lake / datawarehouse), avec gestion de volumes importants et redondants Définir les modèles de données et leur structuration (données structurées, texte, vectorisation) Garantir la disponibilité rapide des données pour les équipes de développement Collaboration & Infrastructure Travailler avec les équipes DevOps (externes) pour la gestion des infrastructures Superviser la structuration des serveurs, la répartition de charge et la performance globale Garantir la sécurité et la mise à jour des environnements
Pour renforcer une équipe Data et travailler dans un contexte de création d'un "socle" / d'une "brique" data entre les applications métier et les différentes plateformes de consultation des données) ; nous recherchons un Data Engineer (ingestion et transformation de données). Parmi les activités : - Configurer les bases de données, avec stratégie de retention et classification - Documenter - Ingérer des données depuis les sources (via base de données ou API) - Modéliser les objets - transformer les objets - Reprise de l'historique des données - Stratégie de qualité et rejet/quarantaine
Le contexte : Vous rejoignez une équipe BI/Data qui délivre et opère les produits data du domaine Marketing & Ventes. Périmètre à la fois build (nouveaux usages, évolutions) et run (support, incidents, qualité de service). Environnement Azure, stack moderne, utilisateurs business exigeants et proches. Votre mission : • Concevoir, développer et industrialiser des rapports et modèles Power BI (modélisation, DAX, performance, sécurité RLS) — pas seulement de la mise en page • Développer et maintenir les pipelines d'ingestion et de transformation (Azure Data Factory, Databricks / PySpark) • Écrire et optimiser le SQL sur des volumétries significatives • Assurer le support niveau 2/3 sur votre périmètre : analyse d'incidents, correction, communication aux utilisateurs • Participer aux rituels agiles de l'équipe (refinement, daily, revue) et à la documentation technique • Contribuer à la fiabilisation : monitoring, tests, qualité de données Le profil : Indispensable : • 3 à 6 ans d'expérience en développement BI/Data • Power BI en développement : modélisation, DAX avancé, optimisation • SQL solide (requêtes complexes, lecture de plan d'exécution, optimisation) • Databricks et PySpark en usage réel projet • Azure Data Factory (orchestration, gestion des erreurs, paramétrage) • Autonomie sur le run : savoir prendre un incident, investiguer, tenir un utilisateur informé Apprécié : • Git / CI-CD / Azure DevOps • ADLS et modèles de type médaillon / lakehouse • Anglais professionnel (échanges avec des équipes internationales) • Connaissance des données Marketing/Ventes
En bref : Data Engineer (F/H) - CDI - Marignane - Salaire 35-40k brut annuel Notre client, PME dans le domaine industriel, recherche un Data Engineer (F/H) pour développer son activité à Marignane. Vos missions : - Concevoir, développer et maintenir les pipelines de données (ETL/ELT) permettant la collecte, la transformation et le chargement des données depuis diverses sources. - Modéliser et optimiser les architectures de données (data warehouse, data lake) en lien avec les besoins métiers. - Garantir la qualité, la fiabilité et la performance des flux de données (monitoring, tests, gestion des erreurs). - Industrialiser et automatiser les traitements de données en respectant les bonnes pratiques de développement (versioning, CI/CD, documentation). - Travailler en étroite collaboration avec les Data Analysts, Data Scientists et équipes métiers pour comprendre leurs besoins et mettre à disposition des données exploitables. - Participer à la mise en place et à l'évolution des outils et technologies data (bases de données, orchestrateurs, outils de streaming). - Assurer la sécurité et la conformité des données traitées (gouvernance, RGPD). - Optimiser les performances des requêtes et des traitements (tuning, indexation, partitionnement). - Documenter les architectures, les flux de données et les processus mis en place. - Assurer une veille technologique sur les outils et pratiques data engineering.
Vos missions ? Intégré(e) à nos équipes ou chez nos clients, vous contribuez à développer et valoriser l'ensemble des données en résolvant des problématiques business concrètes via les technologies liées à la Data A ce titre, vos missions seront les suivantes : - Concevoir et mettre en place des architectures de données en choisissant les technologies adaptées aux besoins. - Gestion des bases de données en garantissant la performance et la scalabilité des solutions de stockage. - Analyser et explorer les données avec les différents outils. - Mettre en place des tableaux de bord avec Power BI ou Tableau en exploitant les données transformées via Talend. - Interagir avec les équipes métier pour comprendre et les besoins. - Utiliser TALEND pour extraire des données depuis plusieurs sources (SQL, API, Excel ...). - Automatiser les processus ETL pour centraliser les données dans un Data Wrehouse (Snowflake). - Participation aux projets IA. Compétences requises : - ETL: Talend - Analyse de données (PowerBI, Tableau) - Base de données (SQL, GCP) - Langages: Python, SQL
Nous recherchons un(e) data engineer capable de trouver des solutions innovantes et robustes à l'ensemble des problématiques Data. Vous aurez la charge de : • Participer à la conception et réalisation d'une solution Data depuis l'acquisition jusqu'à l'exploitation de la donnée en accompagnant la réflexion des directions métiers • Identifier, collecter et intégrer les données nécessaires à la résolution de problématiques métier et opérationnelles • Garantir la qualité des données en mettant en place les outils de mesure et de suivi adéquats en appliquant les règles de Data Gouvernance et de Data Management • Transcrire des besoins métier en règles de gestion data • Industrialiser le déploiement de vos réalisations à travers l'implémentation de tests unitaires, d'intégration et de non-régression Référence de l'offre : 9qqln2qz3p
Vos missions ? Intégré(e) à nos équipes ou chez nos clients, vous contribuez à développer et valoriser l'ensemble des données en résolvant des problématiques business concrètes via les technologies liées à la Data A ce titre, vos missions seront les suivantes : - Concevoir et mettre en place des architectures de données en choisissant les technologies adaptées aux besoins. - Gestion des bases de données en garantissant la performance et la scalabilité des solutions de stockage. - Analyser et explorer les données avec les différents outils. - Mettre en place des tableaux de bord avec Power BI ou Tableau en exploitant les données transformées via Talend. - Interagir avec les équipes métier pour comprendre et les besoins. - Utiliser TALEND pour extraire des données depuis plusieurs sources (SQL, API, Excel ...). - Automatiser les processus ETL pour centraliser les données dans un Data Wrehouse (Snowflake). - Participation aux projets IA. Compétences requises : - Snowflake, Talend - Analyse de données (PowerBI, Tableau) - Base de données (SQL, GCP) - Langages: Python, SQL
Basée à Lille, Lyon, Nantes, Grenoble, Marseille, Paris et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s'imposer comme une référence en matière de freelancing par son expertise dans l'IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Data Engineer (H/F) à Lyon, France. Contexte : Les missions attendues par le Data Engineer (H/F) : Rédaction des spécifications fonctionnelles afin de couvrir l'ensemble des exigences métiers et IT (IHM, interfaces, ...) Elaborer des cahiers de tests détaillés permettant de couvrir l'ensemble des fonctionnalités de l'outil et des interfaces; Participer à la recette avec les différents interlocuteurs : métiers et leurs DSI, équipe projet. Contribuer à la mise à jour de la cartographie applicative existante et cible, Rédiger et/ou contribuer aux livrables du projet : spécifications fonctionnelles, users stories, conception de service, dans le respect des priorités données par le référent fonctionnel applicatif du domaine pour respecter les jalons Rédiger les cahiers de tests Contribuer aux qualifications et recettes Contribuer à la mise en production Reporter au référent fonctionnel applicatif du domaine et aux instances opérationnelles (comités, suivi de recette) et alerter si besoin Produire les documents nécessaire à l'exploitation de la solution (procédures et mode opératoires pour le mode run dont conception de service). Expérience significative dans la gestion de flux financiers (virements, prélévements, flux bancaires)
Au sein d'un acteur de son secteur, vous interviendrez sur des sujets de data engineering avec une forte composante de modélisation des données. Vos principales responsabilités seront les suivantes : Concevoir et construire des modèles de données robustes et évolutifs. Développer et optimiser les modèles de données sur Google BigQuery et Dataflex. Garantir la qualité, la cohérence et la performance des structures de données. Participer à la mise à disposition des données pour les usages analytiques et décisionnels. Collaborer avec les équipes techniques et fonctionnelles afin de répondre aux besoins métiers. L'environnement technique est centré sur Google BigQuery et Dataflex, avec des interactions possibles avec les outils de reporting et de visualisation de données.
En lien avec l'équipe de production applicative / DevOps, vous serez en charge de la mise en œuvre technique des évolutions du Data Lake. Vous interviendrez sur l'ingestion, la préparation et la transformation des données ainsi que sur l'évolution des pipelines. Votre rôle Ingestion et transformation des données · Mettre en œuvre de nouvelles ingestions de données au sein du Data Lake · Développer les traitements de préparation et de transformation des données · Développer les traitements associés en Python, PySpark et Hive Développement et évolution des pipelines · Maintenir et faire évoluer les outils de gestion des pipelines de données · Développer et maintenir les traitements en PySpark et les scripts Shell associés · Analyser et résoudre les problématiques techniques sur le périmètre Evolution de la plateforme Data · Identifier les besoins d'évolution de la plateforme liés aux traitements et pipelines de données · Formaliser et transmettre à l'équipe DevOps les demandes relatives aux évolutions de la plateforme · Rédiger les spécifications techniques nécessaires aux évolutions mises en œuvre
Dans le cadre du renforcement de son équipe Data, notre client recherche un Data Platform Engineer pour prendre en charge des sujets techniques autour de sa plateforme Data et de ses flux d'intégration. Vous rejoindrez directement l'équipe Data Engineering, sur un rôle hybride mêlant développement, intégration de données et évolution de la plateforme Data. Vos missionsVous intervenez sur des sujets techniques variés, notamment : Participer au développement et à l'évolution de la Data Platform. Concevoir et développer des API, connecteurs et flux d'intégration. Contribuer à l'intégration de différentes sources et applications au sein de l'écosystème Data. Participer aux développements en .NET, selon les besoins des projets. Travailler en collaboration étroite avec les Data Engineers et les équipes techniques. Participer à l'évolution et à l'amélioration des solutions existantes. Être force de proposition sur les nouvelles technologies et approches techniques, notamment autour de l'IA. Le poste offre une vraie diversité de sujets : développement, data integration, API et plateforme Data, avec la possibilité de contribuer à des sujets innovants autour de l'IA. Les conditions📍 Lille 🏢 Présentiel requis durant les 4 premiers mois, puis possibilité de 2 jours de télétravail par semaine. Un poste technique et polyvalent au sein d'une équipe Data, pour un profil qui souhaite travailler à la croisée du développement, de l'intégration et de la Data Platform.
Positionné au sein de la DSI de l'entreprise, le Data Engineer intègrera l'équipe Conso Data qui traite les données de consommation des clients afin de les exposer sur les canaux digitaux. Il devra : - Être force de proposition et participer à la conception des solutions techniques en collaboration avec les membres de l'équipe. - Comprendre les enjeux métiers afin de concevoir des solutions répondant aux besoins fonctionnels. - Participer aux cérémonies Agile SAFe (PI Planning, macro-chiffrage, refinements, rétrospectives, etc.). - Concevoir et faire évoluer les architectures de données basées sur l'approche Databricks Medallion Architecture (Bronze, Silver, Gold). - Garantir la qualité, la fiabilité et la performance des traitements de données en production. (Jobs Databricks et APIs) - Contribuer à l'amélioration continue de la plateforme en proposant des optimisations techniques, des bonnes pratiques et des innovations. Il sera notamment amené à : - Concevoir, développer et maintenir des pipelines de données (ETL) pour les flux d'intégration et les flux métiers. - Mettre en œuvre et orchestrer les traitements de données à l'aide des outils Databricks. - Modéliser les données dans les tables Delta Lake en appliquant les bonnes pratiques de partitionnement, indexation, optimisation et gouvernance. - Optimiser les performances des traitements Databricks (Spark, Delta Lake, gestion des coûts et du temps d'exécution). - Assurer le développement, les tests et le déploiement des composants techniques via des processus CI/CD. - Concevoir, développer et maintenir des APIs permettant l'exposition et la consommation des données. - Mettre en place des mécanismes de contrôle qualité des données (Data Quality), de monitoring et d'alerting. - Identifier, analyser et résoudre les incidents de production tout en assurant le suivi des actions correctives. - Rédiger et maintenir la documentation technique des solutions mises en œuvre. - Accompagner les équipes dans l'adoption des bonnes pratiques Data Engineering Environnement Technique : - Python, SQL - Spark, PySpark, DBUtils - FastApi, Pytest - Databricks, Unity Catalog - Ariflow (migration vers Databricks Workflow) - AWS (Lambda, secrect manager, Bucket S3, ECS) - Git et gestion du versioning - Déploiement pipeline CI/CD