Trouvez votre prochaine offre d’emploi ou de mission freelance Azure Data Factory

Dans le cadre du renforcement d'une équipe Data, nous recherchons un Data Engineer BI – Microsoft Azure / Power BI pour intervenir sur des projets décisionnels dans un environnement Microsoft Azure. Vous aurez pour missions : Au sein de l'équipe Data et en collaboration avec le chef de projet, vous interviendrez sur les activités suivantes : Créer et optimiser des bases de données (SQL Server principalement). Prendre en charge les développements de scripts SQL/Procédures. Prendre en charge les développements des pipelines Azure Data Factory. Participer à la mise en place de bonnes pratiques (CI/CD, DevOps Data, Data Quality). Être force de propositions sur les optimisations de traitement Rédaction de la documentation (spécifications techniques), recettes. Gestion du code source via Microsoft Devops et déploiement CI/CD. Préparation des livrables pour les mises en production

Au sein d'un grand groupe d'assurance de premier plan, vous rejoignez le pôle d'ingénierie data transverse pour concevoir, industrialiser et maintenir en conditions opérationnelles les pipelines de données alimentant le Datalake d'entreprise : Concevoir et développer les flux d'ingestion et de transformation de la donnée brute vers des modèles optimisés et requêtables par les métiers. Automatiser l'alimentation récurrente du Datalake et garantir la cohérence des couches de stockage (modèle médaillon). Développer les vues métier et les services de restitution (exposition de données, réintégration dans le SI, services de scoring). Garantir l'application des bonnes pratiques de développement (tests unitaires/intégration, CI/CD, documentation, versioning). Assurer le rôle de référent technique auprès de l'équipe pour sécuriser la qualité et la robustesse des livrables.

Basée à Lille, Lyon, Nantes, Grenoble, Marseille, Paris et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s'imposer comme une référence en matière de freelancing par son expertise dans l'IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Data Engineer (H/F) à Lyon, France. Contexte : Les missions attendues par le Data Engineer (H/F) : Rédaction des spécifications fonctionnelles afin de couvrir l'ensemble des exigences métiers et IT (IHM, interfaces, ...) Elaborer des cahiers de tests détaillés permettant de couvrir l'ensemble des fonctionnalités de l'outil et des interfaces; Participer à la recette avec les différents interlocuteurs : métiers et leurs DSI, équipe projet. Contribuer à la mise à jour de la cartographie applicative existante et cible, Rédiger et/ou contribuer aux livrables du projet : spécifications fonctionnelles, users stories, conception de service, dans le respect des priorités données par le référent fonctionnel applicatif du domaine pour respecter les jalons Rédiger les cahiers de tests Contribuer aux qualifications et recettes Contribuer à la mise en production Reporter au référent fonctionnel applicatif du domaine et aux instances opérationnelles (comités, suivi de recette) et alerter si besoin Produire les documents nécessaire à l'exploitation de la solution (procédures et mode opératoires pour le mode run dont conception de service). Expérience significative dans la gestion de flux financiers (virements, prélévements, flux bancaires)

Nous recherchons un(e) Ingénieur(e) Qualité Logicielle IT expérimenté(e) pour piloter les activités d'assurance qualité sur des plateformes de données complexes, des pipelines ETL et des écosystèmes Cloud. Le poste nécessite une combinaison solide de compétences en tests manuels, SQL avancé, tests ETL / Data, réconciliation et validation des données, tests API et tests de plateformes Data Cloud. La personne interviendra en étroite collaboration avec des équipes pluridisciplinaires afin de garantir la qualité des livraisons de données. Principales responsabilités : - Réaliser des tests end-to-end sur les processus ETL et les workflows Data afin de valider les étapes d'extraction, de transformation et de chargement des données. - Analyser les exigences fonctionnelles et techniques et élaborer les scénarios, cas et stratégies de tests. - Rédiger et exécuter des requêtes SQL avancées pour contrôler les jointures, agrégations, transformations et règles métier. - Développer et maintenir des solutions automatisées de validation des données avec Python, PySpark et Pandas. - Tester les pipelines Data développés avec Azure Data Factory, Azure Databricks et Azure Data Lake Gen2. - Réaliser des tests API et d'intégration avec Postman et d'autres outils afin de garantir l'intégrité des données entre les différents services. - Gérer le cycle de vie des anomalies : création, qualification, priorisation et suivi jusqu'à leur résolution. - Suivre l'avancement des campagnes de tests, produire les reportings et communiquer les risques aux différentes parties prenantes.

🏭 Secteurs stratégiques : Asset management 🗓 Démarrage : ASAP PAS DE FULL REMOTE NI SOUS TRAITANCE MERCI 💡 Contexte /Objectifs : Dans le cadre d'un projet au sein d'un client grand compte, nous sommes à la recherche d'un Data engineer avec une expertise sur la suite MSBI. Le profil recherché, Bac + 4/5 idéalement issu d'une école d'ingénieur, aura une expérience au minimum de 7/8 ans. Passionné par le développement, il aura la capacité de travailler en équipe et saura apporter une vraie valeur ajoutée par ses compétences techniques et humaines

Nous recherchons un(e) Ingénieur(e) QA / Qualité Logicielle IT expérimenté(e) pour piloter les activités d'assurance qualité sur des plateformes de données complexes, des pipelines ETL et des écosystèmes basés sur le Cloud. Le poste nécessite une solide combinaison de compétences en tests manuels, SQL avancé, tests ETL/Data, réconciliation des données, tests d'API et tests de plateformes de données Cloud. La personne retenue travaillera en étroite collaboration avec les équipes pluridisciplinaires afin de garantir la qualité des mises en production de données. Responsabilités principales : Réaliser des tests de bout en bout des processus ETL et des workflows de données, en validant les processus d'extraction, de transformation et de chargement. Analyser les exigences fonctionnelles et techniques et élaborer des scénarios, cas et stratégies de tests détaillés. Rédiger et exécuter des requêtes SQL avancées afin de contrôler les jointures, agrégations, transformations et règles métier. Développer et maintenir des solutions automatisées de validation des données avec Python, PySpark et Pandas. Tester les pipelines de données développés avec Azure Data Factory, Azure Databricks et Azure Data Lake Gen2. Réaliser des tests d'API et d'intégration avec Postman et d'autres outils, en garantissant l'intégrité des données entre les différents services. Assurer la gestion du cycle de vie des anomalies, documenter les défauts, évaluer leur impact et collaborer avec les équipes concernées pour leur résolution. Suivre l'avancement des tests, communiquer l'état des activités et remonter les risques aux différentes parties prenantes.

La Direction des Systèmes d'Information recrute un Data Engineer pour concevoir, développer et maintenir les architectures Data nécessaires à l'exploitation des données par les analystes métiers et data scientists. Principales missions : - Mener les projets d'intégration (temps réel) et data (big data & insights) - Comprendre, analyser et proposer des solutions techniques répondant aux besoins des divers acteurs de la donnée (spécialistes métier, domain managers, architecte, data analystes et scientists) - Apporter un éclairage technique sur les architectures Cloud, dialoguer avec les fournisseurs de solutions et les consultants techniques - Dans une logique de mise en production, créer et déployer des pipelines de données robustes pour les data scientists et data analysts (collecte, stockage, transformation et exploitation) - Assurer une bonne qualité des données pour les projets Machine Learning (préparation, complétude, épuration, enrichissement) dans le but d'optimiser les performances des modèles - Améliorer les processus internes : localisation et traçabilité de la donnée, standardisation des flux et des scripts de traitement des données, documentation - Collaborer avec les équipes basées aux Pays-Bas pour faciliter le Data-Sharing, échanger sur les best-practices et les moyens d'optimiser les architectures - Contribuer à l'amélioration de la gouvernance sur la protection et la confidentialité des données Conception et mise en œuvre d'une plateforme d'intégration Azure à grande échelle, servant de hub central pour 20+ applications métier et orchestrant ~150 flux d'intégration batch et temps réel répartis sur 7 ODS. Développement de flux d'intégration avec Azure Service Bus, Azure Functions, Event Grid et Azure Data Factory pour synchroniser les données entre les différents systèmes. Développement d'orchestrations distribuées et persistantes avec Azure Durable Functions pour gérer des processus métier asynchrones. Conception et gouvernance des API d'intégration via Azure API Management selon une approche spec-first avec validation des contrats d'échange. Modélisation et optimisation des ODS afin de garantir la cohérence et la disponibilité des données opérationnelles. Optimisation des requêtes SQL et des traitements de données pour améliorer les performances et la fiabilité des flux. Développement de composants mutualisés (librairies Python, modules Bicep et Terraform) afin de standardiser les développements et accélérer l'intégration de nouveaux flux. Mise en place des pipelines CI/CD, automatisation des déploiements et amélioration de l'observabilité via la standardisation des logs et des métriques personnalisées.

ANGLAIS COURANT OBLIGATOIRE Fournir des solutions logicielles fiables répondant à des besoins métier concrets. • Garantir la qualité technique à tous les niveaux : architecture, code, tests, documentation et préparation à la mise en production. • Veiller à ce que les applications respectent les normes du Groupe en matière d'architecture, de sécurité et d'intégration. • Améliorer la maintenabilité, les performances, la disponibilité et les coûts d'exploitation tout au long du cycle de vie des applications. • Promouvoir des normes d'ingénierie pragmatiques, des revues de code constructives et le partage des connaissances au sein de l'équipe. • Transformer des prototypes d'IA et de données pertinents en applications pérennes, exploitables en production par les équipes métier. Concevoir, développer, tester et déployer des applications backend ou full-stack, principalement avec .NET et C# sur Azure. • Créer des API, des services et des intégrations d'applications propres, documentés et sécurisés. • Appliquer les normes de codage et les modèles de conception établis pour produire un code lisible et facile à maintenir. • Rédiger des tests automatisés et contribuer aux revues de code, aux pipelines CI/CD ainsi qu'aux pratiques de mise en production. • Intégrer les applications aux systèmes existants, aux sources de données, à la gestion des API et aux services d'authentification et d'autorisation. • Intégrer des LLM, des pipelines RAG, des services d'IA ou des services de données lorsque cela apporte une valeur ajoutée claire au produit. • Surveiller les journaux, les performances, la latence, la disponibilité et les coûts, puis résoudre les problèmes complexes en production. • Traduire les besoins métier en options techniques réalistes et remettre en question les solutions fragiles ou trop complexes. • Contribuer à la planification, à l'estimation et à la livraison des projets au sein d'équipes agiles. • Documenter les décisions techniques et assurer un transfert de connaissances efficace.

Contexte de la missionDans le cadre du renforcement de sa stratégie de gouvernance, de sécurité et de conformité des données, notre client recherche un Consultant Microsoft Purview. Le consultant interviendra sur la mise en œuvre, la configuration et l'évolution de Microsoft Purview, afin d'améliorer la connaissance, la classification, la protection et la gouvernance des données de l'entreprise. Missions principalesRecueillir et analyser les besoins des équipes métier, Data, IT, Sécurité et Conformité. Participer à la définition et à la mise en œuvre de la stratégie Data Governance. Administrer et configurer Microsoft Purview. Mettre en place et maintenir le Data Catalog. Organiser le référencement et la cartographie des sources de données. Configurer les mécanismes de Data Discovery et de classification. Mettre en œuvre la Data Lineage afin de tracer l'origine et les transformations des données. Définir et gérer les classifications et les labels de sensibilité. Participer à la mise en place des politiques de protection et de gouvernance des données. Identifier les données sensibles et contribuer à leur protection. Participer à la mise en œuvre des politiques de Data Loss Prevention (DLP). Collaborer avec les équipes Microsoft 365, Azure, Data et Cybersecurity. Assurer le suivi des règles, politiques et contrôles de conformité. Participer aux audits et à la production des indicateurs de gouvernance. Documenter les configurations, processus et règles de gouvernance. Accompagner les équipes dans l'adoption des bonnes pratiques Data Governance. Assurer une veille sur les évolutions de Microsoft Purview et de l'écosystème Microsof

Détailler, mettre en œuvre et piloter le plan de migration Data Achats selon la stratégie et le planning définis. Piloter et accompagner 2 ETP déjà présents sur le projet. Animer les ateliers avec les équipes métiers afin de définir les règles de gestion et de transformation des données. Identifier et analyser les écarts entre les différentes sources de données. Définir les mappings et règles de transformation vers les référentiels cibles. Paramétrer l'usine de migration / Migration Fabric. Réaliser les phases de tests, ajustements, itérations et validation. Garantir la qualité des données avant et après migration. Organiser les différentes vagues de migration en coordination avec le planning projet. Assurer la conservation de l'historique nécessaire au reporting avec les nouveaux référentiels communs. Garantir la traçabilité des transformations et des règles appliquées. Mettre en place une démarche d'amélioration continue entre les vagues de migration. Garantir l'application des règles Data et de sécurité du groupe. Concevoir le modèle de données cible. Mettre en place les reportings BI nécessaires au pilotage de l'activité Achats. Développer / faire évoluer les reportings Power BI, avec environ 40 à 45 indicateurs couvrant l'ensemble du processus Achats. Collaborer étroitement avec les équipes Data, IT, métiers et projet. Compétences techniques: Indispensables: - Expertise en migration de données, idéalement dans le domaine Achats - Python – Confirmé - SQL – Confirmé - Modélisation de bases de données – Expert - Power BI / Data Visualization – Expert - Azure Data Factory / environnement Azure Data Platform – Confirmé - Expérience des projets de transformation Data complexes - Maîtrise des problématiques de mapping, transformation et qualité des données - Expérience dans la mise en œuvre de plans de migration et de stratégies de bascule Très appréciées: - Ivalua, notamment S2CP / S2CP2P - Expérience de migration vers Ivalua v182 - Connaissance des données et processus Achats / Procurement - Expérience SAP et/ou Oracle - Connaissance de Migration Fabric

Agir en tant que bras droit (adjoint) du directeur de la Solution et de la Data Factory, en pilotant la mise en œuvre de la feuille de route des données de bout en bout, en stimulant tant les parties prenantes métier que les équipes techniques, et en contribuant à structurer la fonction Données au sein de l'organisation informatique. Ce poste allie une solide expertise technique et métier en matière de données à la motivation, au sens de l'organisation et aux compétences en communication nécessaires pour évoluer vers un futur poste de responsable de la gestion des données. Mission En tant que Deputy SDF vos missions seront de: * Piloter et assumer la responsabilité de la mise en œuvre de bout en bout des projets liés aux données, en garantissant la rigueur technique, le respect des délais et la valeur métier. * Agir en tant qu'adjoint du responsable du domaine des données sur les sujets liés aux flux de données, en assurant la continuité en son absence. * Interpeller les parties prenantes métier sur les exigences afin de garantir la faisabilité, la priorité et une réelle valeur métier. * Remettre en question et accompagner les équipes d'ingénierie des données et d'analyse sur les choix techniques, les normes et la qualité de la livraison — afin de soulager le responsable de l'analyse des données de la pression liée à la livraison au quotidien. * Assumer le rôle de responsable technique de la plateforme de données, en restant impliqué de manière concrète dans les aspects liés à l'ingestion, à la transformation et à l'infrastructure des données. * Structurer et formaliser les processus de livraison des données, les méthodes de travail et la gouvernance. * Contribuer à l'architecture des données, aux normes et aux meilleures pratiques à l'échelle du domaine. * Faire le lien entre les enjeux industriels/métier (OT et données industrielles) et les solutions informatiques/de données. * Accompagner et encadrer les profils juniors dans le domaine des données, en préparant le terrain pour de futures responsabilités managériales.

Dans le cadre de la transformation de son dispositif BI & Data, un établissement d'enseignement supérieur recherche un consultant senior capable d'auditer l'existant, de cartographier les systèmes et de définir une feuille de route réaliste pour structurer la donnée. Le contexte nécessite autonomie, maturité et diplomatie, avec des échanges directs avec les équipes métiers et les référents historiques. Phase 1 – Audit et cadrage : Analyser l'architecture existante, les bases de données, l'entrepôt et les outils d'extraction. Recueillir les besoins auprès des directions métiers et identifier les principales difficultés. Cartographier les systèmes, sources, bases de données, flux et règles de gestion existants. Évaluer les écarts par rapport à une architecture data industrialisée : ETL/ELT, modèle dimensionnel, qualité et gouvernance. Identifier les priorités, risques, dépendances et conditions de réussite. Chiffrer les travaux à prévoir et construire une feuille de route de mise en œuvre. Restituer les conclusions et recommandations au responsable du sujet et aux parties prenantes. Phase 2 – Mise en œuvre : Selon les conclusions de l'audit, contribuer à la conception et au déploiement du socle Data : modèle en étoile, processus ETL/ELT, SQL Server/Azure SQL, modèles sémantiques Power BI et documentation.

Basée à Lille, Lyon, Nantes, Grenoble, Marseille, Paris et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s'imposer comme une référence en matière de freelancing par son expertise dans l'IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Business Analyst Data H/F à Lille, France. Contexte : Dans le cadre du développement stratégique de ses activités décisionnelles et du renforcement temporaire de sa Direction Data, l'entreprise souhaite accompagner la montée en charge de ses projets data. L'enjeu principal réside dans l'optimisation de la chaîne de valeur de la donnée : de la capture des besoins métiers jusqu'à la mise à disposition d'indicateurs clés et de plateformes décisionnelles performantes. Les missions attendues par le Business Analyst Data H/F : -Recueillir, analyser et formaliser les besoins métiers liés à la donnée, notamment au travers d'ateliers avec les parties prenantes. - Rédiger les spécifications fonctionnelles nécessaires à l'alimentation des plateformes décisionnelles (Data Warehouse, Data Mart, etc.) et définir les indicateurs à mettre à disposition des utilisateurs. - Concevoir les stratégies et cahiers de recette, puis piloter et exécuter les phases de tests fonctionnels. - Documenter et maintenir la méta donnée. - Assurer la traduction et la transmission des besoins métiers auprès de l'équipe technique Data (Data Engineers, Data Analysts, Data Scientists, Architectes Data, etc.). - Accompagner les utilisateurs dans l'appropriation des solutions data en vulgarisant les concepts techniques et en produisant les supports associés (formations, guides utilisateurs, documentation fonctionnelle, etc.). Profil demandé : '- Titulaire d'un diplôme d'Ingénieur ou d'un Master spécialisé en Data, Business Intelligence ou Informatique décisionnelle. - Vous justifiez d'au moins 5 années d'expérience en tant que Business Analyst, idéalement dans un environnement Data ou décisionnel. - Vous maîtrisez les bases de données et le langage SQL, et êtes à l'aise avec la rédaction de livrables fonctionnels tels que les spécifications, les cahiers de recette et la documentation utilisateur. - Vous possédez de solides capacités d'analyse, de synthèse et de communication avec des interlocuteurs métiers et techniques. - Une connaissance du secteur de l'assurance et de Power BI constituerait un atout apprécié.

La Direction des Systèmes d'Information recrute un Data Engineer pour concevoir, développer et maintenir les architectures Data nécessaires à l'exploitation des données par les analystes métiers et data scientists. Vos principales missions consisteront à : - Mener les projets d'intégration (temps réel) et data (big data & insights) - Comprendre, analyser et proposer des solutions techniques répondant aux besoins des divers acteurs de la donnée (spécialistes métier, domain managers, architecte, data analystes et scientists) - Apporter un éclairage technique sur les architectures Cloud, dialoguer avec les fournisseurs de solutions et les consultants techniques - Dans une logique de mise en production, créer et déployer des pipelines de données robustes pour les data scientists et data analysts (collecte, stockage, transformation et exploitation) - Assurer une bonne qualité des données pour les projets Machine Learning (préparation, complétude, épuration, enrichissement) dans le but d'optimiser les performances des modèles - Améliorer les processus internes : localisation et traçabilité de la donnée, standardisation des flux et des scripts de traitement des données, documentation - Collaborer avec les équipes basées aux Pays-Bas pour faciliter le Data-Sharing, échanger sur les best-practices et les moyens d'optimiser les architectures - Contribuer à l'amélioration de la gouvernance sur la protection et la confidentialité des données

Il s'agit d'assister le client en tant qu'ingénieur DATA sur le service de cloud datawarehouse sous Azure. Nous recherchons un Data Engineer ayant déjà fait du DevOps, capable de travailler à la fois sur les traitements de données (Databricks, architecture médaillon bronze / silver / gold) et sur l'infrastructure cloud associée (Azure, Terraform, Jenkins), dans un contexte d'entreprise avec des standards Git et CI/CD.Du conseil, des études d'opportunité et dossiers d'innovation seront demandés. Missions principales (Data & supervision) • Concevoir, développer et enchaîner des notebooks Databricks en PySpark pour alimenter les zones bronze, silver et gold. • Maîtriser et exploiter les formats parquet, delta et csv, en comprenant leurs impacts sur la performance, la robustesse et les coûts. • Optimiser les notebooks et jobs existants (performance, qualité de données, coûts d'exécution). • Mettre en place et faire vivre la supervision des flux : monitoring des pipelines Azure Data Factory, suivi de la qualité des données, création d'alertes et de tableaux de bord de suivi. • Contribuer à la fiabilisation globale de la plateforme data (détection d'anomalies, reprise sur incident, bonnes pratiques de développement). • Collaborer avec les équipes métier et techniques pour comprendre les besoins, prioriser les évolutions et industrialiser les traitements. Missions annexes (DevOps & infra) • Mettre à jour et faire évoluer les repos d'infrastructure (Terraform, Jenkins) en suivant les templates et bonnes pratiques du git d'entreprise. • Maintenir, paramétrer et exécuter les pipelines Jenkins liés aux déploiements et aux traitements data, en garantissant leur fiabilité et leur traçabilité. • Participer activement à la vie des repos GitHub : revue de code (PR/MR), gestion des branches, compréhension des workflows Git avancés, automatisation et diffusion des bonnes pratiques. Technologies & environnement technique • Cloud & data platform : Azure, Databricks, Azure Data Factory, Azure Storage Account, Azure Key Vault, Power BI. • Infra & CI/CD : Terraform, Jenkins, GitHub (PR/MR, workflows), intégration runtime via VM. • Langages & frameworks : Python, PySpark (DataFrame API, Spark SQL), SQL. • Formats & data : parquet, delta, csv… • Librairies Python courantes : o pyspark (transformations, jointures, agrégations, optimisations). o delta-spark et librairies Delta Lake pour la gestion des tables (ACID, time travel, optimisation). o Packages Azure (azure-identity, azure-keyvault-secrets, azure-storage-blob, etc.) pour l'intégration avec les services cloud.

Poste : Tech Lead Data Cloud – Azure / DatabricksLocalisation : Nantes, avec 1 jour/semaine sur site et possibilité de télétravail le reste du temps. Contexte : Au sein d'une direction Data & IA, le consultant interviendra comme Tech Lead Data Cloud sur les périmètres immobilier et véhicule, en accompagnant les équipes de développement. Missions principales : Concevoir les solutions et usages en respectant l'architecture cible. Instruire les sujets techniques complexes. Accompagner et faire monter en compétence les équipes. Garantir la qualité du delivery et le respect des bonnes pratiques. Réaliser des développements Python / Spark / PySpark / SQL. Participer aux démarches FinOps et à l'optimisation des coûts cloud. Garantir la cohérence des versions déployées en production. Assurer le support N3. Produire et maintenir la documentation technique : spécifications techniques ; modélisation ; code commenté ; tests unitaires ; tickets Jira.