Trouvez votre prochaine offre d’emploi ou de mission freelance Azure Data Factory

Data Engineer/Expert Databricks Nantes ( 2 jours de télétravail max) Databricks, Azure Data Factory, Python, PySpark, SQL Nous recherchons un data engineer/expert databricks qui aura pour principales tâches: -Apporter à tous les niveaux de technicité, un support sur les outils, les langages, les SGBD, etc. concernés • Apporter des améliorations dans le code, les tests, les configurations • Auditer le code et préconiser des améliorations • Apporter de l'expertise/support lors de migrations de données • Optimiser des traitements, des bases de données • Gérer les patchs éditeurs -Organiser, suivre et participer aux développements d'objets, modules, fonctionnalités complexes • Assister (expertise) les développeurs et intervenir en support N1/N2, notamment en réalisant les travaux les plus complexes -Proposer, construire, alimenter et diffuser les outils de capitalisation, d'industrialisation et de mutualisation tels que les guides de bonnes pratiques, des bilans de projets, des retours d'expérience

Contexte de la missionDans le cadre d'un programme de modernisation de sa plateforme Data, notre client recherche un Data Engineer spécialisé en orchestration de pipelines de données pour renforcer ses équipes. La mission s'inscrit dans un projet de migration de workflows d'orchestration actuellement gérés sous Azure Data Factory (ADF) vers Astronomer / Apache Airflow 3. Intégré au sein d'une équipe Data Engineering, vous interviendrez en renfort opérationnel auprès des équipes existantes. Rattaché au Principal Data Engineer, vous participerez activement à la migration, à la refonte et à l'optimisation des workflows et pipelines de données. Le poste est fortement orienté delivery, avec une collaboration étroite avec les Data Engineers de l'équipe. Vos principales missionsConcevoir, développer et maintenir des DAGs et des pipelines de données sous Apache Airflow / Astronomer. Migrer et adapter les workflows d'orchestration existants vers la nouvelle plateforme. Modifier et faire évoluer les étapes d'ingestion des données dans Astronomer. Définir et mettre en œuvre les stratégies d'ordonnancement et d'orchestration des workflows. Adapter, si nécessaire, les flux de transformation existants sous dbt. Réaliser les tests techniques et fonctionnels, valider les développements et contribuer à leur mise en production. Rédiger la documentation technique des développements réalisés. Identifier et mettre en œuvre des optimisations en matière de performance, de coûts, de fiabilité et de maintenabilité. Assurer le transfert de compétences auprès des membres de l'équipe.

Nous recherchons un Cloud Data Engineer pour participer à la conception et à l'évolution d'une plateforme de données cloud moderne, destinée à soutenir les besoins croissants de l'entreprise en matière de données, d'analytique et de reporting. Vous rejoindrez une équipe d'ingénierie dynamique et collaborative, en charge de l'un des programmes technologiques les plus stratégiques de l'organisation. Votre équipeVous intégrerez une équipe de Data Engineers passionnés par la création de solutions de données performantes, évolutives et fiables. L'équipe est responsable du développement des fondations data permettant la mise en place de capacités analytiques avancées, de reporting et de produits de données à grande échelle. Vous collaborerez étroitement avec les équipes Data Platform, Data Ingestion, BI ainsi qu'avec les différents métiers afin de fournir des données fiables, accessibles et à forte valeur ajoutée pour l'ensemble de l'entreprise. Le poste est basé à Stockholm. Vos responsabilitésConcevoir, développer et maintenir des pipelines de données et des transformations de données à l'aide de Azure Databricks, dbt, PySpark et Python. Construire et maintenir des modèles de données robustes pour répondre aux besoins d'analyse, de reporting et des applications métiers. Orchestrer et automatiser les flux de données via Databricks Workflows, Apache Airflow et Azure Data Factory. Garantir la qualité, la fiabilité, la performance et la scalabilité des données sur l'ensemble de la plateforme. Mettre en place des capacités d'observabilité et de monitoring afin d'assurer le suivi et la validation des données. Contribuer à l'automatisation et à l'amélioration continue grâce aux pratiques CI/CD et aux standards d'ingénierie. Collaborer avec les développeurs, architectes, ingénieurs plateforme et parties prenantes métiers pour délivrer des solutions data à forte valeur. Participer activement à la vie de l'équipe, aux cérémonies Agile et au partage de connaissances afin de contribuer à une culture d'excellence. Votre profilNous recherchons un Data Engineer expérimenté possédant une solide expérience dans la conception, le développement et l'exploitation de pipelines de données au sein de l'écosystème Azure. Le poste est fortement orienté Data Engineering et développement de pipelines, plutôt que sur les aspects infrastructure ou administration de plateforme. Vous appréciez le travail en équipe, êtes à l'aise dans des environnements collaboratifs et savez interagir avec des interlocuteurs aussi bien techniques que métiers. La maîtrise du suédois est un plus, ou une volonté de développer cette compétence. Compétences requisesExcellente maîtrise de SQL, Python et PySpark. Expérience significative dans le développement de solutions data sur Azure Databricks. Bonne maîtrise de dbt pour la transformation, la modélisation, les tests et la documentation des données. Expérience avec des outils d'orchestration tels que Apache Airflow et/ou Azure Data Factory. Bonne compréhension des pratiques CI/CD et de l'automatisation des déploiements de pipelines de données. Connaissance des principes de gouvernance des données : qualité, traçabilité, gestion des accès et utilisation de Unity Catalog. Expérience de la création et de la maintenance de pipelines de données et de produits data en environnement de production. Compétences appréciéesExpérience avec Microsoft Fabric ou d'autres plateformes Data SaaS modernes. Expérience dans des environnements cloud d'envergure. Bonne compréhension des architectures data modernes et des plateformes analytiques cloud-native. Cette opportunité s'adresse à un Data Engineer souhaitant contribuer à la construction d'une plateforme de données moderne au sein d'un environnement technologique innovant et à fort impact métier.

Bonjour, Votre mission Recueillir les besoins métiers et les traduire en indicateurs et tableaux de bord pertinents Concevoir, développer et maintenir des rapports et dashboards Power BI Modéliser les données (modèle en étoile, relations, mesures DAX) Préparer et transformer les données avec Power Query (M) Optimiser les performances des rapports et des modèles Gérer la publication et la sécurité sur Power BI Service (workspaces, RLS, passerelles, actualisations planifiées) Accompagner et former les utilisateurs métiers Rédiger la documentation technique et fonctionnelle Profil recherché Expérience de 5 ans minimum sur Power BI Maîtrise de DAX, Power Query et de la modélisation de données Bonne maîtrise de SQL (SQL Server, Oracle ou équivalent) Connaissance d'un environnement data : [Azure Data Factory, Synapse, Fabric, Databricks, SSIS…] appréciée Certification PL-300 (Power BI Data Analyst) appréciée Capacité à échanger avec les équipes métiers et à vulgariser les sujets data Rigueur, autonomie et sens du service Une connaissance du secteur [assurance / finance] est un plus

Candidates must demonstrate: * Significant experience in data architecture and complex legacy-system migrations. * Hands-on experience designing and delivering migrations into Pega applications. * Strong knowledge of Pega case management, data structures, case lifecycles and integration mechanisms. * Advanced SQL and relational data modelling capability. * Experience with ETL/ELT, data staging, transformation and reconciliation. * Experience migrating active operational cases between different technology platforms. * Ability to define target data contracts while application designs are evolving. * Proven migration cutover, production readiness and operational transition experience. * Experience working in high-pressure delivery or programme recovery environments. * Strong stakeholder engagement, technical leadership and pragmatic decision-making skills. 7. Desirable experience * Pega Certified Lead System Architect (CLSA) or Certified Senior System Architect (CSSA). * Experience with Pega DX API, integration services and supported data import mechanisms. * Microsoft SQL Server, SSIS, Azure Data Factory or equivalent migration tooling. * Experience migrating data from one Pega implementation into another. * Experience with regulated or audit-intensive business environments. * Experience supporting multi-release transformation programmes. * Knowledge of data governance, retention, archiving and legacy decommissioning. Due to the nature and urgency of this post, candidates holding or who have held high level security clearance in the past are most welcome to apply. Please note successful applicants will be required to be security cleared prior to appointment which can take a minimum 10 weeks. LA International is an award-winning partner of choice for many of the world's most influential companies and government organisations. Holding Enhanced Government Security Accreditation, we are recognised as the European market leader in the delivery of Security Cleared talent to organisations that demand the very highest levels of security, compliance and assurance. An award-winning organisation, having secured the prestigious Queens Award for Enterprise: International Trade over multiple years. We are committed to fostering an inclusive, equitable and accessible workplace where everyone feels valued and supported. We welcome applications from all individuals, regardless of background or identity, and we encourage candidates who may not meet every listed requirement to still apply. If you require any adjustments or support during the recruitment process, please let us know and we will work with you to ensure a fair and accessible experience. Please Note: If a high volume of applications is received, only candidates shortlisted will be contacted.

Pour notre client, un acteur majeur du conseil et de l'audit, nous recherchons un(e) Cloud DataOps Engineer. Vous rejoindrez l'équipe Intégration DevOps de la DSI. Votre rôle : garantir la fiabilité des plateformes Data critiques et participer à leur modernisation vers Azure Synapse Analytics et Microsoft Fabric. Vos missions Exploitation et RUN Data Assurer le maintien en condition opérationnelle du Référentiel Data et des applications Data. Superviser les pipelines, les traitements d'alimentation et les flux inter-applicatifs. Prendre en charge les incidents N2/N3, mener les analyses de causes racines (RCA) et piloter les remédiations. Suivre la capacité, la performance et la disponibilité des plateformes. Administration Azure Data Administrer Azure Data Factory et les Self-hosted Integration Runtime (SHIR). Administrer les composants Azure : Storage, Key Vault, Entra ID, réseau, Azure Monitor et Log Analytics. Contribuer à l'évolution des architectures Synapse Analytics et Microsoft Fabric. Flux, bases et Analytics Exploiter les flux SSIS, ADF, OpCon, les API REST et les traitements batch. Administrer SQL Server : T-SQL, performance, sauvegarde, restauration et rafraîchissement. Contribuer à l'exploitation de MongoDB, Alteryx Designer / Server et Power BI. Déploiements et industrialisation Préparer et exécuter les mises en production (DEV, REC, ITG, PPR, PROD) : RFC, chronogrammes, smoke tests, plans de retour arrière. Gérer les comptes de service, les secrets, les certificats et les habilitations. Maintenir la documentation : DEX, DAT, PIT et procédures RUN. Automatiser les opérations avec PowerShell, CI/CD, YAML et Infrastructure as Code.

Contexte de missionAssurer le support technique et fonctionnel de niveau 2 sur les plateformes BI et Data dans un environnement Cloud Azure. L'objectif est de garantir la disponibilité, la performance et la qualité des traitements de données et des solutions de reporting. Compétences techniques indispensablesSQL avancé Python orienté Data Azure Cloud Databricks Azure Data Factory Power BI Bases en Machine Learning Concepts de sécurité et gouvernance des données (RLS) Anglais professionnel obligatoire Missions principalesAnalyse et résolution d'incidents complexes Data/BI Support N2 sur les flux et plateformes décisionnelles Investigation des logs, erreurs et problèmes de permissions Suivi des SLA et participation aux activités de support opérationnel Collaboration avec les équipes Data Engineering, DevOps, Build, Business et Support L3 Analyse des impacts métiers liés aux incidents techniques Proposition d'améliorations continues sur les processus et outils Compétences fonctionnelles attenduesBonne compréhension des processus BI et Data Capacité à vulgariser des sujets techniques Excellentes capacités d'analyse et de synthèse Communication efficace avec des interlocuteurs techniques et métiers Expérience dans les environnements de support et de production

Dans le cadre des programmes stratégiques de transformation Data du Groupe, le consultant intégrera le Cloud Center of Excellence et participera à la conception, au développement et à l'exploitation des plateformes de données. La mission consiste à construire des pipelines de données robustes et industrialisés, concevoir des architectures Data modernes (Data Lake, Data Warehouse, Data Mart), garantir la qualité et la disponibilité des données, et accompagner les équipes métiers dans leurs besoins analytiques. Le consultant sera également impliqué dans les projets de migration, d'intégration et d'optimisation des traitements ETL/ELT tout en appliquant les standards de développement, de sécurité et de gouvernance définis par le Groupe. Missions principales Concevoir et développer des pipelines ETL/ELT avec Talend, SSIS et Azure Data Factory Mettre en place les infrastructures nécessaires à l'extraction, la transformation et au chargement des données Développer des composants ETL réutilisables et industrialisés Mettre en œuvre les mécanismes d'alimentation des données (Full Load, Delta Load, historisation) Assurer le support, le débogage et la résolution d'incidents de production Participer à la conception et à l'évolution des Data Lakes Intégrer les données via API, transferts de fichiers et autres mécanismes d'ingestion Concevoir et maintenir des Data Warehouses, Data Marts et cubes analytiques Réaliser la modélisation et l'assemblage de jeux de données complexes répondant aux besoins métiers Collaborer avec les Product Owners, équipes Data, administrateurs et équipes plateformes Participer aux phases de Data Discovery et Data Scoping Contribuer aux cérémonies Agile et aux activités d'amélioration continue Garantir les bonnes pratiques de développement, de qualité et de déploiement Participer à l'automatisation des déploiements et à l'intégration continue

Dans le cadre du développement de notre Data Factory, vous intégrerez une équipe en charge de concevoir, déployer et faire évoluer des plateformes Data innovantes, agiles et orientées métier. L'objectif est de développer des produits Data répondant aux besoins concrets des métiers, tout en garantissant leur performance, leur sécurité, leur qualité et leur évolutivité. Vos missionsDéveloppement de produits Data Transformer la donnée brute en données exploitables, notamment sous forme de tables requêtables dans le Data Lake. Consolider et orchestrer les données au fil de leur ingestion. Exploiter les données pour répondre aux enjeux métiers : création de Business Views, réintégration dans le SI, services de scoring, etc. Conception et industrialisation Participer à la conception et à l'évolution du socle technique Data. Développer, automatiser et fiabiliser les pipelines de données. Mettre en place et garantir un processus qualité rigoureux : documentation, tests unitaires et d'intégration, commentaires, versioning. Contribuer à l'amélioration continue des pratiques et des outils de développement Data. Profil recherchéDiplômé(e) d'un Master ou d'une école d'ingénieurs en informatique, sciences ou domaine similaire, avec une spécialisation en Data. 5 ans d'expérience minimum en tant que Data Engineer, idéalement dans un environnement Azure / Databricks. Maîtrise avancée de PySpark / Spark. Expertise de l'environnement Microsoft Azure : Data Factory, Databricks, Data Lake Storage, Azure DevOps, Git et CI/CD. Solide expérience en traitement de données batch et streaming. Bonne maîtrise de SQL et connaissance des bases NoSQL (Cosmos DB, MongoDB…). Bonne connaissance des méthodologies Agile (Scrum, Kanban). Capacité à travailler en collaboration avec des PO, BA, testeurs, architectes et équipes métiers. Qualités recherchéesRigueur et autonomie Esprit d'innovation Bonnes capacités de communication Esprit d'équipe Capacité d'adaptation Sensibilité aux enjeux de qualité et d'industrialisation des données

Microsoft Azure and Microsoft Suite Integrations Manager Our Client is an international organisation developing medical advancements. They are looking to recruit a Microsoft Azure systems Integration Manager with at least 7 years expertise of working with Microsoft Azure and involved with the design and implementation of at least 2 complex projects. Description of position: Design cloud ETL architecture, system integration, and implementation strategy to deliver an integrated solution for a global medical device/pharmaceutical organization. Serve as technical expert for business solutions in cloud architectures. Communicate the system integration vision and strategy during meetings and presentations. Ensure the technical component of the solution aligns with the Company's business goals, compliance requirements and current/potential standards. Research technological advancements to ensure that solutions are continuously improved, supported, and aligned with industry and company standards. Provide leadership and work guidance to less experienced personnel. Ensure the quality of deliverable in terms of the functional design, implementation, testing and adherence to technical compliance standards. Monitor effectiveness of systems, policies and procedures and make appropriate recommendations to ensure daily operations are efficient. Must have a Computer Science, MIS degree or equivalent practical experience is required You will have a Azure certification in either of the following – Microsoft Azure Solutions Architect Expert (AZ-300) or Microsoft Azure Architect Design (AZ-301). Skills required: The Client would like to see that you have 5+ years' experience in Microsoft Azure and O365 architecture (cloud and hybrid cloud/on-prem solutions) and components on a global basis including Azure monitoring and troubleshooting methods coupled with Azure backup and disaster recovery capabilities. Billing and cost management considerations Security, availability, compliance and performance considerations IaaS and PaaS solutions Should have direct implementation experience - Azure Data Factory, SQL DWH , Enterprise Service Bus and Data Lake Knowledge of Power BI, SSRS, SSAS Familiarity with alternative approaches such as file transfers (sFTP), EDI (multiple standards), subscribe-publish message bus, RESTful/SOAP APIs, XML/Jason. Familiarity with alternative tools such as Mulesoft, Informatica, SAS. Experience with systems architecture techniques including context diagram, data flow diagram, process (swim lane) diagram and entity-relationship diagram. Experience with statistical quality management techniques such as six sigma, CQI, Kaizen. Personal skills Proven leadership and communication skills. Experience leading technical teams and delivering user-focused services. Strong software development and application architecture experience, with good knowledge of open source technologies, testing, at least one programming language, and knowledge of frameworks to enhance coding speed Ability to adapt quickly to new technologies. Strong skills in technical architecture, project management an organizational change. Good leadership to provide guidance to less experienced personnel. Ability to work in a team environment. Willingness to travel. Excellent organization and time management skills with the ability to work in a dynamic, fast-paced environment that requires the individual to simultaneously manage several projects, with tight deadlines, while paying attention to detail and quality. Excellent problem solving, quantitative and analytical skills, critical thinking and the ability to effectively work through abstract concepts A self-starter with great personal organization skills and the ability to prioritize tasks in a collaborative, team working environment. The Manager, Integrations and Microsoft Suite will provide architectural guidance to development teams around implementation of Azure services and best practices for cloud deployments. The Client is based in Milford CT USA. The salary for this position will be in the range $100K - $130K per annum. Please do send your CV to us in Word format along with you r salary and availability.

Je suis Sheeranaze MEHENTAL, Consultante en recrutement au sein de FED IT, cabinet de recrutement spécialisé sur les métiers des systèmes d'information et de la transformation digitale : infrastructure, chefferie de projet, data, cybersécurité, développement et top management. Je recrute pour mon client basé à Montigny le Bretonneux, un Data ngénieur H/F dans le cadre d'un CDI. Rattaché à la Data Factory, dans l'équipe « Applications et Innovations ». L'objectif principal est de concevoir, développer, maintenir et sécuriser les flux et plateformes de données métiers, principalement dans un environnement Microsoft Azure. 🔧 Missions principales Le poste couvre 6 grands axes : * Plateformes Data : mettre en œuvre, piloter et maintenir les infrastructures et plateformes de données. * Flux de données : développer et maintenir les échanges entre les différents systèmes, avec supervision et monitoring. * Modélisation & architecture : documenter, modéliser et organiser les flux de données. * Data Quality : mettre en place des contrôles et des solutions pour garantir la qualité des données. * Relation avec les métiers : travailler directement avec les équipes métiers pour comprendre leurs besoins et résoudre leurs problématiques data. * Support & projets : assurer du support de niveau 3 et participer/conduire des projets liés à la donnée. ☁️ Technologies recherchées Le cœur technique de l'annonce est clairement Azure Data Engineering : * Azure Data Factory → ETL / orchestration des pipelines * Azure Functions → traitements et automatisations * Azure Data Lake Storage Gen2 (ADLS Gen2) → stockage des données * Azure PostgreSQL → bases de données * SQL → requêtage, transformation et exploitation des données * Outils de modélisation de données * Concepts de modélisation et d'entrepôts de données ⭐ Technologies « plus » Ce sont des atouts mais semblent moins indispensables : * Talend * Power BI * Salesforce * SAP

Raison d'être du poste : Le Data Product Manager assure l'interface stratégique et opérationnelle entre les Data Owners métier et l'équipe technique Data. Sa mission est de transformer la donnée issue des différents systèmes en produits analytiques performants pour piloter l'offre, l'impact scientifique du client et les processus d'accréditations internationales. Expert en modélisation Power BI, il garantit la fiabilité des indicateurs et la sécurité des accès, tout en challengeant les besoins métiers pour maximiser la valeur ajoutée des solutions déployées Finalités et Résultats Attendus : 1. Analyse, modélisation et structuration des données Analyser les modèles de données des différentes applications contributrices (sources de données ou consommatrices/cibles de données) Modéliser les données métiers (programmes, faculté, recherche et accréditations) dans un modèle commun 'SKEMA', développer des data products (PowerBI et autres) répondant aux besoins métier et maintenir le modèle sémantique de l'école. Définir et gérer la gouvernance des accès et la sécurité des données (Row Level Security) pour chaque data product. 2. Conception et développement des data products Ecrire les spécifications techniques pour les opérations de manipulation de données Documenter les logiques métier de transformation Comprendre, piloter les flux d'intégration et de transformation de données (Azure Data Factory, Synapse, PowerBI [demain Fabric / Databricks ou autres]) Développer les data products en lien avec les data owners et les équipes data Tester et valider la cohérence des flux de données entre les systèmes producteurs et les data products finaux. Suivre l'adoption des data products (usage, accès …) 3. Qualité et fiabilité des données Direction des Ressources Humaines Participer aux projets de migration et de mise en qualité des données entre systèmes applicatifs afin d'identifier les impacts sur le périmètre des data products concernés. Assurer la fiabilité des données, les contrôles de cohérence et participer au support technique associé des data products. 4. Structuration de la plateforme Data Avoir une compréhension d'une data plateforme et d'une modélisation médaillon Piloter la mise à disposition de donnée dans la data plateforme pour permettre la réalisation des data products. 5. Collaboration et accompagnement Savoir faire le pont entre les équipes métiers (vulgarisation des concepts) et les équipes techniques pour l'évolution des usages data Animer la communauté des data owner de l'univers « Offre d'enseignement & Impact scientifique » Environnement data : Modélisation de donnée • Power BI • Fabrics (est un plus) • Synapse / Azure (est un plus) • Databricks (est un plus) • Git, DevOps • SQL