Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark

Notre client dans le secteur Énergie et ressources naturelles recherche un/une Lead Data Engineer (H/F) H/F Description de la mission : Fiche de poste — Lead Data Engineer (H/F) Contexte et objectif de la mission Dans le cadre d'un programme de replatforming B2C, une organisation internationale construit une Data Platform centralisée à l'échelle mondiale, aujourd'hui fragmentée. L'objectif est de mettre en place une plateforme cloud-native, data-centric et scalable, au service des équipes data de plusieurs géographies, notamment la France, la Belgique et l'Australie. Le Core Model du programme repose sur un modèle de données unifié couvrant notamment les données clients, contrats et facturation. Le Lead Data Engineer intervient comme référent technique de la data platform, avec une responsabilité complète sur l'architecture, le delivery et la qualité des données. Stack technique • Data Platform : Databricks (lakehouse), Amazon S3, Amazon Managed Apache Flink • Gouvernance des données : Unity Catalogue, Collibra • Visualisation : Power BI • Cloud : AWS • Streaming : Confluent Kafka • Langages : Python, SQL • IA & coding : GitHub Copilot, Claude Code, outils LLM • Collaboration : Jira, Confluence, SonarQube Missions principales Stratégie & Architecture Data • Définir l'architecture de la data platform greenfield (lakehouse, zones bronze/silver/gold, data contracts) • Co-construire le Core Data Model commun aux différentes géographies tout en intégrant les spécificités locales • Mettre en place la gouvernance des données, la qualité et l'observabilité • Répondre aux besoins analytiques et fonctionnels des équipes métier via une approche de type catalogue as a service Leadership & Delivery • Être le référent technique data du programme • Choisir les partenaires et structurer une feature team de 5 à 6 personnes • Assurer la responsabilité end-to-end des pipelines, de l'ingestion à la restitution • Gérer le monitoring, la performance et l'optimisation FinOps des workloads data • Mettre en place les pratiques DataOps : automatisation des tests, CI/CD data, infrastructure as code IA & Vélocité • Exploiter GitHub Copilot, Claude Code ou équivalents pour accélérer le développement des pipelines et modèles • Intégrer des cas d'usage IA/ML dans la data platform, incluant data science, feature store et jeux de données prêts pour les LLM • Automatiser la génération de code, les tests de qualité des données et la documentation • Conserver la maîtrise technique tout en augmentant la vélocité grâce à l'IA Spécificités de l'équipe Le périmètre comprend un chantier amont de migration de l'ensemble des données France vers l'écosystème Kaluza, dans le cadre d'un programme de replatforming B2C. Cette migration implique deux modules en amont : • Module d'éligibilité : définir les paramètres business pour les parcours clients/agents • Module ETL : récupérer et transformer les données provenant de nombreux systèmes d'information avant injection dans Kaluza Complexité forte de l'ETL : • Orchestration multi-sources • Micro-batch quotidien pendant plusieurs mois • Gestion d'un service managé AWS (Glue, Step Functions, S3, Lambda…) • Connexions API pour orchestrer les flux Profil recherché Compétences indispensables • Services managés AWS (Glue, Step Functions, API Gateway, S3…) • Orchestration API • Expertise avancée Databricks, incluant Delta Lake, Unity Catalogue, Spark et workflows • Solide expérience AWS en environnement data, incluant S3, Glue, Kinesis ou Flink, IAM et sécurité cloud • Mindset IA natif avec usage actif de GitHub Copilot ou équivalent comme outil principal de développement • Maîtrise experte de Python, notamment PySpark, pandas et APIs • Expérience de conception d'une data platform from scratch • Culture DataOps : tests automatisés, CI/CD data, observabilité des pipelines • Approche lean et responsabilité end-to-end • Leadership et capacité à embarquer et structurer une équipe data Compétences appréciées • Expérience Unity Catalogue et gouvernance des données à l'échelle • Connaissance de Confluent Kafka et du streaming • Familiarité avec Collibra ou équivalent • Expérience en data modelling dans un contexte B2C • Déploiements IA/ML en production, incluant MLflow, feature engineering et pipelines LLM • Expérience de contextes multi-pays ou de data platform cross-entités Conditions • Type de contrat : Freelance (indépendant) • Démarrage : ASAP • Durée prévisionnelle : 3 ans minimum • Localisation : Colombes • Télétravail : environ 3 jours par semaine, flexible selon l'autonomie • TJM : à préciser selon profil Compétences / Qualités indispensables : Databricks et architecture lakehouse, AWS data managé (Glue, Step Functions, S3), Python / PySpark / SQL, DataOps et CI/CD data, Leadership technique et delivery end-to-end, Usage d'outils IA de développement (GitHub Copilot) Compétences / Qualités qui seraient un + : Unity Catalogue et gouvernance des données à l'échelle, Confluent Kafka et streaming, Collibra, data modelling B2C, déploiements IA/ML en production, contextes multi-pays ou cross-entitésInformations concernant le télétravail : Environ 3 jours par semaine, flexible selon l'autonomie

Contexte : migration de On premise vers GCP En tant que Data Engineer, vous serez au cœur de notre stratégie data. Vous concevrez et mettrez en œuvre des solutions innovantes pour collecter, transformer et stocker nos données massives. Votre expertise technique sera essentielle pour les projets et offrir des insights précieux à nos équipes métiers. Vos missions : Conception et développement: Définir et mettre en œuvre des architectures de données robustes (data lakes, data warehouses). Concevoir et développer des pipelines de données automatisés (ETL). Optimiser les performances des traitements de données. Technologies: Maîtrise des langages de programmation : Python, Scala, SQL. Expérience avec les outils de traitement de données : Spark, Hadoop, Kafka. Connaissance des bases de données relationnelles et NoSQL. Expérience avec les clouds (GCP) Collaboration: Travailler en étroite collaboration avec les équipes métiers. Participer à la définition de la roadmap data.

Mission principale Assurer la conception, l'industrialisation et l'exploitation des plateformes data et applicatives en combinant les compétences d'un Data Engineer (construction de pipelines, gestion des données, optimisation des traitements) et celles d'un Ingénieur DevOps (automatisation, CI/CD, infrastructure scalable, observabilité). Ce rôle garantit la fiabilité, la performance et la scalabilité de l'ensemble de la chaîne de valeur data, depuis l'ingestion jusqu'au déploiement en production. Responsabilités clés 1. Architecture & Ingestion de données Concevoir et maintenir des pipelines d'ingestion scalables et sécurisés. Intégrer des données provenant de multiples sources (API, bases SQL/NoSQL, streaming, fichiers). Structurer les données dans des environnements cloud ou on?premise (Data Lake, Data Warehouse, Lakehouse). 2. Traitement & Transformation Développer des workflows ETL/ELT performants. Optimiser les traitements batch et streaming (Spark, Flink, Kafka, etc.). Garantir la qualité, la gouvernance et la traçabilité des données. 3. Infrastructure & Automatisation DevOps Construire et maintenir des environnements d'exécution via Infrastructure as Code (Terraform, Ansible, CloudFormation). Mettre en place et gérer des pipelines CI/CD pour les projets data et applicatifs. Automatiser les déploiements, tests, monitoring et rollback.

Depuis 2012, nous mettons notre expertise au service des secteurs de l'IT et l'Ingénierie pour accompagner nos clients dans des projets ambitieux et innovants. Notre force ? Un management de proximité qui valorise vos aspirations, des opportunités de carrière concrètes et un engagement sincère pour le bien-être et l'épanouissement de nos collaborateurs. Rejoignez-nous sur des projets à fort impact au sein d'une entreprise où chaque talent compte ! Avanista recrute ! Toujours en recherche de nouveaux talents, nous souhaiterions intégrer un Data Engineer Senior (H/F) au sein de nos équipes pour l'un de nos clients du secteur bancaire. Le contexte ? La transformation des SI de nos Clients vers des architectures modulaires, type micro-services, l'essor de nos infrastructures et l'évolution des technologies associées, ou encore l'automatisation accrue sur nos socles et applications, génèrent une quantité massive de données devenues très hétérogènes, dispersées et silotées (équipes applicatives et socles multiples et dispersées). Prenant en compte ce cadre, vos missions seront plus spécifiquement : Maîtriser l'ensemble des techniques et technologies composant la Data Platform Accompagner les besoins et projets sur la collecte, transformation, stockage et mise à disposition des données, provenant de sources diverses en adéquation avec la Data Platform Concevoir et mettre à disposition les outils et processus (CI/CD) permettant d'automatiser les pipelines d'ingestion de données prenant en compte les besoins de fréquences (batch, temps réel, …) Développer et déployer des mécanismes de contrôle qualité ainsi que des routines de vérification pour garantir l'intégrité et la fiabilité des données Vos missions ? Participer à la conception des solutions techniques et fonctionnelles Être en relation avec les équipes opérationnelles de l'entreprise pour prise en compte des flux de données Assurer le support technique et fonctionnel, notamment analyse et résolution des incidents ou problèmes Mettre en œuvre en mode DevOps (CI/CD) Automatiser les installations des socles techniques Rédiger les documents fonctionnels et techniques, d'exploitation, en veillant au respect des normes existantes Gérer les données de l'entreprise (flux : collecte, traitement, stockage et leur cycle de vie) L'environnement technique ? Base de données de type Sql/NoSql Kafka Dataiku Scripting Python/SQL/Java Suite Elastic Suite de type Data Lakehouse (Spark, MinIO, Stockage s3, Iceberg, Trino)

Data Governance & Reporting Analyst Location: Thorpe Park Leeds, Hybrid Working, Flexible Working options available. (We are unable to offer sponsorship therefore you must have the right to work in the UK) As a Data Governance and Reporting Analyst, you'll play a key role within the Data Governance team, helping to ensure colleagues across Lowell can make confident, data-driven decisions based on accurate, trusted information. You'll be responsible for monitoring key data sources, identifying and resolving data issues, and supporting the production of centrally governed reporting. Working closely with stakeholders across the business, you'll document and maintain data lineage for key metrics and definitions, ensuring calculations, source systems, and critical data points are clearly defined and accessible through appropriate governance tooling. You'll also monitor data quality to ensure data is complete, accurate, and performing as expected. In addition, you'll support the wider Data and Reporting Governance function by contributing to data issue management processes, designing automated governance controls to identify data quality concerns and unexpected data patterns, and proactively recommending improvements to governance practices, policies, and reporting standards that enhance the value and effectiveness of the Data and Reporting Governance team. What we are looking for: Proven experience in data analysis, data quality assessment, and issue resolution within a business outcome-driven environment.​ Strong knowledge of data quality, data governance, and data discovery tooling, with experience using tools to assess, monitor, and improve data quality. Proficiency in SQL for data mining, analysis, and trend identification across large and complex datasets. Experience using Python, Power Query, and Power BI to support data analysis, reporting, and insight generation. Ability to prioritise and deliver critical objectives, demonstrating strong ownership and accountability for outcomes. Strong stakeholder management skills, with the ability to build effective relationships and align data management activities to wider business goals. If you're excited about this role but don't meet every requirement - don't worry, still apply. Your unique perspective could be just what we're looking for. What you'll get: A discretionary annual bonus to reward your impact 3% flexible benefits that you can tailor to suit your lifestyle, whether that's extra cash, more holiday, or added health cover. Hybrid working for the best of both worlds-collaboration and focus. Free onsite parking, saving you time and money. Recharge and refresh opportunities with 28 days of holiday plus public holidays, and the option to buy up to five more-giving you more time for what matters most. Peace of mind with life assurance that supports your loved ones, no matter what. A culture that celebrates you and supports your wellbeing - with recognition awards, access to on-site gym facilities, and a variety of wellbeing initiatives offered throughout the year to help you stay balanced, resilient and feeling your best. Encouragement to be your authentic self at work by joining one of our vibrant employee networks-like Rise (Gender), Proud (LGBTQIA+), Culture, or Spark (Neurodiversity & Disability) - and connect with a community that celebrates and supports you. So, who are we? We're on a mission to make credit work better for all. We buy debt from lots of different companies in all kinds of sectors. We treat people with dignity, helping customers pay off their Lowell debt in practical and affordable ways. According to The Sunday Times, we're one of the best places to work in the UK, (we're proud to be on their 'Best Places to Work' list for the third-year running). Why? Because of the people who work here. Warm, welcoming, and super-talented. It's our people that make us great. We celebrate and share success, learn from failure, embrace change, and savour challenge. Join us and from day one you'll have a voice in one of the most dynamic companies in the UK finance sector. Our new colleagues tell us they love the support we give them and the recognition they receive for a job well done. And wherever you are in Lowell, you'll be making a difference to the lives of millions of people going through tough times. Ready to join us? At Lowell, we're committed to helping you grow-both personally and professionally. We provide the tools, support, and opportunities you need to shape your career and thrive. We welcome people from all backgrounds and experiences. Whatever your identity - culture, gender, sexual orientation, religion, ethnicity, age, neurodiversity, or disability - if you're passionate about making credit work better for everyone, we'd love to hear from you. Our strength lies in our people, and we're proud to build inclusive teams supported by benefits that help everyone succeed. Apply today and take the next step in your data career. If you need help with your application or have any questions about the adjustments we can make to support you during the recruitment process, please contact a member of the Lowell Talent Team, who'll be more than happy to support you. #HYBRID

Contexte de la mission : Dans le cadre de l'évolution d'une plateforme Data stratégique, nous recherchons un(e) Senior Software Engineer pour intervenir sur une application centrale permettant de configurer et d'orchestrer des traitements de données. Vous contribuerez à la modernisation de cette application afin d'améliorer sa maintenabilité, sa robustesse, sa scalabilité et sa capacité à répondre aux nouveaux besoins métiers. Vous travaillerez en étroite collaboration avec les équipes Data, les Product Owners et les équipes Architecture afin de faire évoluer les standards techniques et les bonnes pratiques de développement. Vos missions : En tant que Senior Software Engineer, vous serez notamment amené(e) à : - Concevoir, développer et maintenir une application Python dédiée à l'orchestration et à l'exécution de traitements de données. - Moderniser l'architecture applicative afin de favoriser son évolutivité, sa performance et sa fiabilité. - Réduire la dette technique grâce à des travaux de refactoring et d'amélioration continue. - Concevoir et mettre en œuvre une stratégie complète de tests (tests unitaires, tests d'intégration, validation des règles métiers, automatisation dans les pipelines CI/CD). - Développer des composants génériques et configurables afin de limiter le code spécifique et favoriser la réutilisation. - Collaborer avec les équipes Data Engineering pour intégrer les traitements dans les pipelines de données. - Participer aux choix d'architecture et aux décisions techniques structurantes. - Promouvoir les bonnes pratiques de développement logiciel, de qualité de code et d'industrialisation. - Accompagner les équipes dans l'amélioration continue des pratiques de développement. Valeur ajoutée de la mission : Vous jouerez un rôle clé dans la modernisation d'une plateforme Data stratégique en contribuant à l'amélioration de son architecture, de sa qualité logicielle et de ses performances. Votre expertise permettra de renforcer la robustesse de la plateforme tout en facilitant le développement de nouveaux traitements et l'évolution des besoins métiers. Environnement technique : 1. Langages et développement - Python - SQL 2. Data Engineering - Apache Spark - PySpark - Databricks - Delta Lake - Architecture Lakehouse 3. Cloud - AWS (S3, ECS, Fargate...) 4. Orchestration - Apache Airflow 5. DevOps - Git - GitLab CI/CD - Docker 6. Infrastructure as Code - Terraform - Terragrunt 7. Gouvernance - Gestion des accès - Monitoring - Optimisation des coûts - Gouvernance des données 8. Méthodologie - Agile Scrum Expertise souhaitée Profil recherché : - Minimum 5 ans d'expérience en développement logiciel avec une forte expertise Python. - Solide expérience en conception d'architectures logicielles et en refactoring d'applications existantes. - Bonne maîtrise des environnements Cloud, idéalement AWS. - Expérience des plateformes Data et des traitements distribués. - Maîtrise des bonnes pratiques de qualité logicielle et des tests automatisés. - Expérience des pipelines CI/CD et des environnements DevOps. - Connaissance des architectures distribuées et des problématiques de performance et de scalabilité. Qualités attendues : - Esprit d'analyse et capacité à proposer des solutions techniques innovantes. - Excellentes capacités de communication et de collaboration. - Autonomie, rigueur et sens de l'organisation. - Goût pour le partage de connaissances et l'accompagnement technique des équipes. - Capacité à évoluer dans un environnement Agile et à contribuer aux décisions stratégiques. Mobilité Non renseigné * Champs obligatoires

Objective: Assurer la continuité architecturale et technique de la migration d'une plateforme DATA depuis OpenStack vers OpenShift, en accompagnant les équipes techniques dans la conception, l'implémentation, la documentation et l'alignement avec les exigences transverses (réseau, sécurité, stockage, etc.). Compétences techniques attendues • Bonne connaissance des architectures conteneurisées multi-site (OpenShift, Kubernetes). • Compréhension des services DATA modernes : MongoDB, Spark, MinIO, Kafka (Confluent), Starburst, RunAI, etc. • Capacité à évaluer des choix d'implémentation et à guider les équipes sur les bonnes pratiques cloud-native. • Rédaction de dossiers d'architecture et de présentations de synthèse, avec une capacité à structurer l'information de manière claire et exploitable. La maîtrise d'outils de création de diagrammes et de documentation (ex : Draw.io, Markdown, Confluence) est également souhaitée. • Connaissance des problématiques liées à la sécurité, réseau, stockage, backup, Devops dans un environnement cloud hybride. Compétences transverses • Capacité de coordination : organiser et animer des réunions avec les équipes techniques et les autres architectes (réseau, sécurité, etc.). • Communication claire : faire circuler l'information entre les équipes, transmettre les décisions, remonter les besoins. • Posture d'accompagnement : aider les équipes à structurer leur documentation, à identifier les points clés d'une architecture conteneurisée. • Vision globale : comprendre les dépendances entre services, anticiper les impacts d'une décision technique sur l'ensemble de la plateforme. Autres qualités souhaitables • Expérience dans des projets de migration ou transformation d'infrastructure. • Capacité à travailler dans un environnement multi-équipes et multi-domaines. • Sens de la priorisation et de la gestion de charge dans un contexte complexe. • Les astreintes (HNO, etc…) : oui • La possibilité de renouvellement : Oui • Type de prestation (Client / Hybrid / Remote) : Client • Nombre de jours/semaine ou par mois (à préciser : /s ou /m) chez le client : 3 jours / semaine

Contexte de la missionDans le cadre d'un programme de transformation digitale visant à démocratiser l'accès aux actifs privés pour la clientèle Retail & Wealth Management, notre client déploie une infrastructure de données pour consolider, transformer et distribuer des données financières et documentaires vers des partenaires de distribution. Le Data Engineer interviendra en autonomie sur la conception et le déploiement de pipelines de données et d'interfaces API dans un environnement cloud Azure / Databricks à forte volumétrie. ResponsabilitésArchitecture & ingestion de données Concevoir et implémenter des pipelines ETL/ELT avec PySpark sur Databricks Construire et maintenir une architecture data lake Bronze–Silver–Gold (architecture médaillon) Développer des jobs de transformation pour des datasets financiers (NAV, capital calls, distributions, reportings) Gérer les tables Delta Lake pour un stockage ACID-compliant APIs & intégrations partenaires Développer et maintenir des Azure Functions pour les intégrations API temps réel avec des partenaires externes Développer des APIs RESTful en Python pour la distribution de données Collaborer avec les data consumers pour comprendre leurs besoins et garantir la qualité des flux Qualité, performance & DevOps Implémenter des contrôles qualité et des frameworks de tests automatisés Optimiser les jobs Spark et fonctions serverless (performance et coûts) Travailler en CI/CD via Azure DevOps Stack techniqueDomaineTechnologiesLangage principalPython (maîtrise avancée obligatoire)Traitement distribuéPySpark, DatabricksStockage / Data lakeDelta Lake, architecture médaillon (Bronze–Silver–Gold)SQLTransformation et analyse de donnéesCloud AzureDatabricks, Azure Functions, Azure DevOps, PipelinesQualité de codePre-commit hooks, ruff, mypy, blackVersioningGit — stratégies de branchingTestspytest

Si pour vous être Tech Lead Data GCP, c'est : Piloter la conception et l'architecture de plateformes data modernes, scalables et sécurisées sur Google Cloud Platform ; Encadrer et accompagner des équipes Data Engineers dans la mise en œuvre de pipelines robustes et industrialisés ; Maîtriser l'écosystème GCP : BigQuery, Dataflow, Dataproc, Cloud Storage, Cloud Functions, Looker ; Concevoir et optimiser des traitements de données à grande échelle via Spark, Dataflow ou Dataproc ; Mettre en place des pratiques DataOps / FinOps : CI/CD, monitoring, optimisation des coûts et performance ; Travailler en étroite collaboration avec les équipes BI, Data, DevOps et métiers pour transformer les besoins en solutions concrètes ; Garantir la qualité, la gouvernance et la sécurité des plateformes data ; Apporter du leadership technique, structurer les bonnes pratiques et faire grandir les équipes… …Alors vous êtes le profil que nous recherchons ! Vous disposez d'une expertise confirmée en data engineering et architecture GCP, et vous êtes à l'aise dans des environnements exigeants, avec une forte dimension projet et delivery. Dans le cadre de missions à fort enjeu chez nos clients, vous interviendrez en tant que référent technique GCP sur des projets de transformation data. Vous serez amené(e) à : Accompagner les clients dans la modernisation de leurs plateformes data sur GCP (cadrage, architecture, gouvernance) ; Concevoir des architectures cloud data performantes et évolutives basées sur les services managés GCP ; Piloter des projets de déploiement de Modern Data Platforms (data lake, data warehouse, streaming, batch) ; Assurer la cohérence technique et la qualité des livrables, en garantissant performance, sécurité et scalabilité ; Conseiller les équipes IT et métiers sur leurs choix techniques et stratégiques ; Encadrer les équipes projet et diffuser les bonnes pratiques d'ingénierie data ; Mettre en place des modèles d'industrialisation : CI/CD, orchestration, monitoring, data quality ; Réaliser une veille active sur les innovations de l'écosystème GCP et Data Cloud.