Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark

Depuis 2012, nous mettons notre expertise au service des secteurs de l'IT et l'Ingénierie pour accompagner nos clients dans des projets ambitieux et innovants. Notre force ? Un management de proximité qui valorise vos aspirations, des opportunités de carrière concrètes et un engagement sincère pour le bien-être et l'épanouissement de nos collaborateurs. Rejoignez-nous sur des projets à fort impact au sein d'une entreprise où chaque talent compte ! Avanista recrute ! Toujours en recherche de nouveaux talents, nous souhaiterions intégrer un Data Engineer Senior (H/F) au sein de nos équipes pour l'un de nos clients du secteur bancaire. Le contexte ? La transformation des SI de nos Clients vers des architectures modulaires, type micro-services, l'essor de nos infrastructures et l'évolution des technologies associées, ou encore l'automatisation accrue sur nos socles et applications, génèrent une quantité massive de données devenues très hétérogènes, dispersées et silotées (équipes applicatives et socles multiples et dispersées). Prenant en compte ce cadre, vos missions seront plus spécifiquement : Maîtriser l'ensemble des techniques et technologies composant la Data Platform Accompagner les besoins et projets sur la collecte, transformation, stockage et mise à disposition des données, provenant de sources diverses en adéquation avec la Data Platform Concevoir et mettre à disposition les outils et processus (CI/CD) permettant d'automatiser les pipelines d'ingestion de données prenant en compte les besoins de fréquences (batch, temps réel, …) Développer et déployer des mécanismes de contrôle qualité ainsi que des routines de vérification pour garantir l'intégrité et la fiabilité des données Vos missions ? Participer à la conception des solutions techniques et fonctionnelles Être en relation avec les équipes opérationnelles de l'entreprise pour prise en compte des flux de données Assurer le support technique et fonctionnel, notamment analyse et résolution des incidents ou problèmes Mettre en œuvre en mode DevOps (CI/CD) Automatiser les installations des socles techniques Rédiger les documents fonctionnels et techniques, d'exploitation, en veillant au respect des normes existantes Gérer les données de l'entreprise (flux : collecte, traitement, stockage et leur cycle de vie) L'environnement technique ? Base de données de type Sql/NoSql Kafka Dataiku Scripting Python/SQL/Java Suite Elastic Suite de type Data Lakehouse (Spark, MinIO, Stockage s3, Iceberg, Trino)

Contexte de la mission : Dans le cadre de l'évolution d'une plateforme Data stratégique, nous recherchons un(e) Senior Software Engineer pour intervenir sur une application centrale permettant de configurer et d'orchestrer des traitements de données. Vous contribuerez à la modernisation de cette application afin d'améliorer sa maintenabilité, sa robustesse, sa scalabilité et sa capacité à répondre aux nouveaux besoins métiers. Vous travaillerez en étroite collaboration avec les équipes Data, les Product Owners et les équipes Architecture afin de faire évoluer les standards techniques et les bonnes pratiques de développement. Vos missions : En tant que Senior Software Engineer, vous serez notamment amené(e) à : - Concevoir, développer et maintenir une application Python dédiée à l'orchestration et à l'exécution de traitements de données. - Moderniser l'architecture applicative afin de favoriser son évolutivité, sa performance et sa fiabilité. - Réduire la dette technique grâce à des travaux de refactoring et d'amélioration continue. - Concevoir et mettre en œuvre une stratégie complète de tests (tests unitaires, tests d'intégration, validation des règles métiers, automatisation dans les pipelines CI/CD). - Développer des composants génériques et configurables afin de limiter le code spécifique et favoriser la réutilisation. - Collaborer avec les équipes Data Engineering pour intégrer les traitements dans les pipelines de données. - Participer aux choix d'architecture et aux décisions techniques structurantes. - Promouvoir les bonnes pratiques de développement logiciel, de qualité de code et d'industrialisation. - Accompagner les équipes dans l'amélioration continue des pratiques de développement. Valeur ajoutée de la mission : Vous jouerez un rôle clé dans la modernisation d'une plateforme Data stratégique en contribuant à l'amélioration de son architecture, de sa qualité logicielle et de ses performances. Votre expertise permettra de renforcer la robustesse de la plateforme tout en facilitant le développement de nouveaux traitements et l'évolution des besoins métiers. Environnement technique : 1. Langages et développement - Python - SQL 2. Data Engineering - Apache Spark - PySpark - Databricks - Delta Lake - Architecture Lakehouse 3. Cloud - AWS (S3, ECS, Fargate...) 4. Orchestration - Apache Airflow 5. DevOps - Git - GitLab CI/CD - Docker 6. Infrastructure as Code - Terraform - Terragrunt 7. Gouvernance - Gestion des accès - Monitoring - Optimisation des coûts - Gouvernance des données 8. Méthodologie - Agile Scrum Expertise souhaitée Profil recherché : - Minimum 5 ans d'expérience en développement logiciel avec une forte expertise Python. - Solide expérience en conception d'architectures logicielles et en refactoring d'applications existantes. - Bonne maîtrise des environnements Cloud, idéalement AWS. - Expérience des plateformes Data et des traitements distribués. - Maîtrise des bonnes pratiques de qualité logicielle et des tests automatisés. - Expérience des pipelines CI/CD et des environnements DevOps. - Connaissance des architectures distribuées et des problématiques de performance et de scalabilité. Qualités attendues : - Esprit d'analyse et capacité à proposer des solutions techniques innovantes. - Excellentes capacités de communication et de collaboration. - Autonomie, rigueur et sens de l'organisation. - Goût pour le partage de connaissances et l'accompagnement technique des équipes. - Capacité à évoluer dans un environnement Agile et à contribuer aux décisions stratégiques. Mobilité Non renseigné * Champs obligatoires

Contexte de la missionDans le cadre d'un programme de transformation digitale visant à démocratiser l'accès aux actifs privés pour la clientèle Retail & Wealth Management, notre client déploie une infrastructure de données pour consolider, transformer et distribuer des données financières et documentaires vers des partenaires de distribution. Le Data Engineer interviendra en autonomie sur la conception et le déploiement de pipelines de données et d'interfaces API dans un environnement cloud Azure / Databricks à forte volumétrie. ResponsabilitésArchitecture & ingestion de données Concevoir et implémenter des pipelines ETL/ELT avec PySpark sur Databricks Construire et maintenir une architecture data lake Bronze–Silver–Gold (architecture médaillon) Développer des jobs de transformation pour des datasets financiers (NAV, capital calls, distributions, reportings) Gérer les tables Delta Lake pour un stockage ACID-compliant APIs & intégrations partenaires Développer et maintenir des Azure Functions pour les intégrations API temps réel avec des partenaires externes Développer des APIs RESTful en Python pour la distribution de données Collaborer avec les data consumers pour comprendre leurs besoins et garantir la qualité des flux Qualité, performance & DevOps Implémenter des contrôles qualité et des frameworks de tests automatisés Optimiser les jobs Spark et fonctions serverless (performance et coûts) Travailler en CI/CD via Azure DevOps Stack techniqueDomaineTechnologiesLangage principalPython (maîtrise avancée obligatoire)Traitement distribuéPySpark, DatabricksStockage / Data lakeDelta Lake, architecture médaillon (Bronze–Silver–Gold)SQLTransformation et analyse de donnéesCloud AzureDatabricks, Azure Functions, Azure DevOps, PipelinesQualité de codePre-commit hooks, ruff, mypy, blackVersioningGit — stratégies de branchingTestspytest

Objective: Assurer la continuité architecturale et technique de la migration d'une plateforme DATA depuis OpenStack vers OpenShift, en accompagnant les équipes techniques dans la conception, l'implémentation, la documentation et l'alignement avec les exigences transverses (réseau, sécurité, stockage, etc.). Compétences techniques attendues • Bonne connaissance des architectures conteneurisées multi-site (OpenShift, Kubernetes). • Compréhension des services DATA modernes : MongoDB, Spark, MinIO, Kafka (Confluent), Starburst, RunAI, etc. • Capacité à évaluer des choix d'implémentation et à guider les équipes sur les bonnes pratiques cloud-native. • Rédaction de dossiers d'architecture et de présentations de synthèse, avec une capacité à structurer l'information de manière claire et exploitable. La maîtrise d'outils de création de diagrammes et de documentation (ex : Draw.io, Markdown, Confluence) est également souhaitée. • Connaissance des problématiques liées à la sécurité, réseau, stockage, backup, Devops dans un environnement cloud hybride. Compétences transverses • Capacité de coordination : organiser et animer des réunions avec les équipes techniques et les autres architectes (réseau, sécurité, etc.). • Communication claire : faire circuler l'information entre les équipes, transmettre les décisions, remonter les besoins. • Posture d'accompagnement : aider les équipes à structurer leur documentation, à identifier les points clés d'une architecture conteneurisée. • Vision globale : comprendre les dépendances entre services, anticiper les impacts d'une décision technique sur l'ensemble de la plateforme. Autres qualités souhaitables • Expérience dans des projets de migration ou transformation d'infrastructure. • Capacité à travailler dans un environnement multi-équipes et multi-domaines. • Sens de la priorisation et de la gestion de charge dans un contexte complexe. • Les astreintes (HNO, etc…) : oui • La possibilité de renouvellement : Oui • Type de prestation (Client / Hybrid / Remote) : Client • Nombre de jours/semaine ou par mois (à préciser : /s ou /m) chez le client : 3 jours / semaine

Si pour vous être Tech Lead Data GCP, c'est : Piloter la conception et l'architecture de plateformes data modernes, scalables et sécurisées sur Google Cloud Platform ; Encadrer et accompagner des équipes Data Engineers dans la mise en œuvre de pipelines robustes et industrialisés ; Maîtriser l'écosystème GCP : BigQuery, Dataflow, Dataproc, Cloud Storage, Cloud Functions, Looker ; Concevoir et optimiser des traitements de données à grande échelle via Spark, Dataflow ou Dataproc ; Mettre en place des pratiques DataOps / FinOps : CI/CD, monitoring, optimisation des coûts et performance ; Travailler en étroite collaboration avec les équipes BI, Data, DevOps et métiers pour transformer les besoins en solutions concrètes ; Garantir la qualité, la gouvernance et la sécurité des plateformes data ; Apporter du leadership technique, structurer les bonnes pratiques et faire grandir les équipes… …Alors vous êtes le profil que nous recherchons ! Vous disposez d'une expertise confirmée en data engineering et architecture GCP, et vous êtes à l'aise dans des environnements exigeants, avec une forte dimension projet et delivery. Dans le cadre de missions à fort enjeu chez nos clients, vous interviendrez en tant que référent technique GCP sur des projets de transformation data. Vous serez amené(e) à : Accompagner les clients dans la modernisation de leurs plateformes data sur GCP (cadrage, architecture, gouvernance) ; Concevoir des architectures cloud data performantes et évolutives basées sur les services managés GCP ; Piloter des projets de déploiement de Modern Data Platforms (data lake, data warehouse, streaming, batch) ; Assurer la cohérence technique et la qualité des livrables, en garantissant performance, sécurité et scalabilité ; Conseiller les équipes IT et métiers sur leurs choix techniques et stratégiques ; Encadrer les équipes projet et diffuser les bonnes pratiques d'ingénierie data ; Mettre en place des modèles d'industrialisation : CI/CD, orchestration, monitoring, data quality ; Réaliser une veille active sur les innovations de l'écosystème GCP et Data Cloud.

Data Governance & Reporting Analyst Location: Thorpe Park Leeds, Hybrid Working, Flexible Working options available. (We are unable to offer sponsorship therefore you must have the right to work in the UK) As a Data Governance and Reporting Analyst, you'll play a key role within the Data Governance team, helping to ensure colleagues across Lowell can make confident, data-driven decisions based on accurate, trusted information. You'll be responsible for monitoring key data sources, identifying and resolving data issues, and supporting the production of centrally governed reporting. Working closely with stakeholders across the business, you'll document and maintain data lineage for key metrics and definitions, ensuring calculations, source systems, and critical data points are clearly defined and accessible through appropriate governance tooling. You'll also monitor data quality to ensure data is complete, accurate, and performing as expected. In addition, you'll support the wider Data and Reporting Governance function by contributing to data issue management processes, designing automated governance controls to identify data quality concerns and unexpected data patterns, and proactively recommending improvements to governance practices, policies, and reporting standards that enhance the value and effectiveness of the Data and Reporting Governance team. What we are looking for: Proven experience in data analysis, data quality assessment, and issue resolution within a business outcome-driven environment.​ Strong knowledge of data quality, data governance, and data discovery tooling, with experience using tools to assess, monitor, and improve data quality. Proficiency in SQL for data mining, analysis, and trend identification across large and complex datasets. Experience using Python, Power Query, and Power BI to support data analysis, reporting, and insight generation. Ability to prioritise and deliver critical objectives, demonstrating strong ownership and accountability for outcomes. Strong stakeholder management skills, with the ability to build effective relationships and align data management activities to wider business goals. If you're excited about this role but don't meet every requirement - don't worry, still apply. Your unique perspective could be just what we're looking for. What you'll get: A discretionary annual bonus to reward your impact 3% flexible benefits that you can tailor to suit your lifestyle, whether that's extra cash, more holiday, or added health cover. Hybrid working for the best of both worlds-collaboration and focus. Free onsite parking, saving you time and money. Recharge and refresh opportunities with 28 days of holiday plus public holidays, and the option to buy up to five more-giving you more time for what matters most. Peace of mind with life assurance that supports your loved ones, no matter what. A culture that celebrates you and supports your wellbeing - with recognition awards, access to on-site gym facilities, and a variety of wellbeing initiatives offered throughout the year to help you stay balanced, resilient and feeling your best. Encouragement to be your authentic self at work by joining one of our vibrant employee networks-like Rise (Gender), Proud (LGBTQIA+), Culture, or Spark (Neurodiversity & Disability) - and connect with a community that celebrates and supports you. So, who are we? We're on a mission to make credit work better for all. We buy debt from lots of different companies in all kinds of sectors. We treat people with dignity, helping customers pay off their Lowell debt in practical and affordable ways. According to The Sunday Times, we're one of the best places to work in the UK, (we're proud to be on their 'Best Places to Work' list for the third-year running). Why? Because of the people who work here. Warm, welcoming, and super-talented. It's our people that make us great. We celebrate and share success, learn from failure, embrace change, and savour challenge. Join us and from day one you'll have a voice in one of the most dynamic companies in the UK finance sector. Our new colleagues tell us they love the support we give them and the recognition they receive for a job well done. And wherever you are in Lowell, you'll be making a difference to the lives of millions of people going through tough times. Ready to join us? At Lowell, we're committed to helping you grow-both personally and professionally. We provide the tools, support, and opportunities you need to shape your career and thrive. We welcome people from all backgrounds and experiences. Whatever your identity - culture, gender, sexual orientation, religion, ethnicity, age, neurodiversity, or disability - if you're passionate about making credit work better for everyone, we'd love to hear from you. Our strength lies in our people, and we're proud to build inclusive teams supported by benefits that help everyone succeed. Apply today and take the next step in your data career. If you need help with your application or have any questions about the adjustments we can make to support you during the recruitment process, please contact a member of the Lowell Talent Team, who'll be more than happy to support you. #HYBRID

Contexte du besoin L'équipe 'Socles Data' de la Direction Technique Informatique s'occupe de gérer les socles techniques DATA du système d'information. Ceux–ci répondent aux besoins de pilotage, de mise à disposition de tableaux de bord décisionnels, d'exploration de données, de Data science, etc. Les missions de l'équipe se traduisent par la fourniture d'outils logiciels Data industrialisés et exploitables, la rédaction de dossiers d'architecture, de normes et bonnes pratiques, la réalisation d'études, la recherche et la qualification de nouveaux outils, mais également l'administration et le maintien en conditions opérationnelles des socles DATA. Objet de la prestation Le présent marché spécifique a pour objet la recherche d'une prestation d'expertise technique Big Data / Hadoop de technologie Cloudera, pour renforcer l'équipe 'Socle DATA'. Localisation : Gradignan Description du besoin : La mission consiste à assurer le maintien en conditions opérationnelles des socles Hadoop Cloudera Hors-Prod et Prod et la participation aux projets d'évolution technique de ces socles. Activités principales : Administration et exploitation des socles Hadoop : supervision, optimisation, gestion des incidents et des performances ; Capacity planning : suivi et mise en place d'outils et procédures ; Maintenance proactive : application des correctifs, mises à jour, suivi des évolutions technologiques ; Rédaction de procédures d'administration et d'exploitation ; Intégration avec l'outillage de l'écosysteme DSI Agirc-Arrco pour l'exploitation du SI Support expertise aux équipes Etudes et exploitation Projets d'évolution des architectures techniques (évolutions logicielles et matérielles, sécurité, amélioration de l'existant, évolution des fonctionnalités techniques ou fonctionnelles) : la participation attendue peut se situer sur le pilotage, la définition d'architecture et la rédaction des dossiers, la mise en œuvre. Hadoop est le périmètre technique principal d'exécution de la mission ; cependant des compétences supplémentaires sur d'autres solutions Data seront très appréciées. La mission nécessite à la fois une totale autonomie et une capacité de travail en équipe et de communication. Des astreintes ou interventions ponctuelles en HNO pourront être ponctuellement demandées. Reporting hebdomadaire Tableau de bord Mensuel de suivi d'activités Documentations techniques: Normes, principes, dossier d'architecture, dossier d'administration, dossier d'exploitation, modes opératoires Transferts de connaissances : organisation de session de transferts de connaissances et rédaction de supports. Gestion demandes: Tickets incidents / demandes / changements dûment complétés Contribuer à la continuité de services au sein de l'équipe Environnement Socle Hadoop : Distribution Hadoop Cloudera CDP (version 7.1.9, 7.3.x ) : HDFS, YARN, Cloudera Manager, Hive, Hue, Impala, Spark, Zeppelin, Ranger, Knox, Zookeeper, Iceberg ... Langages de scripting et de developpement : Shell, Python, Spark Moteurs de requêtage : Hive, Impala, SQL, ... Systeme d'exploitation : Linux Redhat Environnement Décisionnel: Teradata, ETL Datastage , PowerBI, SAS Autres environnements techniques: Base de données : PostgreSQL Data Streaming : Kafka, IBM Infosphere CdC Socle technique infrastructure : Kubernetes, Ansible, Linux RedHat, Vmware Exploitation: : ordonnanceur IWS, sauvegarde HDPS, supervision Prometheus / Grafana,

Bonjour, Nous recherchons pour notre client basé en région parisienne un responsable d'applications confirmé (4-10 ans d'expérience). Objectif Global - Piloter et sécuriser les évènements de production Les livrables sont Analyser des incidents pour en comprendre la cause afin de déterminer la solution à appliquer Avoir une bonne capacité d'analyse afin de pouvoir comprendre des sujets métiers divers et variés Compétences techniques méthode ITIL - Expert - Impératif méthode Agile - Confirmé - Impératif Azure Datafactory - Confirmé - Important Databricks - Confirmé – Important Connaissances linguistiques Français Courant (Impératif) Description détaillée Responsable d'application au Datalab : Assure et coordonne les activités de maintenance corrective et évolutive des applications dont il est responsable. * Il est responsable de la qualité de service délivrée dans le respect des contrats (support, qualité, sécurité, …) vis-à-vis des entités métiers en s'appuyant sur les équipes transverses. * Il est aussi le garant du maintien des connaissances fonctionnelles et techniques nécessaires à la pérennité de l'application. * Il est en interface avec le métier et répond aux demandes d'évolution ou des projets en lien avec le Responsable SI Métier et le Chef de Projet. (*) On entend par « applications » : les programmes, les données, les paramétrages, les services exposés (API), les infrastructures techniques et les interfaces/flux inter applicatifs. Compétences requises : * Faire preuve de rigueur et être force de proposition * Savoir travailler en équipe et avoir de bonnes qualités relationnelles * Excellentes compétences techniques : Connaissance et application de la méthode ITIL (Gestion des incidents, problèmes, etc..) Connaissance et application de la méthode Agile Connaissance Azure Datafactory Connaissance Databricks (Spark SQL, Scala) Connaissance d'outils ITSM (Service Now ou équivalent) Date de démarrage 07/09/2026 Lieu de réalisation Châtillon Déplacement à prévoir non Le projet nécessite des astreintes Non Nombre de jours souhaitables sur site 3 jours par semaine Dans le cas où vous êtes intéressé par ce poste, pourriez-vous SVP m'envoyer votre CV au format Word en indiquant votre disponibilité ainsi que vos prétentions salariales ou votre tarification journalière si vous êtes indépendant ?