Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark

Votre recherche renvoie 117 résultats.
Freelance

Mission freelance[LFR] Architecture Openshift à Guyancourt - 1609

ISUPPLIER
Publiée le

10 mois
600-815 €
Guyancourt, Île-de-France
Objective: Assurer la continuité architecturale et technique de la migration d'une plateforme DATA depuis OpenStack vers OpenShift, en accompagnant les équipes techniques dans la conception, l'implémentation, la documentation et l'alignement avec les exigences transverses (réseau, sécurité, stockage, etc.). Compétences techniques attendues • Bonne connaissance des architectures conteneurisées multi-site (OpenShift, Kubernetes). • Compréhension des services DATA modernes : MongoDB, Spark, MinIO, Kafka (Confluent), Starburst, RunAI, etc. • Capacité à évaluer des choix d'implémentation et à guider les équipes sur les bonnes pratiques cloud-native. • Rédaction de dossiers d'architecture et de présentations de synthèse, avec une capacité à structurer l'information de manière claire et exploitable. La maîtrise d'outils de création de diagrammes et de documentation (ex : Draw.io, Markdown, Confluence) est également souhaitée. • Connaissance des problématiques liées à la sécurité, réseau, stockage, backup, Devops dans un environnement cloud hybride. Compétences transverses • Capacité de coordination : organiser et animer des réunions avec les équipes techniques et les autres architectes (réseau, sécurité, etc.). • Communication claire : faire circuler l'information entre les équipes, transmettre les décisions, remonter les besoins. • Posture d'accompagnement : aider les équipes à structurer leur documentation, à identifier les points clés d'une architecture conteneurisée. • Vision globale : comprendre les dépendances entre services, anticiper les impacts d'une décision technique sur l'ensemble de la plateforme. Autres qualités souhaitables • Expérience dans des projets de migration ou transformation d'infrastructure. • Capacité à travailler dans un environnement multi-équipes et multi-domaines. • Sens de la priorisation et de la gestion de charge dans un contexte complexe. • Les astreintes (HNO, etc…) : oui • La possibilité de renouvellement : Oui • Type de prestation (Client / Hybrid / Remote) : Client • Nombre de jours/semaine ou par mois (à préciser : /s ou /m) chez le client : 3 jours / semaine
Voir cette offre
Freelance

Mission freelance[FBO] Data Engineer expérimenté

ISUPPLIER
Publiée le
Databricks
PySpark
Python

3 ans
La Défense, Île-de-France
Contexte de la missionDans le cadre d'un programme de transformation digitale visant à démocratiser l'accès aux actifs privés pour la clientèle Retail & Wealth Management, notre client déploie une infrastructure de données pour consolider, transformer et distribuer des données financières et documentaires vers des partenaires de distribution. Le Data Engineer interviendra en autonomie sur la conception et le déploiement de pipelines de données et d'interfaces API dans un environnement cloud Azure / Databricks à forte volumétrie. ResponsabilitésArchitecture & ingestion de données Concevoir et implémenter des pipelines ETL/ELT avec PySpark sur Databricks Construire et maintenir une architecture data lake Bronze–Silver–Gold (architecture médaillon) Développer des jobs de transformation pour des datasets financiers (NAV, capital calls, distributions, reportings) Gérer les tables Delta Lake pour un stockage ACID-compliant APIs & intégrations partenaires Développer et maintenir des Azure Functions pour les intégrations API temps réel avec des partenaires externes Développer des APIs RESTful en Python pour la distribution de données Collaborer avec les data consumers pour comprendre leurs besoins et garantir la qualité des flux Qualité, performance & DevOps Implémenter des contrôles qualité et des frameworks de tests automatisés Optimiser les jobs Spark et fonctions serverless (performance et coûts) Travailler en CI/CD via Azure DevOps Stack techniqueDomaineTechnologiesLangage principalPython (maîtrise avancée obligatoire)Traitement distribuéPySpark, DatabricksStockage / Data lakeDelta Lake, architecture médaillon (Bronze–Silver–Gold)SQLTransformation et analyse de donnéesCloud AzureDatabricks, Azure Functions, Azure DevOps, PipelinesQualité de codePre-commit hooks, ruff, mypy, blackVersioningGit — stratégies de branchingTestspytest
Voir cette offre
Freelance
CDI

Offre d'emploiTech Lead Data GCP (F/H)

VISEO
Publiée le
Google Cloud Platform (GCP)

12 mois
Boulogne-Billancourt, Île-de-France
Si pour vous être Tech Lead Data GCP, c'est : Piloter la conception et l'architecture de plateformes data modernes, scalables et sécurisées sur Google Cloud Platform ; Encadrer et accompagner des équipes Data Engineers dans la mise en œuvre de pipelines robustes et industrialisés ; Maîtriser l'écosystème GCP : BigQuery, Dataflow, Dataproc, Cloud Storage, Cloud Functions, Looker ; Concevoir et optimiser des traitements de données à grande échelle via Spark, Dataflow ou Dataproc ; Mettre en place des pratiques DataOps / FinOps : CI/CD, monitoring, optimisation des coûts et performance ; Travailler en étroite collaboration avec les équipes BI, Data, DevOps et métiers pour transformer les besoins en solutions concrètes ; Garantir la qualité, la gouvernance et la sécurité des plateformes data ; Apporter du leadership technique, structurer les bonnes pratiques et faire grandir les équipes… …Alors vous êtes le profil que nous recherchons ! Vous disposez d'une expertise confirmée en data engineering et architecture GCP, et vous êtes à l'aise dans des environnements exigeants, avec une forte dimension projet et delivery. Dans le cadre de missions à fort enjeu chez nos clients, vous interviendrez en tant que référent technique GCP sur des projets de transformation data. Vous serez amené(e) à : Accompagner les clients dans la modernisation de leurs plateformes data sur GCP (cadrage, architecture, gouvernance) ; Concevoir des architectures cloud data performantes et évolutives basées sur les services managés GCP ; Piloter des projets de déploiement de Modern Data Platforms (data lake, data warehouse, streaming, batch) ; Assurer la cohérence technique et la qualité des livrables, en garantissant performance, sécurité et scalabilité ; Conseiller les équipes IT et métiers sur leurs choix techniques et stratégiques ; Encadrer les équipes projet et diffuser les bonnes pratiques d'ingénierie data ; Mettre en place des modèles d'industrialisation : CI/CD, orchestration, monitoring, data quality ; Réaliser une veille active sur les innovations de l'écosystème GCP et Data Cloud.
Voir cette offre
Freelance

Mission freelanceExpert technique Big Data - Hadoop Cloudera - Bordeaux - 1597

ISUPPLIER
Publiée le

6 mois
500-650 €
Gradignan, Nouvelle-Aquitaine
Contexte du besoin L'équipe 'Socles Data' de la Direction Technique Informatique s'occupe de gérer les socles techniques DATA du système d'information. Ceux–ci répondent aux besoins de pilotage, de mise à disposition de tableaux de bord décisionnels, d'exploration de données, de Data science, etc. Les missions de l'équipe se traduisent par la fourniture d'outils logiciels Data industrialisés et exploitables, la rédaction de dossiers d'architecture, de normes et bonnes pratiques, la réalisation d'études, la recherche et la qualification de nouveaux outils, mais également l'administration et le maintien en conditions opérationnelles des socles DATA. Objet de la prestation Le présent marché spécifique a pour objet la recherche d'une prestation d'expertise technique Big Data / Hadoop de technologie Cloudera, pour renforcer l'équipe 'Socle DATA'. Localisation : Gradignan Description du besoin : La mission consiste à assurer le maintien en conditions opérationnelles des socles Hadoop Cloudera Hors-Prod et Prod et la participation aux projets d'évolution technique de ces socles. Activités principales : Administration et exploitation des socles Hadoop : supervision, optimisation, gestion des incidents et des performances ; Capacity planning : suivi et mise en place d'outils et procédures ; Maintenance proactive : application des correctifs, mises à jour, suivi des évolutions technologiques ; Rédaction de procédures d'administration et d'exploitation ; Intégration avec l'outillage de l'écosysteme DSI Agirc-Arrco pour l'exploitation du SI Support expertise aux équipes Etudes et exploitation Projets d'évolution des architectures techniques (évolutions logicielles et matérielles, sécurité, amélioration de l'existant, évolution des fonctionnalités techniques ou fonctionnelles) : la participation attendue peut se situer sur le pilotage, la définition d'architecture et la rédaction des dossiers, la mise en œuvre. Hadoop est le périmètre technique principal d'exécution de la mission ; cependant des compétences supplémentaires sur d'autres solutions Data seront très appréciées. La mission nécessite à la fois une totale autonomie et une capacité de travail en équipe et de communication. Des astreintes ou interventions ponctuelles en HNO pourront être ponctuellement demandées. Reporting hebdomadaire Tableau de bord Mensuel de suivi d'activités Documentations techniques: Normes, principes, dossier d'architecture, dossier d'administration, dossier d'exploitation, modes opératoires Transferts de connaissances : organisation de session de transferts de connaissances et rédaction de supports. Gestion demandes: Tickets incidents / demandes / changements dûment complétés Contribuer à la continuité de services au sein de l'équipe Environnement Socle Hadoop : Distribution Hadoop Cloudera CDP (version 7.1.9, 7.3.x ) : HDFS, YARN, Cloudera Manager, Hive, Hue, Impala, Spark, Zeppelin, Ranger, Knox, Zookeeper, Iceberg ... Langages de scripting et de developpement : Shell, Python, Spark Moteurs de requêtage : Hive, Impala, SQL, ... Systeme d'exploitation : Linux Redhat Environnement Décisionnel: Teradata, ETL Datastage , PowerBI, SAS Autres environnements techniques: Base de données : PostgreSQL Data Streaming : Kafka, IBM Infosphere CdC Socle technique infrastructure : Kubernetes, Ansible, Linux RedHat, Vmware Exploitation: : ordonnanceur IWS, sauvegarde HDPS, supervision Prometheus / Grafana,
Voir cette offre
CDI

Offre d'emploiData Governance Analyst

Lowell Group
Publiée le

LS1 5RD, Leeds, England, United Kingdom
Data Governance & Reporting Analyst Location: Thorpe Park Leeds, Hybrid Working, Flexible Working options available. (We are unable to offer sponsorship therefore you must have the right to work in the UK) As a Data Governance and Reporting Analyst, you'll play a key role within the Data Governance team, helping to ensure colleagues across Lowell can make confident, data-driven decisions based on accurate, trusted information. You'll be responsible for monitoring key data sources, identifying and resolving data issues, and supporting the production of centrally governed reporting. Working closely with stakeholders across the business, you'll document and maintain data lineage for key metrics and definitions, ensuring calculations, source systems, and critical data points are clearly defined and accessible through appropriate governance tooling. You'll also monitor data quality to ensure data is complete, accurate, and performing as expected. In addition, you'll support the wider Data and Reporting Governance function by contributing to data issue management processes, designing automated governance controls to identify data quality concerns and unexpected data patterns, and proactively recommending improvements to governance practices, policies, and reporting standards that enhance the value and effectiveness of the Data and Reporting Governance team. What we are looking for: Proven experience in data analysis, data quality assessment, and issue resolution within a business outcome-driven environment.​ Strong knowledge of data quality, data governance, and data discovery tooling, with experience using tools to assess, monitor, and improve data quality. Proficiency in SQL for data mining, analysis, and trend identification across large and complex datasets. Experience using Python, Power Query, and Power BI to support data analysis, reporting, and insight generation. Ability to prioritise and deliver critical objectives, demonstrating strong ownership and accountability for outcomes. Strong stakeholder management skills, with the ability to build effective relationships and align data management activities to wider business goals. If you're excited about this role but don't meet every requirement - don't worry, still apply. Your unique perspective could be just what we're looking for. What you'll get: A discretionary annual bonus to reward your impact 3% flexible benefits that you can tailor to suit your lifestyle, whether that's extra cash, more holiday, or added health cover. Hybrid working for the best of both worlds-collaboration and focus. Free onsite parking, saving you time and money. Recharge and refresh opportunities with 28 days of holiday plus public holidays, and the option to buy up to five more-giving you more time for what matters most. Peace of mind with life assurance that supports your loved ones, no matter what. A culture that celebrates you and supports your wellbeing - with recognition awards, access to on-site gym facilities, and a variety of wellbeing initiatives offered throughout the year to help you stay balanced, resilient and feeling your best. Encouragement to be your authentic self at work by joining one of our vibrant employee networks-like Rise (Gender), Proud (LGBTQIA+), Culture, or Spark (Neurodiversity & Disability) - and connect with a community that celebrates and supports you. So, who are we? We're on a mission to make credit work better for all. We buy debt from lots of different companies in all kinds of sectors. We treat people with dignity, helping customers pay off their Lowell debt in practical and affordable ways. According to The Sunday Times, we're one of the best places to work in the UK, (we're proud to be on their 'Best Places to Work' list for the third-year running). Why? Because of the people who work here. Warm, welcoming, and super-talented. It's our people that make us great. We celebrate and share success, learn from failure, embrace change, and savour challenge. Join us and from day one you'll have a voice in one of the most dynamic companies in the UK finance sector. Our new colleagues tell us they love the support we give them and the recognition they receive for a job well done. And wherever you are in Lowell, you'll be making a difference to the lives of millions of people going through tough times. Ready to join us? At Lowell, we're committed to helping you grow-both personally and professionally. We provide the tools, support, and opportunities you need to shape your career and thrive. We welcome people from all backgrounds and experiences. Whatever your identity - culture, gender, sexual orientation, religion, ethnicity, age, neurodiversity, or disability - if you're passionate about making credit work better for everyone, we'd love to hear from you. Our strength lies in our people, and we're proud to build inclusive teams supported by benefits that help everyone succeed. Apply today and take the next step in your data career. If you need help with your application or have any questions about the adjustments we can make to support you during the recruitment process, please contact a member of the Lowell Talent Team, who'll be more than happy to support you. #HYBRID
Voir cette offre

Au service des talents IT

Free-Work est une plateforme qui s'adresse à tous les professionnels des métiers de l'informatique.

Ses contenus et son jobboard IT sont mis à disposition 100% gratuitement pour les indépendants et les salariés du secteur.

Free-workers
Ressources
A propos
Espace recruteurs
2026 © Free-Work / AGSI SAS
Suivez-nous