Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark

Développer et maintenir des pipelines de données robustes à l’aide de Python, Spark et SQL. Collaborer avec les data scientists, les analystes et les équipes d’ingénierie pour fournir des solutions de données de haute qualité. Optimiser les flux de données pour la performance, l’évolutivité et la fiabilité. Intégrer et gérer les données sur les plateformes cloud, en garantissant la sécurité et la conformité. Participer aux décisions architecturales et contribuer à l’évolution de l’infrastructure de données.

Dans le cadre du renforcement de ses équipes, notre client recherche un Data Engineer Senior. En ce sens, vos missions seront : Comitologie, documentation et cartographie data • Préparation et animation d’instances transverses de présentation de projets Data et de validation des solutions techniques (Design League Data, Guildes Data dédiées). • Documentation des assets data de la plateforme (SimDoc, Datahub, Datalab). • Cartographie des données et conception/développement d’outillage. Expertise Data • Accompagnement technique et conseil Data/Big Data auprès des équipes projets (Datahub + Datalab). • Analyse, conception et refonte d’assets data transverses. • Suivi des évolutions et migrations de la stack technique de la plateforme. Facilitation des sujets Data • Médiation inter-projets. • Aide à l’expression de besoins et à la rédaction de spécifications technico-fonctionnelles.

Je recherche un profil senior Data Engineer avec une évolution rapide vers un poste de Tech Lead. Points clés : • Solides connaissances et pratique en Python (design, tests, processus de développement, etc.) • Data Engineering : architecture big data / modélisation / optimisation / environnement distribué • Connaissance du cloud AWS ; un niveau intermédiaire minimum est requis, avec une expérience pratique • Bon esprit d'équipe et capacité d'adaptation • Bonnes compétences en communication en anglais L'objectif est de développer une plateforme basée sur des technologies Big Data robustes et évolutives. Cette plateforme sera capable de traiter un volume important de données dans les différents pays où le client opère. Son objectif principal est de capturer divers indicateurs dans un référentiel centralisé, permettant d'accéder à des vues standardisées et transversales de ces indicateurs. Outre ses responsabilités techniques, le data engineer veillera au respect des directives du groupe concernant l'utilisation du cadre interne et l'architecture. Il collaborera également avec les autres parties prenantes du projet afin de promouvoir ces directives et de proposer des solutions communes pour la plateforme. Le rôle du data engineer senior dans ce projet consistera à concevoir et à mettre en œuvre les composants suivants de la plateforme : • Ingestion des données • Traitement et normalisation des données. • Distribution des données aux différentes parties prenantes. • Construire et améliorer le cadre commun, notamment en matière de surveillance, de CI/CD, de tests, de performances, de résilience, de pratiques de développement et de qualité du code.

Au sein de la Direction Digital et Data, vous intégrerez le Data Lab en charge de l’ensemble des projets BI et Data. En tant qu'Ingénieur devOps H/F, votre mission principale sera de participer au déploiement des projets data du Groupe. La plate-forme utilisée est le Cloud Microsoft Azure. Vous êtes polyvalent(e) et savez communiquer avec les différentes équipes. Afin d'assurer un niveau de sécurité conformes aux exigences du groupement sur les applications du Datalab, vous savez organiser des ateliers, suivre et rendre compte de l'avancement des sujets de sécurisation liés aux résultats d'audit, et apporter des solutions ou des pistes de réflexion en accords avec votre expertise de sécurité de la plateforme cloud Azure, notamment sur la mise en place d'applications Web et d'API. Vous ferez partie d’une équipe d’une dizaine de collaborateurs et travaillerez dans un environnement Agile. Le contexte vous plaît ? Découvrez votre quotidien au sein de votre future équipe. Vos missions: -Construire des infrastructures Cloud Public (principalement sur Azure) -Industrialiser les architectures cibles et configurer les équipements (CI / CD) -Mettre en place des procédures et outils de surveillance permettant de garantir la haute disponibilité des infrastructures. -Participer aux phases de validation technique lors des mises en production ou des évolutions. -Collaborer avec les équipes de développement, sécurité et projets dans la réalisation de la transformation Vos atouts pour réussir DÉPLOIEMENT Configure et dimensionne les plateformes en fonction des performances requises Met en place des procédures et outils de surveillance permettant de garantir la haute disponibilité des infrastructures Participe aux phases de validation technique lors des mises en production ou des évolutions Travaille en coordination avec les équipes OPS, QA, DEV, Delivery Manager MAINTENANCE Maintient en condition opérationnelle les infrastructures virtualisées en diagnostiquant les pannes et les dysfonctionnements Industrialise les architectures cibles et configurer les équipements (CI / CD) Veille à la sauvegarde des données, à la sécurité des accès (mise en place des systèmes de gestion des droits des utilisateurs) et à la fiabilité des solutions déployées Participe à l'amélioration de la CI/CD Les livrables sont: Construire des infrastructures Cloud Public (principalement sur Azure) Industrialiser les architectures cibles et configurer les équipements (CI / CD) Collaborer avec les équipes de développement, sécurité et projets dans la réalisation de la transformation

Dans le cadre d’un programme stratégique autour de la valorisation de la donnée client , nous recherchons un Tech Lead Data / Big Data confirmé pour accompagner la mise en place et l’évolution d’une Customer Data Platform (CDP) . Vous serez le référent technique au sein de l’équipe projet et jouerez un rôle clé dans l’ encadrement des développeurs , la structuration des solutions techniques et la qualité des livrables . 6 à 9 ans d’expérience minimum dans la Data / Big Data Expérience en tant que Tech Lead ou Lead Developer Data sur des projets complexes Capacité à challenger techniquement les choix et à proposer des solutions pragmatiques Autonomie, rigueur, proactivité et aisance dans les environnements agiles Bonnes qualités de communication, aussi bien avec les équipes techniques que métiers

La mission va se dérouler au sein de l'IT Data Management & BI dans l'équipe Big Data & API / Squad CCO qui aujourd'hui gére l'Entrepôt des données client de la CIB à travers l'application INDIXIS utilisée par les équipes IT et métiers. L'objectif de la mission est de renforcer l'équipe avec un rôle de Développeur / Data Engineer orienté DevOps au sein de la Squad : - Gestion de la production - Gestion de la dette technique - Revoir l'architecture actuelle et proposer des évolutions - Développements liés aux projets Concrètement : la mission principale de la prestation aura pour but de : - traiter nos obsolescences de Framework (ex : springboot , spark2 ) - moderniser et industrialiser nos pipelines de build en intégrant les bonnes pratiques devsecops : - migration depuis tfs vers jenkins - création directe sur jenkins Le but étant d'optimiser notre code , d'assainir et d'automatiser nos déploiements via xldéploy. Le code concerne nos apis et nos process de transformation hadoop/spark ( en java , python ) Expertises spécifiques : - Spark / PySpark /Python / Java / SpringBoot / .net - Hadoop sur infra on premise - Hive / SQL/HQL - Unix/Bash - Pipeline CI/CD jenkins - XLDeploy/XLRelease - Control-M - API

Notre client recherche un DataOps expérimenté pour concevoir, déployer et maintenir l’infrastructure data sur AWS, automatiser les déploiements et garantir la performance, la sécurité et l’optimisation des flux de données. Ce rôle s’inscrit dans un programme stratégique de transformation data visant à déployer des architectures avancées pour supporter des cas d’usage variés tels que l’IA, la personnalisation de contenus et le partage de données partenaires. Environnement technique : Cloud & Infrastructure : AWS (S3, Kinesis, DMS, ECS, Lambda, IAM, VPC, CloudWatch), Linux, Docker, shell scripting Outils & Orchestration : Terraform, GitLab CI/CD, Datadog, PagerDuty Big Data & Analytics : Snowflake, Spark, Dataiku, Python, Power BI Volumes traités : ingestion de +100 To/jour, architectures event-driven et streaming Missions Déployer et maintenir l’infrastructure data sur AWS via Terraform . Mettre en place et optimiser les pipelines GitLab CI/CD . Gérer la sécurité, le monitoring, la journalisation et l’alerting des composants cloud. Assurer le suivi de la consommation et de la performance des ressources AWS. Produire et maintenir la documentation technique et les référentiels. Mettre en place des pratiques FinOps pour optimiser les coûts cloud. Contribuer à la convergence des données et au bon fonctionnement des plateformes data.

Métier : Data Management, Développeur Big Data Spécialité technologique : Big Data Type de facturation : Assistance Technique (facturation au taux journalier) Compétences techniques : Spark (5 ans) Hive (Cloudera, 5 ans) Java Hadoop (5 ans) Soft skills : Autonomie Rigueur Leadership Description et livrables de la prestation : Intégré au chapitre DATA, entité transverse, le consultant intervient dans un environnement où la donnée est stratégique. Il accompagne les équipes métiers dans la conception et l’industrialisation des solutions DATA, notamment pour l’analyse de risques liés à des investissements et prêts professionnels. En tant que référent technique et méthodologique, il garantit la qualité, la cohérence et la performance des solutions Big Data déployées sur les plateformes SPARK et CLOUDERA. Missions principales : Appuyer les équipes métiers pour formaliser et concevoir des solutions DATA robustes et évolutives Participer à la construction de pipelines de données performants (traitement, transformation, ingestion, qualité) Assurer la mise en œuvre technique des projets sur l’écosystème Big Data (SPARK, CLOUDERA, HADOOP) Challenger les besoins métiers pour garantir leur pertinence et faisabilité Promouvoir les bonnes pratiques de développement et d’architecture DATA Contribuer à la maturité data de l’organisation en accompagnant les équipes vers plus d’autonomie et de rigueur dans la manipulation des données

Dans le cadre du renforcement de l'équipe Socles Data pour un grand acteur bancaire, nous recherchons un Architecte technique Solutions Data. Sa mission consistera à : - Accompagner les équipes Data en expertise sur les solutions et architectures actuelles autour des deux grandes plateformes DATA que sont Teradata et Cloudera CDP (HDFS, Hive, Spark, Hbase,...). - Participer aux réflexions et aux études sur les trajectoires DATA (dont la trajectoire post SAS). - Apporter une expertise sur les architectures de traitement des données en temps réel (KAFKA) ainsi que leur exposition en mode API. - Accompagner la modernisation technologique sur des solutions innovantes de type Data LakeHouse “On premise” (Storage MINIO, Compute KUB, Processisng SPARK et TRINO, Services JUPYTER) et “Cloud/GCP” (Big Query, ....).

Contexte Au sein de la DSI France, tu rejoins le domaine Commerce Digital , en charge de la cohérence fonctionnelle entre les systèmes locaux (ERP Infor M3) et les plateformes digitales du groupe (E-commerce, CRM, notamment Spark). L’objectif : garantir des échanges de données fiables et performants entre les environnements legacy et les solutions digitales du groupe, dans un contexte de forte transformation. Rôle et responsabilités Ton rôle clé : assurer la conception fonctionnelle et le pilotage des intégrations entre Infor M3 et les plateformes digitales. BUILD Analyser les besoins exprimés par les Product Owners et Proxy PO . Concevoir les interfaces de synchronisation de données entre M3 et les solutions digitales (E-commerce, CRM Spark). Rédiger les spécifications fonctionnelles d’intégration (mappings, contrats d’API, schémas, règles de transformation). Participer à la co-conception technique avec la Digital Factory et les architectes Spark. Suivre et valider les livrables de l’équipe d’intégration France. Contribuer à la préparation et exécution des tests d’intégration et UAT . Valider les recettes et accompagner les mises en production . RUN Assurer le transfert de connaissances vers la TMA. Spécifier et valider les correctifs ou évolutions RUN. Participer au support applicatif niveau 3 sur les flux d’intégration. Positionnement organisationnel Hiérarchique : Responsable du domaine IT Commerce Digital. Fonctionnel : collaboration étroite avec les Product Owners , Feature Teams , Architectes Spark , et équipes d’intégration France . Compétences requises Indispensables (non négociables) Expertise confirmée sur Infor M3 (modules ventes, clients, articles, commandes, stocks…). Expérience significative en conception de flux d’intégration entre M3 et des systèmes externes (E-commerce, CRM, data hub…). Maîtrise du SQL et bonne compréhension de la modélisation de données M3. Connaissance des patterns d’intégration (API REST/SOAP, events, file-based, batchs). Familiarité avec des plateformes d’intégration (iPaaS, ESB : Boomi, MuleSoft, Talend, Azure Integration Services, etc.). Atouts complémentaires Connaissance des environnements CRM ou E-commerce (Spark, Salesforce, Magento, Mirakl…) . Expérience des méthodologies Agile : Scrum, SAFe . Outils : Jira, Confluence, Postman, SQL Developer, GitLab, Jenkins… . Anglais professionnel (collaboration avec équipes internationales). Soft skills Rigueur, sens du détail, autonomie. Solide capacité d’analyse et de synthèse. Excellent relationnel, communication claire et structurée. Esprit d’équipe et fiabilité dans les engagements. Profil recherché 3 à 5 ans minimum d’expérience sur Infor M3 . 6 à 10 ans d’expérience globale en Business Analysis / intégration applicative / projets digitaux . Capable de construire, challenger et documenter des flux complexes dans un environnement multi-SI.

Dans le cadre du renforcement du support de production, nous recherchons pour intervenir auprès de notre client, un profil hybride Data & SRE, spécialisé dans l'exploitation de plateformes Big Data en environnement conteneurisé. Vous interviendrez dans une équipe en charge du maintien en condition opérationnelle de plusieurs services stratégiques. Missions principales: Support de niveau 2 en production sur les plateformes Big Data (Spark, Airflow, Starburst) Gestion des incidents, analyse des causes racines, résolution Optimisation des traitements Spark sur Kubernetes (tuning, dimensionnement, gestion ressources) Amélioration de l'orchestration Airflow, gestion des catalogues Starburst Support aux équipes métiers pour l'usage sécurisé des plateformes Contribution à la documentation d'exploitation et de diagnostic Participation à l'amélioration continue des outils de supervision et d'automatisation Vous êtes titulaire d'un diplôme Bac+5 en informatique (Master) ou justifiez d'une expérience équivalente. Vous avez au minimum 5 ans d'expériences dont une expérience significative en support de production Big Data. Vous êtes à l'aise avec les outils et environnements suivants: Systèmes & Observabilité : Kubernetes, Helm, Dynatrace, Grafana, Kibana Traitements distribués : Spark (tuning, profiling), Airflow, Starburst DevOps / CI-CD : Git, Jenkins, GitLab CI, scripting (Python, Bash, Ansible) Sécurité / Secrets management : Hashicorp Vault, PKI Autres informations: Vous interviendrez dans un contexte international la maitrise l'anglais est indispenable Télétravail: poste ouvert avec 2 jours de télétravail par semaine

Contexte Nous recherchons un Développeur Senior possédant une double expertise en Développement Backend et en Ingénierie des Données, pour intégrer une équipe dédiée à l’Observabilité. Le consultant interviendra dans un environnement Azure et DevOps, avec un fort enjeu de fiabilité, performance et gouvernance des données. Localisation et modalités Lieu : Levallois-Perret Hybridation : 2 à 3 jours sur site / semaine Durée : engagement long terme (jusqu’à 3 ans) Démarrage : 13/10/2025 Fin prévue : 12/10/2026 Seniorité : +8 ans d’expérience minimum Missions et Responsabilités Développement Backend Concevoir, développer et maintenir des services backend (Python, PySpark). Exposer des APIs et intégrations orientées Observabilité. Data Engineering Construire et orchestrer des pipelines ELT/ETL robustes (Airflow, Spark, Python). Assurer la qualité, le lineage, la sécurité et l’observabilité des données. Stockage & Visualisation Gérer les données via PostgreSQL, Azure Blob Storage et ADLS. Créer des dashboards avancés avec Grafana pour la supervision des performances. Collaboration & Méthodologie Travailler avec les équipes de développement et le Product Owner (Agile/Scrum). Intégrer les pratiques d’observabilité dans les cycles de développement pour améliorer résilience et visibilité. Compétences techniques requises Langages : Python, PySpark, SQL, NoSQL (ElasticSearch). Data & orchestration : Spark, Airflow, PostgreSQL, ADLS, Azure Blob Storage. Observabilité : ELK Stack, Logstash, Azure Log Analytics (KQL), Grafana. Cloud & Infrastructure : Azure (AKS, Azure Functions, Event Hub, Delta Lake). CI/CD : GitHub Actions, intégration et déploiement continus. Bonus : Kafka, Spark Structured Streaming. Qualifications & Profil Diplôme en informatique/ingénierie ou équivalent. Expérience : 6+ ans en Data Engineering / Développement backend (dont plusieurs en environnement Azure & DevOps). Langues : Français et Anglais courants (écrit et oral). Résumé Mission longue (1 à 3 ans) sur Levallois-Perret, orientée sur le développement backend et l’ingénierie de données pour renforcer l’observabilité des systèmes critiques.

Métier : Architecte applicatif Compétences et spécialités : Architecture technique, Sécurité, Méthode Technologies : Linux, Spark, Keycloak, GIT, Docker, Bash, Hadoop, Kubernetes Secteur d'activité : Administration Publique Date de début souhaitée : 13/10/2025 Type de mission : Mission longue, assistance technique facturée au taux journalier EXP : 6 ans et plus Organisation du temps de travail : 70% : Études & réalisations techniques 20% : Maintenance en conditions opérationnelles (MCO) / suivi opérationnel 10% : Veille technologique et fonctionnelle Lieu : Paris Résumé de la prestation : Au sein du département Innovation et Données, intégré à une équipe de 10 architectes (dont 3 dédiés à l’infrastructure), vous serez référent technique applicatif. Encadré par le Directeur du domaine, votre rôle est d’accompagner les équipes dans la conception et l’intégration d’applications tout en garantissant le respect des normes et standards. Conseiller et accompagner les porteurs de besoins, proposer des designs applicatifs ou faire évoluer des solutions existantes Concevoir et intégrer des applications dans l’infrastructure (Docker, Kubernetes, Spark) Assurer la conformité aux normes d’architecture, sécurité et bonnes pratiques Fournir un support technique pour l’intégration et la maintenance Rédiger la documentation technique et transmettre les connaissances Former les équipes N1/N2 à la maintenance des outils Suivre les projets, identifier les risques et remonter les alertes Contribuer à la dynamique de l’équipe et proposer des améliorations, notamment en sécurité Les activités se répartissent principalement entre études techniques (70%), maintien opérationnel (20%) et veille (10%).

Dans le cadre d’un diagnostic Data Lake et Cloud pour un grand opérateur télécom, nous recherchons un Data Architect Senior Big Data & Cloud. La mission consiste à évaluer l’architecture data existante, analyser la résilience et la performance des pipelines, identifier les points de friction, et proposer des recommandations pragmatiques. Le consultant interviendra sur l’écosystème Big Data (Hadoop, Spark, MapR, ClickHouse) et sur l’évaluation des workloads cloud (AWS, Azure, GCP). Compétences clés : Hadoop / Spark / MapR / ClickHouse (écosystèmes Big Data open source). Orchestration de pipelines : Airflow, Dagster… Logs, monitoring, optimisation de la performance. Expérience on-premise & cloud (AWS, Azure, GCP). Capacité à évaluer workloads cloud et produire une matrice de risques . Connaissances sécurité data (contrôles d’accès, RGPD, loi marocaine 09-08 un plus).

Vos missions : Développer et maintenir des pipelines de données sur Databricks (Spark, notebooks, Delta Lake). Concevoir des modèles de données et des rapports interactifs sur Power BI. Ecrire et optimiser des requêtes SQL complexes pour l'analyse et la transformation des données. Automatiser des traitements et scripts en Python pour répondre à des besoins spécifiques (nettoyage, calculs, API…). Participer à la mise en place de bonnes pratiques de gouvernance des données (documentation, qualité, sécurité). Collaborer avec les équipes métiers pour comprendre les besoins et proposer des solutions adaptées. Assurer la maintenance évolutive et corrective des outils BI existants.

Le Business Analyst Front Office – System Integration est le référent des processus fonctionnels de l’équipe Digitale et responsable de leur implémentation dans les outils et flux digitaux. Il prend en charge la conception fonctionnelle des interfaces de synchronisation des données entre les systèmes locaux et les plateformes digitales E-commerce & CRM (notamment Spark), gérées par la Digital Factory. Il collabore directement avec les Product Owners France, les Feature Teams du groupe ainsi qu’avec les développeurs de l’équipe d’intégration France. Il s’assure, avec les architectes Spark, de la cohérence des solutions proposées avec le besoin métier, dans le respect des délais et des standards de qualité. Activités principalesBUILD Analyse du besoin exprimé par les Product Owners et Proxy Product Owners. Co-conception avec la Digital Factory des évolutions liées aux échanges de données entre systèmes Legacy et plateformes du groupe. Suivi et validation des livrables de l’équipe BUILD France. Contribution à la préparation et à l’exécution des tests d’intégration et des UAT. Participation à la conception fonctionnelle des projets transverses de la DSI France. Validation des recettes et des mises en production. RUN Transfert de connaissances vers les équipes de TMA. Spécification et validation fonctionnelle des développements réalisés par les équipes de TMA. Contribution au support applicatif de niveau 3. Positionnement dans l’organisation Hiérarchique : Responsable du domaine IT Commerce Digital Fonctionnel : Collaboration avec les Product Owners, Feature Teams, Architectes Spark et équipes de développement/intégration Compétences requisesConnaissances techniques 3 à 5 ans d’expérience dans des projets d’intégration de plateformes digitales (E-commerce & CRM). Bonne connaissance d’un ERP, idéalement Infor M3. Maîtrise du langage SQL et des concepts de modélisation. Connaissance des méthodologies Agile (Scrum, Safe). Expérience avec des outils de gestion de projet (JIRA, Confluence). Connaissance des Patterns (API, events & file based) et des plateformes d’intégration type iPaaS. Compétences analytiques Capacité à analyser des processus métier et proposer des solutions adaptées. Analyse de données et élaboration de conclusions pertinentes. Excellente capacité de résolution de problèmes. Compétences communicationnelles Capacité à communiquer clairement avec des interlocuteurs variés. Rédaction de documents clairs et structurés. Maîtrise de l’anglais à un niveau professionnel. Compétences comportementales Travail en équipe. Esprit d’analyse, de synthèse et de résolution de problèmes. Adaptabilité et flexibilité. Rigueur et respect des procédures. Qualités de communication orale.