Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark

Contexte de la mission La mission s'inscrit au sein du département Architecture d'un organisme majeur de la protection sociale. Nous recherchons un Architecte Technique Senior (15-25 ans d'expérience) pour rejoindre le pôle Accompagnement et Conformité. Le consultant aura pour responsabilité de faire évoluer l'architecture du SI pour répondre aux besoins utilisateurs tout en assurant l'interopérabilité des nouvelles solutions avec l'environnement existant. Il travaillera en étroite collaboration avec l'Architecture d'Entreprise (Urbanistes) et les équipes d'experts techniques (socles, systèmes, réseaux). Objectifs et livrables Objectifs principaux : La mission consiste principalement à accompagner les projets dans la définition de leur architecture technique en cohérence avec les politiques techniques de l'organisme. Détail des activités : Support aux projets (70% de l'activité) : Accompagner l'élaboration des Dossiers d'Architecture Technique (DAT), contribuer à l'instruction et aux revues d'architecture, et réaliser des études d'impact pour les nouvelles technologies. Démarche d'architecture et conformité : Définir des solutions techniques conformes aux standards et assurer la cohérence avec les briques de production (Gateway, Kubernetes, Middleware...). Collaboration et expertise : Valider les solutions avec les experts techniques et suivre les évolutions des socles. Transformation SI : Accompagner les transformations vers le Cloud et les projets BI / Big Data. Environnement technique : Socle applicatif : JAVA (JEE, Spring, Hibernate), API/SOA (REST, SOAP) Infrastructure & Cloud : Kubernetes, Openshift, Ansible, VMWare, Architecture Microservices. Data (Atout) : Big Data, Spark, Kafka, ELK. Bases de données : PostgreSQL, Oracle, Cassandra.

Dans le cadre du plan de transformation DATA de notre Client, notre client développe des applications et plateformes DATA pour rendre nos métiers (pilotage, marketing, commerce, etc.) autonomes dans l’analyse de leurs données et KPI. Les infrastructures et projets incluent : AWS, GitLab, Terraform, DBT, Snowflake, Python, Scala, Spark, PowerBI, AI/GenAI Architectures Big Data sophistiquées pour ingérer plus de 100 par jour (Datalake, Event-Driven, Streaming, etc.) Exemples de projets : Chatbot AI Socle vidéo, navigation et calcul des audiences Recommandation de programmes via IA Feature Store et modernisation des flux financiers Plateformes CRM et partage de données partenaires Kubernetes et applications de data self-service Missions En tant que Data Engineer , vous serez en charge de : Concevoir, développer et maintenir des pipelines de données scalables et performants (ingestion, traitement et stockage de données massives). Développer des architectures Big Data sur AWS (S3, EMR, Lambda, Kinesis, Batch…), Snowflake et Spark. Développer en Scala et Python pour le traitement massif des données. Automatiser les workflows et orchestrer les pipelines avec Airflow et DBT . Concevoir et exposer des APIs customer-facing performantes. Optimiser les performances et garantir la scalabilité pour gérer un volume important d’utilisateurs. Collaborer avec les équipes Data Science, Produit et DevOps pour une intégration fluide.

Les Systèmes de Données du Groupe recherchent un(e) Senior Cloud Data Engineer passionné(e) basé(e) à Paris afin d’accompagner la forte croissance de nos activités. En rejoignant notre équipe, vous ferez partie d’une équipe autonome et serez affecté(e) à un programme de transformation , en travaillant sur des projets de Data Engineering . Vous apporterez des conseils en stratégie data , participerez à la conception de l’architecture et à sa mise en œuvre , et aurez l’opportunité d’expérimenter de nouvelles technologies et solutions . Au sein de notre équipe, vous serez accompagné(e) par des collègues dynamiques, toujours prêts à partager leurs connaissances . Nous attendrons de vous que vous apportiez des recommandations sur les meilleures pratiques . Vous serez un point central , mettant à profit vos compétences et votre état d’esprit pour contribuer au développement des compétences professionnelles de l’équipe, avec un accent particulier sur la fiabilité , la maintenabilité et la scalabilité des solutions que nous fournissons à nos clients. Compétences et expériences requises 3 à 5 ans d’expérience pratique dans la construction de pipelines de données sur des services et plateformes cloud publics , de préférence Amazon Web Services (notre principal fournisseur cloud) et/ou Azure , Google Cloud Platform Plus de 3 ans d’expérience dans l’ architecture , la conception , le développement , l’ implémentation et le support de solutions data Expérience dans plusieurs des domaines suivants : architecture de bases de données , ETL , business intelligence , big data , machine learning , analytique avancée Expérience dans des environnements basés sur Hadoop et Spark Expérience dans l’ orchestration de pipelines avec Airflow Expérience des architectures Lakehouse : Hudi, Iceberg, Delta Connaissance des optimisations Lakehouse : compaction , Z-Order , etc. Expérience en développement logiciel et en langages de transformation de données tels que Python , SQL , ainsi qu’avec Docker , les pipelines CI/CD et les concepts d’ automatisation pour construire des pipelines de traitement de données critiques Sensibilisation aux concepts clés du DevOps et aux principes Agile Connaissances de base des services fondamentaux du cloud (réseau, sécurité, stockage, IAM), de leur fonctionnement et de leurs options de configuration Esprit ouvert et attitude proactive en faveur de l’ apprentissage continu , du développement personnel et de l’orientation client Solides compétences relationnelles , avec une sensibilité et une compréhension des enjeux interculturels Capacité à garantir la performance , la disponibilité et la scalabilité des applications, tout en maintenant un haut niveau de qualité de code et une conception réfléchie En tant qu’ ingénieur cloud , vous livrez des solutions de haute qualité , de la conception à la mise en production, avec un fort accent sur la fiabilité , l’ automatisation , la maintenabilité et la sécurité Contribution à l’ évolution de notre offre de Cloud Data Engineering (conception, implémentation, déploiement)

Rejoignez Mon client banque assurance à Paris pour une mission stratégique au cœur de la plateforme Data du Groupe. Au sein de la squad « Restitutions Réglementaires », vous jouerez un rôle clé dans la mise en conformité et la valorisation des données assurantielles. Votre mission Sous un mode de travail hybride (3 jours sur site), vous piloterez la constitution des déclaratifs réglementaires (FICOVIE, FATCA, ECKERT, etc.). Votre intervention débutera par le chantier prioritaire FICOVIE , en exploitant des sources Big Data et décisionnelles complexes. Environnement Technique & Défis Vous évoluerez dans un écosystème On-Premise (MapR) exigeant : Core : Java 11, Spark, SparkSQL, Hive et Shell. Streaming & Batch : Maîtrise de Kafka (MaprES) pour l'optimisation des flux. DevOps & CI/CD : GitLab, Jenkins, Docker, Kubernetes et ArgoCD. Méthodologie : Agilité à l'échelle (SAFe) via JIRA.

Merci de bien lire l'annonce ci dessous et vérifier que vous correspondez au besoin. Nous recherchons exclusivement des candidats basés à Vannes ou en Bretagne . Merci de ne pas envoyer de candidature si vous êtes situés hors de cette zone géographique. En tant que Data Engineer , votre mission principale sera de produire des solutions techniques robustes et performantes pour exploiter au mieux les données du client. Cependant, votre rôle ne se limitera pas à l’aspect technique : vous serez également un partenaire stratégique des métiers , capable d’identifier leurs besoins, de comprendre leurs enjeux et de proposer des solutions techniques adaptées. Vos responsabilités : Concevoir, développer et maintenir des pipelines de données performants et évolutifs Participer à la définition de l'architecture Data Développer les solutions de collecte et de stockage des données Mettre en place les tests unitaires et automatisés Garantir la qualité, la sécurité et l’intégrité des données tout au long de leur cycle de vie. Implémenter des solutions qui optimisent la gestion des données pour les équipes métier. Collaborer étroitement avec les équipes métier pour comprendre leurs objectifs stratégiques. Faciliter la communication entre les équipes techniques et les non-techniciens Vous serez à la croisée des chemins entre technique et métier , jouant un rôle clé pour transformer les données en un véritable levier de décision. Votre capacité à allier expertise technique et vision stratégique fera de vous un acteur indispensable pour relever les défis de l’entreprise.

L’objectif principal est la conception et la mise en œuvre d’un Data Lake moderne sur GCP , basé sur une architecture Médaillon (Bronze / Silver / Gold) et s’appuyant sur Apache Iceberg , avec la capacité de détacher une brique autonome pour certains clients manipulant des données sensibles. Missions principalesArchitecture & Data Platform Concevoir et mettre en place un Data Lake sur GCP basé sur Apache Iceberg Définir et implémenter une architecture Médaillon (ingestion, transformation, exposition) Participer aux choix d’architecture pour une brique data autonome dédiée aux données sensibles Contribuer à l’ internalisation de la plateforme data (design, outillage, bonnes pratiques) Data Engineering Développer des pipelines d’ingestion pour : Données capteurs issues de drones Données tabulaires associées Gérer des pics de charge importants (jusqu’à 10 Go ingérés simultanément) Garantir la disponibilité rapide des données après les vols d’essai Mettre en place des contrôles de qualité, traçabilité et gouvernance des données Data & Analytics Préparer les données pour des cas d’usage de maintenance prédictive Optimiser les performances de lecture et d’écriture (partitionnement, schéma, versioning) Collaborer avec les équipes data science / métier Sécurité & conformité Travailler dans un contexte habilitable (données sensibles, clients spécifiques) Appliquer les contraintes de sécurité et de cloisonnement des données

Nous recherchons un Architecte Data GCP senior pour accompagner une grande organisation française dans la structuration et l’évolution de sa Data Platform au sein d’équipes pluridisciplinaires (Data Engineers, Data Scientists, Product Owners, équipes techniques transverses…). Vos missions En tant qu’Architecte Data, vous interviendrez sur un périmètre stratégique incluant : Architecture Data Garantir la cohérence et la standardisation de la stack technique entre les différentes équipes. Auditer l’architecture existante et proposer des améliorations structurantes. Définir les contrats d’interface entre les équipes (data products / data mesh). Participer à l’introduction et aux tests de nouvelles technologies. Veille technologique continue sur les solutions Cloud & Data. Developer Experience Contribuer à la rédaction et à l’industrialisation de modules Terraform / Terragrunt. Accompagner les équipes dans la montée en compétence sur l’Infrastructure as Code. Définir les standards CI/CD applicables à l’ensemble des équipes Data. FinOps Suivi et contrôle du budget Data (multi-équipes). Mise en place d’outils de monitoring, alerting et optimisation des ressources. Identification et priorisation des optimisations de coûts Cloud.

En tant que Data Analyst ou Data Scientist ou AI Ingineer , vous contribuez aux projets stratégiques de grands comptes bancaires en intervenant sur l’analyse, le traitement et la valorisation des données bancaires et financières. Vos principales missions : Recueillir et analyser les besoins métiers Collecter, structurer et traiter les données chiffrées issues de différentes sources Nettoyer les données (suppression des doublons, gestion des valeurs manquantes, etc.) Développer des algorithmes pour l’exploitation des données (analyse statistique, machine learning) Concevoir et construire des actifs informatiques dédiés à la préparation et à la visualisation des données Développer du code ou des scripts s’appuyant sur des données structurées et non structurées Participer aux phases de tests, recettes et validation des solutions déployées Installer et configurer les outils requis dans le respect du cadre de référence technique Assurer la maintenance évolutive et corrective des solutions déployées, intervenir en support si nécessaire Rédiger la documentation associée (use cases, développements, procédures) Lieu : Paris – Client : Grand établissement bancaire – Type de mission : CDI / Freelance / Portage Démarrage : ASAP – Durée : 3 ans

Missions : • Collecter, analyser et formaliser sous forme de spécifications les besoins fonctionnels et/ou techniques et définir les tests d’acceptances. • Participer au découpage sous forme de ticket JIRA avec les développeurs et compléter leur rédaction (pendant les phases de préparation de PI, ou pendant le PI planning). • Tester les développements, et qualifier les releases. Dans ce cadre, définir la stratégie de tests, formaliser les cahiers de recette et réaliser les tests fonctionnels afin de garantir la bonne adéquation des solutions développées avec les exigences client d’une part et garantir la sécurité et la stabilité des solutions déployées d’autre part. Organiser et assurer la communication avec les différents partenaires (Front, Risques) • Participer à la production des livrables liées aux releases : release note, document d’homologation, documentation fonctionnelle, etc • Maitriser et faire évoluer les outils d’analyses (basés sur PowerBI, Python). • Assurer le support de production, en particulier sur les analyses fonctionnelles. Créer les tickets JIRA associé lorsque des correctifs sont nécessaires. • Participer aux différents rituels Agile.

Dans le cadre du renforcement de sa Data Platform , l’un de nos clients grands comptes recherche un Architecte Data confirmé à senior pour accompagner ses équipes Data et garantir la cohérence, la performance et la scalabilité de l’architecture globale. Architecte Data – Environnement Cloud GCP Votre rôle Intégré(e) aux équipes Data (Product Owners, Data Engineers, Data Scientists…), vous interviendrez en accompagnement transverse sur l’architecture de la plateforme Data et des dispositifs associés. Vos principales responsabilités : Définir et garantir la cohérence de la stack technique Data Assurer le respect des normes et standards d’architecture Mettre en place et sécuriser les contrats d’interface entre équipes Auditer l’architecture existante et proposer des axes d’amélioration Réaliser une veille technologique et contribuer à l’introduction de nouvelles solutions Participer aux tests et à l’intégration de nouvelles technologies 🛠️ Developer Experience & FinOps Contribution à l’écriture de modules Terraform / Terragrunt Accompagnement des équipes sur l’ Infrastructure as Code et la CI/CD Définition des standards de développement et de déploiement Mise en place du suivi budgétaire par équipe (FinOps) Implémentation des outils de monitoring, alertes et seuils Identification et priorisation des optimisations de coûts Compétences recherchées 3 ans minimum d’expérience en tant qu’ Architecte Data Solide expertise en architecture Data & Cloud Excellente maîtrise des bonnes pratiques d’architecture Expérience en sécurisation des applications Cloud Environnement Google Cloud Platform (GCP) Maîtrise de BigQuery , Cloud Composer (Airflow) , Dataplex Langages Python et SQL Expérience avec Spark Expérience avec dbt Maîtrise de Terraform et Terragrunt

Le Responsable DevOps devra encadrer et animer une équipe DevOps. Vous jouerez un rôle clé dans la gestion des produits et plateformes d’infrastructure en assurant leur disponibilité, leur performance, leur évolutivité, leur gestion de l’obsolescence, leur capacité et la maitrise des coûts OnPremise, Cloud ou hybride. Rattaché(e) au responsable de l’entité, vous serez responsable hiérarchique d’une équipe d’une vingtaine de personnes (collaborateurs et prestataires) de profils techniques devops Cloud Public et On Premise. Dans cette évolution organisationnelle, l’organisation hiérarchique est décorrélée de l’organisation opérationnelle. Le responsable DevOps devra donc travailler et s’organiser de façon transverse et étroite avec les Product Owner, le Product Manager et le responsable de l’entité sysops pour assurer le delivery et atteindre les objectifs en fonction des besoins. L’équipe DevOps de l’entité « Plateforme IT » a la responsabilité du build et du run des produits et plateformes d’infrastructures OnPremise et Cloud public.

Rejoignez un leader français de l'audiovisuel pour une mission stratégique d' Architecte Data GCP . Vous accompagnerez la Direction Technique du Numérique dans la consolidation et l'optimisation de sa Data Platform, en interface directe avec les équipes Data (Product Owners, Data Engineers, Data Scientists). Votre rôle sera de structurer l'architecture technique globale, améliorer l'expérience développeur et piloter l'optimisation des coûts cloud. Vos Missions : 🏗️ Architecture Technique Garantir la cohérence de la stack data entre équipes et projets Définir et faire respecter les contrats d'interface (schémas, API, data contracts) Effectuer la veille technologique et évaluer les standards du marché Tester, auditer et introduire de nouvelles technologies Réaliser un audit de l'architecture existante et recommander les améliorations ⚡ Developer Experience Contribuer à la création de modules Terraform et à leur industrialisation Accompagner les équipes dans l'usage de l'Infrastructure as Code Définir les standards CI/CD pour les équipes data (tests, lint, automatisation) 💰 FinOps & Optimisation Mettre en place un suivi budgétaire par équipe Implémenter des outils d'alerting et monitoring (quotas, seuils, dérives) Identifier les leviers d'optimisation et participer à la roadmap FinOps

La tribu DATA (DAT) construit et développe des applications sur la base de puissantes plateformes DATA à des fins d’usages variés servant toutes les directions métier du groupe bancaire. Pour répondre à ces usages, DAT est au cœur de la stratégie data-centric du groupe bancaire, et intervient aussi bien au niveau de l’architecture Data, sur les dernières technologies data, Big Data, IA, Teradata, SAS, DMP, Oracle ainsi que sur les solutions analytiques et de datavisualisation. La mission consiste à assurer les fonctions suivantes au sein de la Squad Socles Data de la tribu DAT : Veiller au quotidien à la bonne marche des plateformes Data (Teradata et Big Data) Intervenir au quotidien, sous contraintes de délais, lors des incidents d’exploitation (analyse, diagnostic, résolution). Produire le relevé matinal des exécutions des traitements sur les plateformes « Entrepôt et Usages » et « Big Data ». Analyser les actions correctrices à lancer : – court terme (relance rapide) – moyen terme (consignes pour les pilotes de nuit) – long terme (correctifs d’ordonnancement ou de traitements) Créer les incidents selon le process interne (JIRA). Assurer une communication unique pour les deux environnements DATA Vulgariser la communication technico-fonctionnelle auprès des intervenants (équipes internes et métiers). Mettre en place et diffuser les indicateurs de performance et de délais. Mettre en place des états mensuels des incidents et contribuer aux reportings et comités. Analyser les indicateurs d’assurance qualité de données et communiquer auprès des acteurs concernés. Intégrer des méthodes d’amélioration continue Proposer des améliorations du chemin critique en tenant compte des applications sensibles. Maintenir en condition opérationnelle les moyens, dans le respect des normes et critères de performance. Développer des composants d’amélioration. Définir et mettre en place des outils de normalisation, d’automatisation et de sécurisation de la production. Contribuer à la conception de nouveaux projets et évolutions. Contribuer aux états réguliers de contrôle : habilitations, comptes, connexions… Participer aux projets d’optimisation et d’amélioration de la QDF (Qualité de Fonctionnement)

Pour le besoin de mon client , je suis à la recherche d'un TechLead Data Engineer avec compétence sur la stack technique Spark/PySpark, Kafka, Hadoop, Python Langues : français, l'anglais est un plus Date de démarrage : ASAP .... . .... . .... . .... . .... . .... . .... . . . .... . .... . .... . .... . .... . .... . . . .... . .... . .... . .... . .... . .... . . . .... . .... . .... . .... . .... . .... . . . .... . .... . .... . .... . .... . .... . . . .... . .... . .... . .... . .... . .... .

Contexte Dans le cadre du renforcement d’une équipe SRE / Plateforme Cloud au sein d’un environnement complexe et critique, nous recherchons un Expert Cloud DevOps / Architecte Kubernetes & OpenShift . Le consultant interviendra sur la conception, l’industrialisation et la sécurisation de plateformes cloud natives, orientées microservices, data et haute disponibilité . Missions principales Architecture & Design Définir et valider l’architecture Cloud & Kubernetes en tant que Design Authority Élaborer les HLD (High Level Design) et LLD (Low Level Design) Concevoir l’architecture centrale et les standards de la plateforme Participer aux choix technologiques et aux roadmaps techniques Cloud & Conteneurisation Déployer et maintenir des clusters Kubernetes (AKS, EKS, OpenShift, Rancher) Expertise Red Hat OpenShift Mise en œuvre de plateformes cloud sur Azure (AKS) et AWS (EKS) Gestion des environnements hybrides / on-premise et data centers virtualisés DevOps & Automatisation Mise en place des pipelines CI/CD Automatisation des déploiements et de l’infrastructure (IaC) Accompagnement des équipes de développement sur les bonnes pratiques DevOps Sécurité & Réseau Sécurisation des plateformes Kubernetes et Cloud Gestion des secrets et identités ( HashiCorp Vault ) Architecture réseau, segmentation, politiques de sécurité Conformité, durcissement et bonnes pratiques sécurité cloud Data & Streaming Conception et intégration de Data Platforms Mise en œuvre de solutions de streaming et de data flow : Apache Kafka Apache NiFi Intégration avec des workloads data, IA et ML ( TensorFlow ) Microservices & Observabilité Architecture et exploitation d’architectures microservices Supervision, monitoring et gestion de la performance Haute disponibilité et résilience des plateformes FinOps Pilotage des coûts Cloud Optimisation des ressources et mise en place de bonnes pratiques FinOps

Nous recherchons un Tech Lead Data Engineer expérimenté pour intervenir sur une plate-forme Big Data au cœur d’un projet critique à fort enjeu métier . Vous intégrerez une équipe Data dédiée et interviendrez en tant que référent technique , avec un rôle clé dans l’accélération de la mise à disposition des données et la montée en compétence des équipes. Vos principales activités : Réaliser les développements Data afin d’accélérer l’ingestion, le traitement et la mise à disposition des données sur la plate-forme Intervenir sur l’ensemble de la stack Big Data : Spark / PySpark, Kafka, Hadoop, Python Encadrer techniquement l’équipe de développement (revues de code, bonnes pratiques, standards) Assurer le suivi technique des développements et garantir la qualité, la performance et la robustesse des solutions Accompagner et faire monter en compétence l’équipe technique Être force de proposition dans un contexte industriel structuré