Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark

A LIRE ATTENTIVEMENT AVANT DE POSTULER ⬇ 🏠 2 jours de télétravail / semaine - 📍 Lyon (07) - 🛠 Expérience de 5 ans minimum Vous aimez encore mettre les mains dans le code, mais vous avez aussi envie d'avoir un impact sur les choix techniques d'une équipe ? Nous recherchons un.e Lead Tech Java / Angular / Kafka pour rejoindre une équipe Agile chez l'un de nos clients. Vous interviendrez de bout en bout sur les sujets, du cadrage jusqu'à la production, tout en accompagnant l'équipe sur ses pratiques de développement. Le contexte devrait particulièrement vous intéresser si vous aimez les architectures distribuées et souhaitez évoluer à la frontière entre développement logiciel et Data Engineering. Pourquoi avons-nous besoin de vous ? Vous rejoindrez une équipe Agile qui souhaite renforcer son expertise technique avec un référent capable de prendre la responsabilité de plusieurs sujets techniques. Votre rôle sera double : contribuer directement à la conception et au développement des solutions, mais aussi aider l'équipe à prendre les bonnes décisions techniques et à maintenir un niveau d'exigence élevé sur la qualité, les performances, la sécurité et la maintenabilité. Vous travaillerez également avec les Product Owners et différentes équipes transverses. L'objectif : ne pas traiter la technique indépendamment du besoin, mais comprendre les enjeux fonctionnels pour proposer des solutions pertinentes. Concrètement, sur quoi allez-vous travailler ? Vous développerez et ferez évoluer des applications web avec Java / Spring Boot côté back-end et Angular côté front-end. Votre rôle de Lead Tech vous amènera également à : - concevoir et challenger des architectures capables de monter en charge - cadrer techniquement les nouveaux sujets avant leur développement - accompagner l'équipe dans ses choix de conception et d'implémentation - réaliser des revues de code et diffuser les pratiques Clean Code et SOLID - travailler sur les problématiques de performance, de sécurité, d'observabilité et de maintenabilité - collaborer avec les équipes Data sur des problématiques impliquant notamment Kafka et Spark - accompagner les PO dans la compréhension et le cadrage des sujets techniques - contribuer à l'industrialisation des projets - intervenir sur l'ensemble du cycle de vie d'un sujet, du POC jusqu'à sa mise en production. Vous aurez également un rôle transverse : certains projets pourront solliciter votre expertise pour challenger une solution, résoudre un problème technique ou définir un cadre commun avec d'autres équipes.

A LIRE ATTENTIVEMENT AVANT DE POSTULER ⬇ 🏠 2 jours de télétravail / semaine - 📍 Lyon (07) - 🛠 Expérience de 5 ans minimum Vous aimez encore mettre les mains dans le code, mais vous avez aussi envie d'avoir un impact sur les choix techniques d'une équipe ? Nous recherchons un.e Lead Tech Java / Angular / Kafka pour rejoindre une équipe Agile chez l'un de nos clients. Vous interviendrez de bout en bout sur les sujets, du cadrage jusqu'à la production, tout en accompagnant l'équipe sur ses pratiques de développement. Le contexte devrait particulièrement vous intéresser si vous aimez les architectures distribuées et souhaitez évoluer à la frontière entre développement logiciel et Data Engineering. Pourquoi avons-nous besoin de vous ? Vous rejoindrez une équipe Agile qui souhaite renforcer son expertise technique avec un référent capable de prendre la responsabilité de plusieurs sujets techniques. Votre rôle sera double : contribuer directement à la conception et au développement des solutions, mais aussi aider l'équipe à prendre les bonnes décisions techniques et à maintenir un niveau d'exigence élevé sur la qualité, les performances, la sécurité et la maintenabilité. Vous travaillerez également avec les Product Owners et différentes équipes transverses. L'objectif : ne pas traiter la technique indépendamment du besoin, mais comprendre les enjeux fonctionnels pour proposer des solutions pertinentes. Concrètement, sur quoi allez-vous travailler ? Vous développerez et ferez évoluer des applications web avec Java / Spring Boot côté back-end et Angular côté front-end. Votre rôle de Lead Tech vous amènera également à : - concevoir et challenger des architectures capables de monter en charge - cadrer techniquement les nouveaux sujets avant leur développement - accompagner l'équipe dans ses choix de conception et d'implémentation - réaliser des revues de code et diffuser les pratiques Clean Code et SOLID - travailler sur les problématiques de performance, de sécurité, d'observabilité et de maintenabilité - collaborer avec les équipes Data sur des problématiques impliquant notamment Kafka et Spark - accompagner les PO dans la compréhension et le cadrage des sujets techniques - contribuer à l'industrialisation des projets - intervenir sur l'ensemble du cycle de vie d'un sujet, du POC jusqu'à sa mise en production. Vous aurez également un rôle transverse : certains projets pourront solliciter votre expertise pour challenger une solution, résoudre un problème technique ou définir un cadre commun avec d'autres équipes.

ContexteDans le cadre du renforcement de son équipe Data, notre client recherche un Développeur Data Snowflake / Cortex confirmé pour participer au développement et à l'évolution de sa plateforme Data Cloud et de ses usages autour de l'IA. MissionsConcevoir et développer des pipelines de données et des traitements ETL/ELT. Développer et optimiser les modèles de données sur Snowflake. Mettre en œuvre les transformations de données avec dbt. Participer à l'intégration et à l'exploitation des fonctionnalités Snowflake Cortex et des services d'IA associés. Développer des traitements Data en Python / PySpark / SQL. Participer à la mise en qualité, au contrôle et à la sécurisation des données. Optimiser les performances des traitements et des requêtes Snowflake. Participer à l'industrialisation et à l'orchestration des pipelines. Contribuer aux pratiques Git / CI-CD et à l'amélioration continue de la plateforme Data. Environnement techniqueSnowflake, Snowflake Cortex, dbt, SQL, Python, PySpark, Spark, Azure, Azure Data Factory, Azure Databricks, ADLS, Airflow, Git, CI/CD, Power BI.

OBJECTIF Dans le cadre du programme ITAM et la mise en place du Group Global Inventory ainsi que l'alimentation industrielle de la CMDB Group, le bénéficiaire renforce ses activités autour du produit BMC Helix Discovery. MISSION Responsable Discovery Data product : - développement des query API Discovery en regard des besoins production - construction des data sets dans l'outil de query engine - exposition du data product à la consommation opérationnelle - interfaçage au MCP pour alimenter l'IA Production - MCO et optimisation des query et data sets DevOps Discovery - Configuration et paramétrage de BMC Discovery : Configurer et paramétrer BMC Discovery pour collecter les données d'actifs informatiques, telles que les périphériques réseau, les logiciels, les matériels, etc. - Intégration des données de BMC Discovery : Intégrer les données de BMC Discovery dans le système de nettoyage des données pour enrichir les données existantes. - Définition des règles de correspondance : Définir des règles de correspondance pour associer les données de BMC Discovery avec les données existantes dans le système. - Mise en place de la synchronisation des données : Mettre en place la synchronisation des données entre BMC Discovery et le système de nettoyage des données. - Gestion des erreurs et des exceptions : Gérer les erreurs et les exceptions qui peuvent survenir lors de la collecte, de l'intégration et de la synchronisation des données. Opérationnellement, les outils de travail: - BMC Helix Discovery( Mandatory) - Starburst (Data product, MCP, AI) - Spark / Pyspark - ServiceNow ITSM (change, incident, problem, request) - Jira / confluence Nice to have: - Tableau server / Tableau Desktop / PowerBI / Dataikku - Talend Real Time Big Data / ESB, ETL, EAI - Talend Data Catalogue - PostGreSQL / Apache Kafka / S3 storage Environnement : L'expert utilisera BMC Discovery, et d'autres outils pour collecter et intégrer les données, pour ensuite les exposer en data products pour alimenter des IA.

Missions principales • Définir la stratégie, la roadmap et le modèle opérationnel de la Data Platform. • Garantir disponibilité, performance et fiabilité de la plateforme. • Piloter les évolutions Snowflake et Power BI Cloud. • Mettre en place les standards d'architecture, de gouvernance et de Data Products. • Développer les capacités Self-Service Analytics. • Coordonner les équipes internes et les partenaires externes. • Accompagner la transformation vers un modèle orienté produit. • Assurer la sécurité et la conformité (GDPR, DORA, IAM, RBAC, Data Masking). Compétences clés Snowflake, Power BI Cloud, Azure, dbt, Data Engineering, Data Governance, Data Architecture, Platform Engineering, DevOps Data, Spark, FinOps, Data Products

Profil recherché : Chargé de déploiement / Accompagnement au changement / Formation Contexte : la mission s'inscrit dans le Pôle Téléphonie du Département Production qui pilote le remplacement de la solution de téléphonie des centres d'appels (historiquement Genesys) par une nouvelle solution basée sur Asterisk. Le déploiement doit couvrir, d'ici mi-2028, l'ensemble des Agences de Conduite Régionales (ACR), des Agences de Supervision et de Gestion des Accès Réseau et du Dépannage (ASGARD) et des Cellules de Préparation des Activités (CPA). Le titulaire accompagne les utilisateurs dans la prise en main du nouvel outil et appuie le chef de projet sur le volet opérationnel du déploiement en région. Missions principales : Accompagnement des opérations de migration en physique, présence sur site lors des bascules (25% du temps) ; Coordination des actions pendant les opérations de migration (25%) ; Formation des utilisateurs au nouvel outil SPARK, bandeau téléphonique (40%) ; Reporting au chef de projet (10%). En complément, pilotage et coordination des déploiements techniques connexes réalisés par des tiers (Bouygues Télécom, NXO), avec respect des jalons et coordination des acteurs. - Culture Agile (1).

Nous recherchons actuellement un(e) Data Engineer Senior pour accompagner une équipe Data sur des sujets à forts enjeux autour de la Data Engineering, du Big Data et des architectures Lakehouse. 🔎 1 Data Engineer Senior 🎯 Missions principales : · Concevoir, développer et optimiser des pipelines de données à grande échelle · Mettre en œuvre des flux batch, streaming et ingestion via API · Structurer les transformations selon le modèle Médaillon (Bronze / Silver / Gold) · Développer et industrialiser les pipelines avec DBT, Spark et Iceberg · Contribuer à l'évolution et à l'optimisation de l'architecture Lakehouse · Déployer et maintenir les pipelines dans un environnement Cloud AWS · Orchestrer les workflows ETL / ELT avec Airflow · Mettre en œuvre l'Infrastructure as Code avec Terraform · Travailler sur des environnements conteneurisés avec Docker / Kubernetes · Garantir la disponibilité, la supervision et l'observabilité des traitements · Participer à la gestion des incidents et à l'amélioration continue · Définir et mettre en œuvre les règles de qualité des données : tests, validations et contrôles automatisés · Documenter les architectures, pipelines et règles métier · Garantir la conformité des flux, notamment dans le respect des exigences RGPD ⚙️ Environnement technique : · DBT / Data Catalog · Apache Spark · Apache Iceberg · AWS : Glue, EMR, S3… · Terraform · Airflow · Python · Trino / Starburst · Datadog · Docker / Kubernetes · Architectures Big Data / Lakehouse · Modélisation et collecte de données 🧑‍💻 Profil recherché : · Minimum 8 ans d'expérience en Data Engineering · Expertise confirmée des architectures Big Data et Lakehouse · Très bonne maîtrise de DBT, Spark, Iceberg, AWS et Terraform · Solide expérience sur les services AWS, notamment Glue, EMR et S3 · Connaissance de Trino / Starburst et Datadog · Bon niveau en Python · Forte capacité d'analyse et de compréhension des enjeux métiers · Expérience dans l'accompagnement et l'encadrement de profils juniors · Autonomie, rigueur et forte culture de l'amélioration continue 🌍 Contexte : · Environnement Data à grande échelle · Projets autour de la modernisation et de l'industrialisation des plateformes Data · Forts enjeux Lakehouse, Data Quality, Observabilité et Cloud · Collaboration avec des équipes Data, IT et métiers 📍 Localisation : Île-de-France – Hybride 🏠 Télétravail : 3 jours par semaine 📅 Démarrage : fin août 2026 💼 Mission longue durée Si vous êtes intéressé(e) ou connaissez un(e) Data Engineer Senior correspondant à ce profil, n'hésitez pas à me contacter en MP ou directement par téléphone. Cordialement,

Contexte : Dans le cadre de l'évolution d'une plateforme Data Groupe d'un acteur majeur du secteur des transports, nous recherchons un Architecte Solution / Tech Lead Databricks. Vous interviendrez au sein de l'équipe en charge de la plateforme Data afin d'accompagner plusieurs squads métiers dans la conception, l'industrialisation et la mise en production de leurs cas d'usage Data. Vous jouerez un rôle clé de référent technique, en accompagnant les équipes sur les choix d'architecture, les bonnes pratiques et la gouvernance de la plateforme. Vos missions : Participer au cadrage des projets Data et Big Data. Définir et valider les architectures techniques. Accompagner les Tech Leads et les équipes de développement. Concevoir des solutions basées sur Databricks. Participer aux revues d'architecture et aux arbitrages techniques. Rédiger la documentation d'architecture (DAT, HLD, DEX, dossiers techniques…). Accompagner les mises en production et les passages en exploitation. Participer à l'amélioration continue de la plateforme Data. Promouvoir les bonnes pratiques de développement, de sécurité, de gouvernance et de FinOps. Intervenir ponctuellement en support expert (N3). Former et accompagner les équipes projets. Environnement technique : Cloud : AWS Data Platform : Databricks Big Data : Spark, Scala, Python Data Lake / Lakehouse Power BI CI/CD : GitLab CI Infrastructure as Code : Terraform Conteneurisation : Docker, Kubernetes Sécurité & IAM Agile Scrum

Au sein d'une équipe spécialisée en Data et Intelligence Artificielle, vous intervenez sur des problématiques à forte dimension technique autour de la gestion de données, de l'Information Retrieval et de l'IA générative. Votre mission consiste à concevoir et industrialiser les pipelines permettant de collecter, transformer, indexer et rechercher de grands volumes de données, afin d'alimenter des applications basées sur les LLM et les architectures RAG. Vous serez également impliqué dans les choix d'architecture, l'amélioration de la pertinence des recherches et l'industrialisation des solutions en production. Vos principales missions Data Engineering & Indexation Concevoir et industrialiser des pipelines d'ingestion de données provenant de sources hétérogènes. Mettre en œuvre les traitements de parsing, nettoyage, normalisation et chunking. Concevoir et maintenir des systèmes d'indexation à grande échelle. Mettre en œuvre des bases vectorielles et des embeddings. Garantir la qualité, la fraîcheur, la traçabilité et la scalabilité des données et des index. Retrieval & RAG Concevoir des stratégies de recherche sémantique et hybride. Combiner recherche lexicale (BM25), embeddings, filtrage et reranking. Mettre en place des indicateurs de pertinence : Recall, Precision, nDCG, MRR. Optimiser les mécanismes de Retrieval alimentant les LLM et architectures RAG. Travailler sur la gestion du contexte, la déduplication et la qualité des résultats. Architecture & qualité Participer aux choix techniques et à l'évolution de la stack Data/IA. Mettre en place les bonnes pratiques de développement : Clean Code, SOLID, tests automatisés. Assurer l'observabilité des pipelines et des services. Contribuer à la sécurité et à la conformité des données. Accompagner techniquement les équipes et partager les bonnes pratiques. Environnement technique Indispensable : Python 3.11+ Data Engineering / Information Retrieval Embeddings / NLP Recherche sémantique et hybride RAG / LLM Bases vectorielles : Qdrant, Weaviate, pgvector, OpenSearch PostgreSQL Tests avec Pytest Environnement apprécié : LangChain OpenAI, Mistral, Amazon Bedrock BM25 / reranking Kafka Redis Airflow / Spark Docker / Kubernetes CI/CD Go ou Java

Contexte: Dans le cadre du renforcement d'une équipe Data, nous recherchons un(e) Data Engineer confirmé(e) pour intervenir sur une plateforme Big Data dédiée à la collecte, au traitement et à l'exploitation de données à grande échelle. Vous intégrerez une équipe en charge de la mise à disposition de données fiables et exploitables pour les équipes Data et participerez activement à l'évolution d'une plateforme moderne reposant sur des architectures distribuées et des technologies Cloud Native. Vos missions: Concevoir, développer et maintenir des pipelines de traitement de données avec PySpark / Spark. Préparer, nettoyer et mettre à disposition des jeux de données destinés aux équipes Data. Développer des indicateurs de performance (KPI) et des tableaux de bord sous Tableau. Superviser et maintenir une plateforme Big Data fonctionnant sur Kubernetes / OpenShift. Diagnostiquer et résoudre les incidents techniques liés aux traitements de données et aux applications. Participer à l'évolution des traitements Spark et des datasets. Déployer et maintenir les applications via Helm. Administrer les composants de la plateforme (Airflow, MinIO, MySQL, JupyterHub, etc.). Gérer les environnements de déploiement continu avec GitLab. Participer à l'administration du Data Lake (stockage, utilisateurs, règles de gestion). Contribuer à l'amélioration continue des performances, de la sécurité et de la disponibilité de la plateforme. Environnement technique : Python PySpark Apache Spark Scala Pandas Hadoop / HDFS Tableau Software Kubernetes OpenShift Helm GitLab Docker Airflow MinIO MySQL Data Lake Parquet

Il aura la charge de gérer une architecture Lakehouse : • Data security : Apache Ranger • Data governance : Apache Atlas • Data processing : Spark, Apache Zeppelin • Data ingestion : nifi • Data analytics : Apache Impala • Data lake : hadoop, Apache KUDO • Dara serving: Hue Gestions des logs via la stack ELK (Elasticsearch-Logstash-Kibana) Provisionner des infrastructures via Terraform Connaissance réseaux (Mise en place et ouverture de flux réseau basé sur le dossier d'architecture réseau) Il documente les procédures d'exploitation et rédige des rapports synthétisés Il assure du bon fonctionnement des services dans le respect des SLA. Il connait et s'appuie sur les process ITIL (Gestion des incidents, des problèmes et des demandes de changement) pour opérer dans des environnements de production. Il a un bon niveau d'anglais pour converser avec les éditeurs dont Cloudera et les fournisseurs Il automatise les déploiements de fichiers de configurations, gestion des certificats et keystores via Ansible. Il utilise les Outils devops de versionning et de packages : Github, Jenkins Sa maitrise des environnements sous Linux lui permet d'analyser les logs dans le cadre du traitement des incidents. Il est force de proposition pour l'amélioration de l'exploitabilité des solutions et de la supervision des services. Il participe aux réunions d'équipe et rend compte des actions Il participe aux projets et aux différents comités.

En quelques motsCherry Pick est à la recherche d'un "Data Engineer Databricks (H/F) " pour un client dans le secteur du Retail Description🏢 Le Contexte : Passer à l'Échelle la Data Factory Supply ChainAu sein de la filiale informatique d'un groupe majeur de la grande distribution, la Data Factory réunit les équipes IT et les directions métiers pour concevoir, développer et déployer des produits analytiques et Data Science à forte valeur ajoutée. Afin de répondre à une demande croissante, l'organisation s'industrialise et adopte un modèle Agile à l'échelle (Domaines, Tribus, Squads). Vous intégrerez la squad Supply / Logistique, responsable de la création de cas d'usage stratégiques dédiés à l'optimisation des flux, à la gestion des entrepôts et à la performance logistique. Nous recherchons un(e) Data Engineer Confirmé / Senior évoluant sur une plateforme Cloud Azure / Databricks. Ce poste exige une réelle polyvalence : au-delà de la construction des pipelines de données, vous serez le garant de la qualité (QA/Testing) et participerez activement à la restitution décisionnelle. 🎯 Vos Missions : Pipelines, Data Warehouse, QA & RestitutionRattaché(e) à la squad Supply Chain, vos activités couvrent tout le cycle de vie de la donnée : 1. Data Engineering & Cloud Architecture (Majeure) : Concevoir et construire de manière industrielle les pipelines de données (ETL/ELT) pour transformer, enrichir et ingérer les données dans le Data Lake. Développer des notebooks Databricks (Spark / Python) pour assurer des traitements massifs complexes. Mettre en œuvre et optimiser les solutions de Cloud Data Warehousing (tuning de requêtes SQL, modélisation de tables). Assurer la livraison continue des développements dans un environnement DevOps intégrant les processus CI/CD (Azure DevOps). 2. QA, Testing & Qualité de Code : Assurer la QA et le testing des pipelines développés par le second Data Engineer de la squad. Concevoir et exécuter les tests unitaires, d'intégration et de non-régression. Réaliser des revues de code rigoureuses pour garantir le respect des bonnes pratiques et des standards d'ingénierie. 3. Data Analyse & Restitution Decisionnelle : Participer au recueil des besoins métiers et mener les analyses de données en amont. Concevoir et développer les tableaux de bord sous Power BI pour restituer les indicateurs Supply Chain aux opérationnels. Rédiger la documentation technique (Dossiers d'Analyse Technique, release notes).

Il s'agit d'assister le client en tant qu'ingénieur DATA sur le service de cloud datawarehouse sous Azure. Nous recherchons un Data Engineer ayant déjà fait du DevOps, capable de travailler à la fois sur les traitements de données (Databricks, architecture médaillon bronze / silver / gold) et sur l'infrastructure cloud associée (Azure, Terraform, Jenkins), dans un contexte d'entreprise avec des standards Git et CI/CD.Du conseil, des études d'opportunité et dossiers d'innovation seront demandés. Missions principales (Data & supervision) • Concevoir, développer et enchaîner des notebooks Databricks en PySpark pour alimenter les zones bronze, silver et gold. • Maîtriser et exploiter les formats parquet, delta et csv, en comprenant leurs impacts sur la performance, la robustesse et les coûts. • Optimiser les notebooks et jobs existants (performance, qualité de données, coûts d'exécution). • Mettre en place et faire vivre la supervision des flux : monitoring des pipelines Azure Data Factory, suivi de la qualité des données, création d'alertes et de tableaux de bord de suivi. • Contribuer à la fiabilisation globale de la plateforme data (détection d'anomalies, reprise sur incident, bonnes pratiques de développement). • Collaborer avec les équipes métier et techniques pour comprendre les besoins, prioriser les évolutions et industrialiser les traitements. Missions annexes (DevOps & infra) • Mettre à jour et faire évoluer les repos d'infrastructure (Terraform, Jenkins) en suivant les templates et bonnes pratiques du git d'entreprise. • Maintenir, paramétrer et exécuter les pipelines Jenkins liés aux déploiements et aux traitements data, en garantissant leur fiabilité et leur traçabilité. • Participer activement à la vie des repos GitHub : revue de code (PR/MR), gestion des branches, compréhension des workflows Git avancés, automatisation et diffusion des bonnes pratiques. Technologies & environnement technique • Cloud & data platform : Azure, Databricks, Azure Data Factory, Azure Storage Account, Azure Key Vault, Power BI. • Infra & CI/CD : Terraform, Jenkins, GitHub (PR/MR, workflows), intégration runtime via VM. • Langages & frameworks : Python, PySpark (DataFrame API, Spark SQL), SQL. • Formats & data : parquet, delta, csv… • Librairies Python courantes : o pyspark (transformations, jointures, agrégations, optimisations). o delta-spark et librairies Delta Lake pour la gestion des tables (ACID, time travel, optimisation). o Packages Azure (azure-identity, azure-keyvault-secrets, azure-storage-blob, etc.) pour l'intégration avec les services cloud.

Nous recrutons plusieurs profils IT en CDI pour des projets basés sur la région de Nantes. Toutes ces opportunités proposent un rythme de travail hybride avec environ 2 jours de télétravail par semaine. Voici les postes à pourvoir : Lead Développeur Java / Angular Développeur Java / Angular Senior Data Engineer (Spark, SQL) Ingénieur DevOps (Kubernetes, Docker) Business Analyst / AMOA (avec dimension pilotage) Business Analyst (spécialiste flux EDI) Testeur Technique / QA Performance (NeoLoad) Intéressé par l'un de ces postes ? Envoyez-moi un message privé ou votre CV pour qu'on en discute. Merci de partager ce message à votre réseau nantais !

CONTEXTE Client final : grand groupe média & audiovisuel français. Au sein de la Direction IT Transverse, l'équipe Services & Automatisation met en place les plateformes de services du groupe. Nous recherchons un Ingénieur Data expérimenté (5 ans et plus) pour construire un MVP de plateforme Data On-Premise reposant sur des briques Open Source : Kafka, NiFi, Spark, Iceberg, Trino. Le MVP s'intègre au socle existant (Kubernetes, GitLab CI, Prometheus/OpenTelemetry) ; projet mené avec l'équipe Data & IA. OBJECTIFS DE LA PLATEFORME - Gérer la transformation de données On-Premise et alimenter un datalake On-Premise - Servir de plateforme d'ingestion pour la plateforme Big Data hébergée sur GCP - Passer les traitements du mode batch au temps réel (streaming) - Démontrer la faisabilité de la migration des flux ETL portés par un outil propriétaire (type OpenText/Genio) : quelques flux dans le MVP, migration complète hors scope MISSIONS 1. Conception et développement du MVP - Architecturer une plateforme On-Premise scalable et robuste, intégrée au socle existant - Choisir, configurer et déployer les briques Open Source : Kafka (streaming), NiFi (ingestion et orchestration de flux), Spark (traitement distribué), Iceberg (tables analytiques), Trino (requêtage SQL distribué) - Intégrer la plateforme avec Kubernetes, GitLab CI (pipelines de déploiement et tests) et Prometheus/OpenTelemetry (monitoring et observabilité) 2. Validation technique et faisabilité - Transformer quelques flux ETL existants pour démontrer la valeur ajoutée - Mettre en place des pipelines streaming (Kafka + Spark Structured Streaming) - Alimenter le datalake On-Premise (Iceberg + Trino) - Valider l'interopérabilité avec la plateforme Big Data GCP 3. Collaboration et transmission - Travailler avec l'équipe Data & IA (besoins métiers/techniques) et les équipes DevOps/Infrastructure (intégration au socle) - Documenter les choix techniques, architectures et bonnes pratiques - Former et accompagner les équipes internes sur les nouveaux outils

Nous allons travailler sur un POC Réseau Autonome d'une durée limitée (approx 6 mois à partir de septembre), l'objectif est de collecter des données réseaux (données config Radio, Kpi, référentielles) les intégrer dans Databricks, développer des API pour requêter ces données afin que des agent IA puissent requêter les données à travers ces API. Livrables: Conception et développement de projets d'intégration de données pour des projets à forte valeur ajoutée. Développement de jobs d'intégration de données en PySpark, Spark, Python en mode streaming et batch sur la plateforme Databricks. La mise en œuvre de CI/CD (github, devops, Databricks Bundles), de l'orchestration, du data management et de la sécurité. Optimisation des jobs et des ressources cloud (GCP et Databricks). Mise en place de de Dashboard Finops afin de suivre l'usage des ressources GCP / Databricks. Travailler au sein d'équipes pluridisciplinaires : chefs de projet, architectes, devops, data engineer. Assurer une formation continue, le partage de connaissances, mise en place de documentation.