Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark

Nous allons travailler sur un POC Réseau Autonome d'une durée limitée (approx 6 mois à partir de septembre), l'objectif est de collecter des données réseaux (données config Radio, Kpi, référentielles) les intégrer dans Databricks, développer des API pour requêter ces données afin que des agent IA puissent requêter les données à travers ces API. Livrables: Conception et développement de projets d'intégration de données pour des projets à forte valeur ajoutée. Développement de jobs d'intégration de données en PySpark, Spark, Python en mode streaming et batch sur la plateforme Databricks. La mise en œuvre de CI/CD (github, devops, Databricks Bundles), de l'orchestration, du data management et de la sécurité. Optimisation des jobs et des ressources cloud (GCP et Databricks). Mise en place de de Dashboard Finops afin de suivre l'usage des ressources GCP / Databricks. Travailler au sein d'équipes pluridisciplinaires : chefs de projet, architectes, devops, data engineer. Assurer une formation continue, le partage de connaissances, mise en place de documentation.

Contexte de la mission : Dans le cadre d'un projet stratégique Data pour un acteur majeur du secteur du Luxe, nous recherchons un Data Scientist confirmé pour rejoindre une équipe travaillant sur des problématiques de prévision et d'aide à la décision. La mission porte notamment sur des enjeux de forecast de nouveaux produits, avec des prévisions réalisées à une maille fine, notamment au niveau SKU. L'objectif est à la fois de développer des modèles performants et de travailler dans une véritable logique d'industrialisation, afin de permettre leur utilisation à grande échelle dans un environnement Data moderne. La connaissance des problématiques propres au Retail est particulièrement importante pour comprendre les enjeux métiers associés aux prévisions de ventes et aux nouveaux produits. Avantages de la mission : • Mission longue au sein d'un acteur majeur du Luxe • Problématiques Data Science concrètes avec un fort impact métier • Sujets de forecasting à grande échelle et à une granularité fine • Environnement technique moderne autour de Databricks et Spark • Travail sur l'ensemble du cycle de vie des modèles, de leur conception jusqu'à leur industrialisation • Volumes de données importants et problématiques Data complexes • Environnement combinant Data Science, Retail et enjeux business • Organisation hybride avec 2 à 3 jours de télétravail par semaine • Mission basée à Paris

Contexte de la mission Notre objectif est de transformer notre stratégie de pricing grâce à la donnée et à l'intelligence artificielle. Nous voulons passer d'une tarification traditionnelle à une tarification dynamique, plus intelligente et prédictive, capable d'équilibrer la rentabilité de l'entreprise et la perception de la valeur par nos clients. Pour porter cette ambition, au sein de notre équipe digital data Pricing nous concevons, développons et industrialisons les algorithmes et les produits Data qui piloteront nos prix de manière proactive et agile. Objectifs et livrables Le consultant interviendra sur un scope large, allant de l'analyse exploratoire à la mise en production (MLOps). Les chantiers majeurs identifiés pour les prochains mois sont : • Élasticité Prix: Optimisation des algorithmes d'élasticité prix existants, avec un focus majeur sur la modélisation pour le lancement de nouveaux produits. • Moteur de Promotion : Développement d'un algorithme d'optimisation des campagnes promotionnelles. • Tarification Dynamique : Analyses exploratoires préliminaires et formulation de propositions pour un moteur d'aide à la décision (Dynamic Pricing “home-made”). • Industrialisation & MLOps : Optimisation des modèles existants, intégration de nouvelles sources de données, APIzation et automatisation des pipelines (Ops). • Agent amélioration : Contribution sur notre agent pricing. • Monitoring : Mise en place d'un tracking robuste de la performance des modèles et de la qualité de la donnée. Nous recherchons un profil hybride et autonome, capable de naviguer entre la vision produit et la technique. Hard skills: • Core Tech : Maîtrise avancée de Python et de son écosystème Data Science / ML (Pandas, Scikit-Learn, TensorFlow/PyTorch). • ML Engineering & MLOps : Expérience solide en mise en production d'algorithmes à grande échelle, packaging de modèles, CI/CD (Git) et industrialisation d'API. • Data & Cloud : Pratique des environnements Cloud (AWS / Databricks appréciés) et manipulation de gros volumes de données (Spark, dbt). Soft skills: • Product Ownership & Proactivité : Capacité à creuser le besoin métier, clarifier les exigences et proposer des solutions concrètes sans attendre un cahier des charges figé. • Leadership technique : Autonomie pour piloter des sujets de bout en bout et interagir avec des interlocuteurs variés (équipes Data, Tech et Métier). • Langues : Anglais courant indispensable. Une expérience préalable ou un fort background sur des problématiques de Pricing (élasticité, yield management, optimisation de marge) sera grandement valorisée.

Expérience5 ans minimum en Data Engineering 🚀 DémarrageDès que possible – au plus tard fin septembre 2026 🏠 Télétravail2 jours de télétravail / semaine 3 jours de présence obligatoire sur site / semaine 🎯 Contexte de la missionAu sein de la Direction des SI Mutualisés, l'équipe DataLab intervient sur les périmètres Data & Analytics dans le cadre du programme de transformation du SI du Groupement Les Mousquetaires. Le consultant intégrera la Data Factory, qui regroupe les équipes Data de la Stime et des métiers. Cette organisation a pour objectif de concevoir et déployer des produits Data, BI, Analytics et Data Science à destination des fonctions support, des équipes logistiques, des magasins et des consommateurs. Dans un contexte de passage à l'échelle et d'industrialisation des pratiques Data, vous rejoindrez une Squad Supply / Logistique, en charge du développement de cas d'usage BI, Analytics et Data Science sur une plateforme Data basée sur Microsoft Azure et Databricks. 🎯 Description de la missionNous recherchons un Data Engineer Confirmé / Senior, polyvalent et opérationnel, disposant d'une solide expertise sur : Azure Databricks Apache Spark Python SQL Le consultant devra également avoir une forte appétence pour l'analyse de données et être capable d'intervenir sur les activités de QA et de testing, afin de garantir la qualité et la fiabilité des livrables de la Squad. Une expérience sur Power BI ainsi qu'une première expérience dans un environnement Supply Chain / Logistique seront fortement appréciées. 🔧 Missions principalesRecueillir et analyser les besoins Data Réaliser des analyses de données Concevoir et développer des pipelines de données Transformer, enrichir et traiter les données au sein du Data Lake Développer des notebooks Databricks pour les traitements avancés Concevoir et optimiser les traitements Data Mettre en œuvre des solutions de Cloud Data Warehousing Optimiser les requêtes SQL et réaliser le tuning des traitements Rédiger la documentation technique : dossiers d'analyse technique, release delivery notes, etc. Participer aux revues de code Garantir l'application des bonnes pratiques de développement Concevoir et exécuter les tests unitaires Réaliser les activités de QA / testing des pipelines développés par les autres Data Engineers de la Squad Concevoir et maintenir des tableaux de bord Power BI Livrer les développements dans un environnement DevOps / CI-CD Participer à l'amélioration continue des pratiques Data Engineering 🧩 Compétences techniques requisesCompétenceExpérience minimaleExpérience Data Engineering5 ansAzure3 ansDatabricks3 ansSpark3 ansPython5 ansSQL5 ansCI/CD – Azure DevOps3 ansAgile / JIRA1 an ⭐ Compétences appréciéesPower BI Expérience Supply Chain / Logistique Data Lake / Cloud Data Warehouse Optimisation et performance des traitements Data QA / Data Quality / Testing Environnement Agile à l'échelle

Dans le cadre de l'évolution et du maintien en conditions opérationnelles d'une plateforme Big Data stratégique, nous recherchons un Expert Hadoop / Cloudera CDP Senior pour intégrer une équipe en charge de l'administration et de l'optimisation d'un environnement de données critique. Vos missionsAdministrer et maintenir les clusters Hadoop sous Cloudera CDP. Garantir la disponibilité, la performance et la sécurité de la plateforme. Automatiser les déploiements, patchs et opérations d'exploitation via Ansible et Terraform. Participer à la résolution d'incidents complexes et aux task forces techniques. Accompagner les montées de version des composants Hadoop. Déployer de nouvelles fonctionnalités à forte valeur ajoutée. Assurer la gestion des changements (préparation, tests, rollback, suivi). Produire et maintenir la documentation technique. Environnement techniqueHadoop Cloudera CDP 7.1.9 Kafka Apache NiFi Spark Ansible Terraform Terragrunt AWX Shell Scripting Linux Profil recherché Formation Bac+5 école d'ingénieurs ou université. Expérience significative en administration Hadoop en environnement de production. Expertise Cloudera CDP indispensable. Maîtrise d'Ansible et des pratiques d'automatisation. Bonne connaissance de Kafka, NiFi et Spark. Anglais professionnel courant. Autonomie, esprit d'analyse et capacité à intervenir sur des environnements critiques. Les plusMission au sein d'un environnement Big Data de grande envergure. Fort enjeu d'automatisation et de modernisation des infrastructures. Interventions sur des problématiques techniques à forte complexité. Exposition à un écosystème Cloudera/CDP mature et stratégique.

ContexteDans le cadre de la transition vers une architecture Data Mesh, nous recherchons un(e) Data Product Engineerspécialisé(e) dans le développement de pipelines sur la plateforme Talend Real Time BigData et de data products sur la plateforme Starburst (Trino). La mission consiste à concevoir, collecter, intégrer, construire et opérer des jeux de données fiables, auto-descriptifs et interopérables, en collaboration avec les domain teams et les data owners. MissionsConcevoir des flux de données et des Data Products Développer des pipelines d'intégration de données optimisés via la Talend Data Fabric / Talend Real Time BigData Développer des requêtes SQL optimisées pour Starburst/Trino (push-down predicates, partitionnement, formats de fichiers comme Iceberg/Parquet) Automatiser les pipelines de données (ETL/ELT) avec des outils comme Airflow, dbt, ou Starburst Galaxy Configurer des accès sécurisés (RBAC, row-level security) et des politiques de gouvernance (tagging, lineage) Collaborer avec les domain teams pour identifier les sources de données et les cas d'usage Documenter les data products (métadonnées, ownership, qualité) via des outils comme Amundsen, DataHub, ou Starburst Discover Participer à la définition des standards d'interopérabilité (formats communs, APIs de données) Monitorer la performance (latence, coût des requêtes) et la qualité des données (frais, complétude) Mettre en place des alertes et des dashboards (Grafana, Metabase) pour le suivi des data products Contribuer à l'amélioration continue de la plateforme Starburst (scaling, caching, federation) Compétences techniques requisesTalend RealTime BigData : expérience avancée en développement de pipelines sur Talend Studio en mode batch ou route (runtime) Starburst/Trino : expérience avancée en SQL sur Starburst/Trino (jointures, CTEs, fonctions analytiques) Data Modeling Pipelines : expérience avec Airflow/Astronomer, Spark, Talend Real Time Big Data / Talend Data intégration Stockage : connaissance des formats Iceberg, Parquet, S3 Gouvernance : familiarité avec les outils de sécurité (Ranger, RBAC) DevOps/DataOps : pratiques CI/CD pour les pipelines, infrastructure-as-code (Terraform, Kubernetes) Langages : SQL avancé (mandatory), Python (Pandas, PySpark), bash Compétences transverses (Data Mesh)Compréhension des principes Data Mesh (domain-oriented ownership, self-serve platform, federated governance) Capacité à travailler en mode produit (roadmap, priorisation, collaboration avec les métiers) Sensibilité à la data quality (tests, monitoring, remédiation) et à la documentation (data contracts, métadonnées) Soft SkillsEsprit collaboratif : travail avec les équipes métiers, data scientists, et DevOps Pédagogie : capacité à expliquer des concepts techniques à des non-experts Autonomie : prise d'initiative dans un cadre agile Environnement techniqueExpertise écosystème zoo Hadoop Connaissance / maîtrise Data Connaissance / maîtrise technique de l'environnement DevOps Maîtrise technique de l'environnement Data Expertise couche d'accès et d'échange (Kafka, Nifi, …) Expertise Java, Scala, Python, Hive, Spark Expertise ETL, Bash Expertise SQL / NoSQL

Chaque moment compte. Surtout ceux que vous vivez à fond. Bienvenue chez Consort Group. Consort Group, accompagne depuis plus de 30 ans les entreprises dans la valorisation de leurs données et infrastructures. Elle s'appuie sur deux leaders, Consortis et Consortia, et place l'humain et la responsabilité sociétale au cœur de ses valeurs. C'est votre future équipe Les équipes de ConsortIA, sont des acteurs de référence de la Data, du Développement Digital et de l'Ingénierie Média. En combinant ces expertises, nous concevons des systèmes d'information augmentés, intégrés, agiles et sécurisés, au service de la performance et de la transformation numérique de nos clients. Data Engineer Senior H/F C'est votre mission Vous êtes passionné·e par les environnements Big Data, le Cloud et les architectures distribuées ? Ce poste est fait pour vous. En tant que Data Engineer Senior, vous participez à la modernisation des plateformes Data d'un grand acteur bancaire, en contribuant aux projets de migration et d'industrialisation des traitements Big Data. Côté build : Participer aux études de faisabilité (POC/POV) autour des plateformes Data Cloudera CDP, Flexible Lake House et Google Cloud Platform. Concevoir et développer les solutions de migration des traitements Big Data vers les nouvelles architectures. Préparer les données (nettoyage, transformation, chiffrement et chargement) avant leur migration. Réaliser les développements Spark et SQL nécessaires à l'adaptation des traitements existants. Concevoir et exécuter les tests unitaires, d'intégration et de performance. Documenter les solutions mises en œuvre et contribuer aux estimations de charge des projets. Côté run : Participer au déploiement en production et aux opérations de bascule des applications. Assurer le monitoring des traitements et le diagnostic des incidents via l'analyse des logs et des métriques Spark. Garantir la période de support post-migration et accompagner les équipes métiers lors des phases de validation. Collaborer avec les équipes architecture, plateforme et les différentes squads Data. Contribuer à l'amélioration continue des plateformes et des pratiques d'industrialisation. C'est votre parcours Vous avez au moins 7 ans d'expérience en Data Engineering dans des environnements Big Data et Cloud. Vous appréciez les projets de transformation technique, les architectures distribuées et les environnements collaboratifs où innovation et qualité vont de pair. C'est votre expertise : Spark, SQL et traitements batch distribués Cloudera CDP Parquet, Apache Iceberg Google Cloud Platform (GCS, Dataproc ou GKE) Kubernetes (exécution de jobs Spark) Git, GitLab CI/CD, Docker Kafka et technologies de streaming (notions appréciées) Lecture de logs, monitoring et diagnostic des traitements Méthodologie Agile Jira, Confluence, GitHub Copilot C'est votre manière de faire équipe : Sens du service Esprit d'analyse et de synthèse Excellent relationnel et communication Esprit collaboratif Organisation et adaptabilité Autonomie Curiosité Capacité à travailler avec des équipes techniques et métiers C'est notre engagement Chez Consort Group, vous êtes un·e expert·e qu'on accompagne pour que chaque mission devienne une étape qui compte. Un onboarding attentif et humain Une vraie proximité managériale Des formations accessibles en continu Des engagements concrets : inclusion, égalité, solidarité Un package RH complet : mutuelle, carte TR, CSE, prévoyance Une culture du feedback et des projets qui font sens C'est clair Le process de recrutement : Un premier échange téléphonique avec notre team recrutement Un entretien RH ainsi qu'un échange métier avec un.e ingénieur.e d'affaires Un test ou un échange technique avec un.e de nos expert.es Un dernier point avec votre futur.e manager ou responsable de mission Et si on se reconnaît : on démarre ensemble C'est bon à savoir Lieu : Villejuif Contrat : Freelance Télétravail : [Hybride selon mission] TJM = à partir de 600€ Famille métier : Data Engineering / Big Data / Cloud Ce que vous ferez ici, vous ne le ferez nulle part ailleurs. Ce moment, c'est le vôtre.

Nous sommes à la recherche d'un Ingénieur Data Azure Databricks pour la gestion d'une plateforme datalake. Vos missions: Déploiement du modèle d'accès aux données partagées dans Unity Catalog. Mise à disposition des données en mode table . Contribution à la réalisation des POC. Déploiement du nouveau datalake gouverné. Votre profil: Maitrise d'Azure / Databricks. Capacité à prendre en charge l'ensemble des composants techniques. Environnement : Git Hub / Java / JavaScript / TypeScript / Spark / Azure DevOps. Anglais opérationnel. 1 jour de Télétravail / semaine

ContexteDans le cadre du renforcement de son équipe Data & IA, notre client recherche un Data Engineer / Administrateur Plateforme Data pour assurer l'administration, l'exploitation et l'évolution des infrastructures Data basées sur Cloudera CDP et les technologies Open Source. Vous interviendrez sur des plateformes critiques en collaboration avec les équipes applicatives, infrastructures, métiers et internationales afin de garantir la disponibilité, les performances et l'évolution des environnements Data. MissionsAdministration & ExploitationAdministrer et maintenir les plateformes Data Cloudera CDP. Garantir le maintien en condition opérationnelle des infrastructures. Superviser les plateformes et assurer le traitement des incidents. Participer aux astreintes et aux interventions hors horaires ouvrés. Optimiser les performances et la capacité des plateformes. Data EngineeringConcevoir les solutions d'ingestion de données (API). Mettre en œuvre des architectures de stockage (Hadoop, Ozone, Druid, ClickHouse...). Développer et automatiser les traitements de données. Mettre en place les tests unitaires et d'intégration. Industrialiser les traitements de nettoyage et de transformation des données. Évolution des plateformesParticiper aux migrations des clusters Hadoop Cloudera. Contribuer au déploiement des nouvelles plateformes Cloudera Data Services sous OpenShift/Kubernetes. Être force de proposition sur les évolutions techniques. Participer au design des infrastructures Data. Support & ExpertiseRésoudre les incidents complexes (Hive, Spark, Yarn...). Accompagner les équipes applicatives et métiers. Assurer un support technique de haut niveau. Participer à la documentation et au partage de connaissances. Environnement techniqueImpératifCloudera CDP 7.1.x RedHat Enterprise Linux 8 & 9 Python Java Ansible DevOps Très bonnes connaissancesHadoop Hive HBase Kafka Spark Solr Knox Ranger ZooKeeper Kerberos LDAP AppréciéesOpenShift Kubernetes Trino / Starburst Airflow Flink Maven Gradle ClickHouse Ozone Druid Profil recherchéFormation Bac+5 en informatique ou équivalent. Expérience significative sur des plateformes Big Data Cloudera. Expertise Linux RedHat. Bonne maîtrise des environnements Open Source Data. Solides compétences en automatisation (Ansible). Connaissances DevOps. Capacité à analyser et résoudre des incidents complexes. Esprit d'équipe, autonomie et bonnes capacités de communication. ConditionsCouverture de l'équipe : 8h00 – 19h00 Astreintes et interventions hors horaires ouvrés selon un planning de rotation. Niveau attendu : Confirmé / Senior (N4). Compétences clés : Cloudera CDP 7.1.x, RedHat 8/9, Hadoop, Spark, Hive, Kafka, Python, Java, Ansible, DevOps, OpenShift, Kubernetes.

Contexte de la mission En tant que consultant data au sein de la Cellule du Qualité de Fixe (CQF) du client , vous serez en charge de produire des analyses à partir de dataset que vous aurez constitués sur des données de nos plateformes Big Data, Vous aurez également la responsabilité de rendre disponible des données, une fois celles-ci nettoyées, préparées et formatées sous forme de dataset ou de table à disposition des datascientists de l'équipe. Vous aurez à développer des tableaux de bord de suivi de KP.. Objectifs et livrables Dataset Tableau de Bord (Tableau) Analyses commentées Compétences demandées analyse statistique Confirmé SQL : Expertise Confirmé Tableau Expert Spark Python Confirmé

Au sein d'une équipe Data & Digital, vous intervenez sur le développement et l'industrialisation de solutions Big Data à forte volumétrie dans un environnement exigeant et innovant. Vous contribuerez à la conception, au développement et à l'exploitation de plateformes Data reposant sur des technologies Cloud et Big Data. Vos missionsDévelopper des applications Data et des API REST en Java/Spring. Participer aux études de faisabilité et aux choix techniques. Concevoir et implémenter des traitements Big Data. Mettre en œuvre les bonnes pratiques de qualité logicielle (TDD/BDD). Automatiser les déploiements et contribuer à l'industrialisation des environnements. Optimiser les performances applicatives et la stabilité des plateformes. Accompagner les équipes métiers et participer au support des phases de tests. Assurer le maintien en conditions opérationnelles des solutions. Profil recherchéBac+5 École d'Ingénieur ou équivalent. Expérience significative en Data Engineering et environnements Big Data. Excellente maîtrise de Java. Solides compétences sur Spark et Hadoop. Expérience des environnements Cloud AWS et/ou Azure. Bonne maîtrise de Python et/ou Scala. Expérience des API REST et du framework Spring. Environnement techniqueJava Spring Boot Spark Hadoop HDFS Oozie Scala Python AWS Azure Shell Unix Git / GitHub Containers TDD / BDD

ContexteDans le cadre du programme ITAM et la mise en place du Group Global Inventory ainsi que l'alimentation industrielle de la CMDB Group, le bénéficiaire renforce ses activités autour du produit BMC Helix Discovery. MissionsResponsable Discovery Data product : Développement des query API Discovery en regard des besoins production Construction des data sets dans l'outil de query engine Exposition du data product à la consommation opérationnelle Interfaçage au MCP pour alimenter l'IA Production MCO et optimisation des query et data sets DevOps Discovery : Configuration et paramétrage de BMC Discovery : configurer et paramétrer BMC Discovery pour collecter les données d'actifs informatiques, telles que les périphériques réseau, les logiciels, les matériels, etc. Intégration des données de BMC Discovery : intégrer les données de BMC Discovery dans le système de nettoyage des données pour enrichir les données existantes. Définition des règles de correspondance : définir des règles de correspondance pour associer les données de BMC Discovery avec les données existantes dans le système. Mise en place de la synchronisation des données : mettre en place la synchronisation des données entre BMC Discovery et le système de nettoyage des données. Gestion des erreurs et des exceptions : gérer les erreurs et les exceptions qui peuvent survenir lors de la collecte, de l'intégration et de la synchronisation des données. Outils & EnvironnementBMC Helix Discovery (mandatory) Starburst (Data product, MCP, AI) Spark / Pyspark ServiceNow ITSM (change, incident, problem, request) Jira / Confluence Nice to have : Tableau Server / Tableau Desktop / PowerBI / Dataikku Talend Real Time Big Data / ESB, ETL, EAI Talend Data Catalogue PostGreSQL / Apache Kafka / S3 storage Environnement techniqueL'expert utilisera BMC Discovery et d'autres outils pour collecter et intégrer les données, pour ensuite les exposer en data products afin d'alimenter des IA. DonnéesTravail avec des données d'actifs informatiques, notamment des informations sur les périphériques réseau, les logiciels, les matériels, etc. Système de nettoyage des donnéesL'expert doit comprendre le fonctionnement du système de nettoyage des données et comment les données de BMC Discovery peuvent être intégrées pour améliorer la qualité des données.

Astrelya est un cabinet de conseil franco/suisse, en très forte croissance depuis sa création en 2017, spécialisé dans la transformation digitale, l'excellence opérationnelle et l'innovation technologique. Il est composé de 300 expert passionnés. Le cabinet accompagne ses clients sur l'ensemble du cycle de transformation, depuis la phase de cadrage jusqu'à la mise en œuvre opérationnelle, avec une expertise forte en Data/IA, Cloud, DevOps et méthodes agiles. Astrelya se distingue par un modèle fondé sur la proximité, la confiance et une culture humaine forte, qui place les collaborateurs au cœur de la création de valeur. Dans le cadre de notre développement, nous recherchons un Data Engineer – Plateforme Data B2C AWS / Databricks Contexte Vous rejoignez un programme stratégique de refonte d'une plateforme B2C à l'échelle mondiale, dans un environnement Agile Scrum. Description du poste En tant que Data Engineer, vous jouez un rôle clé dans la conception, le développement et l'évolution de la plateforme Data. Vous intervenez à la fois comme leader technique et acteur opérationnel avec pour objectif de garantir la qualité, la performance, la fiabilité et la maîtrise des coûts de la plateforme, tout en contribuant à la valorisation des données. Responsabilités principales Concevoir et développer des architectures Data cloud-native sur AWS, basées sur Databricks Garantir la qualité, la cohérence et la fiabilité des données tout au long de leur cycle de vie. Participer activement au développement conception et développement de pipelines Data ; traitements batch et streaming ; optimisation des performances. Définir, mettre en œuvre et promouvoir les bonnes pratiques de Data Engineering Mettre en place des mécanismes de monitoring et de contrôle de la qualité des données Piloter l'optimisation des coûts AWS et Databricks liés aux traitements Data dans une démarche FinOps. Accompagner les Data Engineers et développeurs Collaborer étroitement avec les équipes Produit et IT, dans un environnement international et multiculturel. Stack technique Data & Cloud Databricks AWS : S3, EC2, RDS, Lambda Langages & Frameworks Java SQL Apache Spark DevOps & CI/CD GitHub Enterprise ArgoCD SonarQube Intégration & Services Kafka PostgreSQL Collaboration & Agile Jira Confluence Agile Scrum Soft Skills Leadership technique : capacité à guider, structurer et faire grandir une équipe Data. Vision transverse : compréhension des enjeux métiers, Data et Cloud, et capacité à les mettre en perspective. Communication : aptitude à vulgariser des concepts techniques et à communiquer efficacement avec différents interlocuteurs. Esprit collaboratif et interculturel : capacité à travailler efficacement avec des équipes internationales. Proactivité et adaptabilité : capacité à anticiper les risques liés à la qualité, aux coûts et aux performances, et à évoluer dans un contexte Agile.

Contexte du poste Dans le cadre de la transformation de son système d'information, notre client fait évoluer sa plateforme BI traditionnelle vers une plateforme Data Big Data et souhaite accompagner cette transformation par la mise en place de nouveaux usages autour de la donnée. Au sein de la DSI, vous rejoignez une équipe dédiée aux projets BI / Data et intervenez à la fois sur le pilotage des projets, l'AMOA, la conception fonctionnelle et le suivi des solutions en production. Vous travaillez en étroite collaboration avec les équipes métiers, les équipes Data et les prestataires externes, dans un environnement Agile. Missions principales Pilotage des projets BI / Data Réaliser les études d'opportunité et cadrer les projets avant décision Go / No Go. Piloter les projets de bout en bout : planning, budget, risques, qualité et coordination des contributeurs. Animer les comités projet et assurer le reporting auprès des parties prenantes. Coordonner les équipes métiers, techniques et les prestataires externes. Élaborer et suivre les charges projet en jours/homme. Analyse fonctionnelle et conception Data Recueillir et analyser les besoins métiers lors d'ateliers de cadrage. Traduire les besoins métiers en exigences fonctionnelles et techniques. Rédiger les expressions de besoins, spécifications fonctionnelles et User Stories. Construire et suivre le backlog produit ainsi que les sprints et releases. Participer à la définition des règles de gestion. Concevoir les Data Products : ingestion, modélisation et intégration au sein de la plateforme Data. Garantir la cohérence, la performance, l'exploitabilité et la continuité des solutions. Tests et déploiement Concevoir les scénarios et cas de tests. Réaliser les tests unitaires et d'intégration. Accompagner les métiers lors des phases de recette. Piloter les mises en production et accompagner les déploiements. Organiser la conduite du changement et, si nécessaire, former les utilisateurs. RUN et amélioration continue Assurer le maintien en condition opérationnelle des applications. Analyser les incidents et dysfonctionnements et proposer des actions correctives et préventives. Suivre et prioriser le backlog des évolutions. Assurer l'interface avec les équipes d'exploitation. Capitaliser la connaissance fonctionnelle et contribuer à l'amélioration continue des solutions. Gestion des partenaires et reporting Superviser les interventions des prestataires externes. Participer à la sélection et au pilotage des intervenants. Mettre en place des indicateurs de suivi : délais, coûts, qualité et satisfaction. Assurer un reporting régulier auprès du management. Environnement technique Data & Big Data : Kafka, Confluent Cloud, NiFi, Spark, Scala, Iceberg, Starburst, Kudu, Hadoop Data Platform : Cloudera, Databricks, Dataiku Orchestration : Airflow / Astronomer BI & Reporting : Power BI, SAP BI, Business Objects Bases de données : SQL Server, T-SQL Data Engineering : Data Warehouse, Data Mart, modélisation de données, ETL

Envie d'un nouveau challenge... CELAD vous attend ! Nous poursuivons notre développement et recherchons actuellement un(e) Ingénieur Data H/F pour intervenir chez un de nos clients. Contexte : Vous rejoignez une équipe Data intervenant sur des projets stratégiques de valorisation de la donnée. Vous évoluez au sein d'un environnement Big Data moderne, en collaboration étroite avec les équipes métiers, les Product Owners, Business Analysts et développeurs. Votre rôle sera de concevoir et développer des solutions de traitement de données performantes tout en participant aux réflexions d'architecture et à l'amélioration continue des pratiques de développement. Votre mission : Au sein d'une équipe projet, vous serez en charge de : - Participer à la définition de l'architecture Data en collaboration avec les architectes et les équipes projet. - Concevoir, développer et maintenir des pipelines de données batch et temps réel. - Développer les traitements d'intégration et de transformation de données à l'aide de Spark et des outils ETL. - Automatiser l'ingestion de données provenant de multiples sources et assurer leur mise à disposition pour les usages métiers. - Mettre en œuvre les tests unitaires et automatisés, assurer les déploiements et garantir la qualité des développements. - Assurer le maintien en conditions opérationnelles des solutions Data (monitoring, gestion des incidents, optimisation des performances) et contribuer à l'amélioration continue des pratiques de développement.

📍 Contexte Société Générale recherche un Data Engineer / Expert Hadoop pour assurer l'administration, la maintenance et l'évolution de sa plateforme Big Data Cloudera CDP. La mission porte sur la fiabilité, la performance, les montées de version et l'automatisation de l'infrastructure Big Data. 🎯 Missions principales Administrer et maintenir les clusters Hadoop Cloudera CDP. Participer aux montées de version des composants Hadoop. Résoudre les incidents techniques complexes et intervenir en task force. Automatiser les déploiements, le patching et l'exploitation avec Ansible et Terraform/Terragrunt. Garantir la disponibilité, la performance et la sécurité de la plateforme. Gérer les changements (tests, rollback, mise en production). Collaborer avec Cloudera et les équipes internes. Rédiger la documentation technique. 🛠 Stack technique Big Data : Hadoop, Cloudera CDP 7.1.9, Spark Ingestion : Kafka, Apache NiFi Automatisation : Ansible, Terraform, Terragrunt, AWX Versioning / Scripting : Shell, Git, GitHub