MissionsConcevoir et maintenir des pipelines de données sous Azure Data Factory. Modéliser les données dans Azure Synapse Analytics (modèles analytiques, schémas en étoile). Développer des traitements de données à grande échelle avec Python et Spark. Assurer l'orchestration des flux de données. Garantir la qualité, la cohérence et la fiabilité des données. Collaborer avec les équipes métiers pour recueillir et comprendre les besoins. Participer à l'industrialisation des développements via les pratiques CI/CD. Réaliser des analyses techniques et proposer des recommandations d'amélioration. Profil recherchéBac+5 en Informatique, Data ou équivalent. 4 à 7 ans d'expérience en Business Intelligence ou Data Engineering. Expérience significative sur l'écosystème Microsoft Azure. Maîtrise de la modélisation de données et des environnements décisionnels. Capacité à intervenir sur l'ensemble du cycle de vie des flux de données. Bon relationnel et aptitude à travailler avec des interlocuteurs métiers. Anglais professionnel indispensable. Compétences techniquesAzure Data Factory Azure Synapse Analytics / SQL Python Spark Power BI Modélisation de données (Star Schema) CI/CD Azure DevOps (ou équivalent) Environnement techniqueAzure Data Factory • Azure Synapse Analytics • SQL • Python • Spark • Power BI • Azure DevOps • Data Lake Azure
Contexte de la mission Cette équipe en cours de construction est aujourd'hui constituée d'un chef de projet. Elle est accompagnée par diverses ressources du pôle, du département ou des équipes applicatives ( managers, coodinateurs, référent techniques, pilote de système applicatifs...). La mission du projet : Accompagner la migration et l'industrialisation d'une plateforme data cible autour de Databricks / Spark / Power BI Description du profil: Nous recherchons un Lead Data Engineer / Expert Databricks pour accompagner la migration et l'industrialisation d'une nouvelle plateforme data. Le profil interviendra sur la conception de pipelines Databricks / Spark, la structuration du modèle de données cible et la mise en place de standards de développement robustes, maintenables et industrialisés. Le profil devra accompagner les équipes de développement pour assurer le respect des bonnes pratiques établies pendant la migration. Une capacité à prendre du recul, à proposer des choix techniques structurants et à travailler avec des équipes Data, BI et métier est attendue. Une connaissance de Power BI est appréciée pour faciliter l'exposition des données vers les usages analytiques. Objectifs et livrables Activité principale : Concevoir, développer et maintenir des pipelines data sous Databricks / Spark Développer les traitements en Python, PySpark et SQL Contribuer à la définition et à la mise en œuvre du modèle de données cible Industrialiser les pipelines : standards de développement, tests, CI/CD, déploiement Mettre en place des traitements robustes, maintenables et scalables Orchestrer les traitements via Databricks Workflows / Lakeflow Jobs Contribuer à la qualité, à l'observabilité et à la fiabilité des traitements Participer au run : suivi de production, analyse d'incidents, amélioration continue Prendre en compte les enjeux de performance et de maîtrise des coûts Activité secondaire : Participer au cadrage des besoins avec le Product Owner et les équipes utilisatrices Contribuer aux choix techniques liés à la nouvelle plateforme data Participer à la mise en place des pratiques de développement Databricks Contribuer à l'interfaçage avec Power BI ou à des processus intégrés Databricks / Power BI Participer à l'intégration de sources d'alimentation du datalake, Kafka apprécié Contribuer à la documentation technique et aux standards d'équipe Participer aux rituels agiles et à l'amélioration continue de la feature team Stack technique de l'équipe: Obligatoires : Databricks, Spark, PySpark, Python, SQL Obligatoires : Modélisation data, Delta Lake, Unity Catalog Obligatoires : CI/CD, tests, industrialisation des pipelines Demandées : Certification Databricks, cloud public, Terraform Demandées : Databricks Workflows, observabilité Appréciées : Kafka, Lakeflow / DLT, Power BI Appréciées : Certification cloud
Contexte : migration de On premise vers GCP En tant que Data Engineer, vous serez au cœur de notre stratégie data. Vous concevrez et mettrez en œuvre des solutions innovantes pour collecter, transformer et stocker nos données massives. Votre expertise technique sera essentielle pour les projets et offrir des insights précieux à nos équipes métiers. Vos missions : Conception et développement: Définir et mettre en œuvre des architectures de données robustes (data lakes, data warehouses). Concevoir et développer des pipelines de données automatisés (ETL). Optimiser les performances des traitements de données. Technologies: Maîtrise des langages de programmation : Python, Scala, SQL. Expérience avec les outils de traitement de données : Spark, Hadoop, Kafka. Connaissance des bases de données relationnelles et NoSQL. Expérience avec les clouds (GCP) Collaboration: Travailler en étroite collaboration avec les équipes métiers. Participer à la définition de la roadmap data.
Je recherche un Intégrateur d'exploitation / Ingénieur Devops pour intégrer l' équipe APS Trade est en charge du support de l'ensemble des applicatifs Front, Middle et Back-Office Trade utilisées par les métiers Documentary Products : moyens de paiement et financement du commerce international, c'est-à-dire credits documentaires, remises documentaires, et garanties internationales. Il y actuellement 9 applications basées sur des progiciels (iVision, FileNet, Connexis Trade, AML-TF,...) du développement offshore et onshore, de l'infrastructure Microsoft (SharePoint, MSSQL, BI, ...), TIBCO, ... Des instances sont dédiées par métier et à l'international. La mission consiste à assister, qualifier, comprendre les différents besoins et façons de mettre en œuvre nos applications en production. En gardant à l'esprit qu'il y a un utilisateur au bout. Tout cela dans le respect du suivi via les outils mis à disposition. Vos missions Pilotage technique & fonctionnel: Coordination de l'équipe offshore (Inde), gestion du planning, priorisation, KPIs, remontée des alertes et relation DEV/OPS. Chaînes CI/CD & automatisatio: Mise en place des pipelines de DEV à PROD, automatisation des déploiements, des tests et des batchs avec consignes associées. Intégration & exploitation: Installation des systèmes, analyse des dossiers d'exploitation, rédaction des procédures, maintien des conditions de production. Surveillance & qualité de service: Mise en place des surveillances applicatives, garantie des SLA, amélioration continue et contribution aux choix d'évolution. Move To Cloud (IVx): Participation active au programme de migration cloud — intégration des standards industrialisés Stack technique : RHEL, Shell Unix, Kubernetes Tomcat Oracle DB Jenkins Argo CD Ansible Bitbucket Autosys Spark Dynatrace Apigee Confluence SharePoint / O365
Dans le cadre du développement et de l'évolution de sa plateforme Big Data, un grand compte du secteur bancaire recherche un Administrateur Hadoop Expert afin de renforcer son équipe Infrastructure Big Data. Vous interviendrez sur une plateforme Cloudera CDP stratégique et participerez à son administration, son évolution, son industrialisation ainsi qu'à la résolution de problématiques techniques complexes dans un environnement à forte volumétrie. Vos missionsVous intégrerez l'équipe en charge de l'administration de la plateforme Hadoop et serez responsable de : Administrer, maintenir et faire évoluer les clusters Hadoop sous Cloudera CDP. Installer, configurer et exploiter les composants de la plateforme Big Data. Garantir la disponibilité, la performance et la sécurité des infrastructures Hadoop. Participer aux montées de versions majeures des composants Cloudera. Automatiser les déploiements et opérations d'exploitation via Ansible et Terraform/Terragrunt. Assurer le support technique de niveau 2/3 et résoudre les incidents complexes. Participer aux task forces sur les problématiques critiques de production. Administrer les services Hadoop (HDFS, YARN, Hive, Spark, HBase...). Gérer les plateformes d'ingestion de données (Kafka, NiFi). Mettre en œuvre les évolutions techniques et les nouvelles fonctionnalités de la plateforme. Assurer la documentation technique, les procédures d'exploitation et le transfert de compétences. Collaborer avec les équipes Infrastructure, Data Engineering, Production et l'éditeur Cloudera. Environnement techniqueBig DataCloudera CDP 7.x Hadoop HDFS Hive Spark YARN HBase Oozie IngestionApache Kafka Apache NiFi SécuritéRanger Kerberos Knox DevOps & AutomatisationAnsible Terraform Terragrunt Jenkins Git SystèmesLinux Shell scripting MonitoringGrafana Elasticsearch / Kibana Prometheus (apprécié)
CONTEXTE Client final : grand groupe média & audiovisuel français. Au sein de la Direction IT Transverse, l'équipe Services & Automatisation met en place les plateformes de services du groupe. Nous recherchons un Ingénieur Data expérimenté (5 ans et plus) pour construire un MVP de plateforme Data On-Premise reposant sur des briques Open Source : Kafka, NiFi, Spark, Iceberg, Trino. Le MVP s'intègre au socle existant (Kubernetes, GitLab CI, Prometheus/OpenTelemetry) ; projet mené avec l'équipe Data & IA. OBJECTIFS DE LA PLATEFORME - Gérer la transformation de données On-Premise et alimenter un datalake On-Premise - Servir de plateforme d'ingestion pour la plateforme Big Data hébergée sur GCP - Passer les traitements du mode batch au temps réel (streaming) - Démontrer la faisabilité de la migration des flux ETL portés par un outil propriétaire (type OpenText/Genio) : quelques flux dans le MVP, migration complète hors scope MISSIONS 1. Conception et développement du MVP - Architecturer une plateforme On-Premise scalable et robuste, intégrée au socle existant - Choisir, configurer et déployer les briques Open Source : Kafka (streaming), NiFi (ingestion et orchestration de flux), Spark (traitement distribué), Iceberg (tables analytiques), Trino (requêtage SQL distribué) - Intégrer la plateforme avec Kubernetes, GitLab CI (pipelines de déploiement et tests) et Prometheus/OpenTelemetry (monitoring et observabilité) 2. Validation technique et faisabilité - Transformer quelques flux ETL existants pour démontrer la valeur ajoutée - Mettre en place des pipelines streaming (Kafka + Spark Structured Streaming) - Alimenter le datalake On-Premise (Iceberg + Trino) - Valider l'interopérabilité avec la plateforme Big Data GCP 3. Collaboration et transmission - Travailler avec l'équipe Data & IA (besoins métiers/techniques) et les équipes DevOps/Infrastructure (intégration au socle) - Documenter les choix techniques, architectures et bonnes pratiques - Former et accompagner les équipes internes sur les nouveaux outils
Dans le cadre de l'évolution et du maintien en conditions opérationnelles d'une plateforme Big Data stratégique, nous recherchons un Expert Hadoop / Cloudera CDP Senior pour intégrer une équipe en charge de l'administration et de l'optimisation d'un environnement de données critique. Vos missionsAdministrer et maintenir les clusters Hadoop sous Cloudera CDP. Garantir la disponibilité, la performance et la sécurité de la plateforme. Automatiser les déploiements, patchs et opérations d'exploitation via Ansible et Terraform. Participer à la résolution d'incidents complexes et aux task forces techniques. Accompagner les montées de version des composants Hadoop. Déployer de nouvelles fonctionnalités à forte valeur ajoutée. Assurer la gestion des changements (préparation, tests, rollback, suivi). Produire et maintenir la documentation technique. Environnement techniqueHadoop Cloudera CDP 7.1.9 Kafka Apache NiFi Spark Ansible Terraform Terragrunt AWX Shell Scripting Linux Profil recherché Formation Bac+5 école d'ingénieurs ou université. Expérience significative en administration Hadoop en environnement de production. Expertise Cloudera CDP indispensable. Maîtrise d'Ansible et des pratiques d'automatisation. Bonne connaissance de Kafka, NiFi et Spark. Anglais professionnel courant. Autonomie, esprit d'analyse et capacité à intervenir sur des environnements critiques. Les plusMission au sein d'un environnement Big Data de grande envergure. Fort enjeu d'automatisation et de modernisation des infrastructures. Interventions sur des problématiques techniques à forte complexité. Exposition à un écosystème Cloudera/CDP mature et stratégique.
Chaque moment compte. Surtout ceux que vous vivez à fond. Bienvenue chez Consort Group. Consort Group, accompagne depuis plus de 30 ans les entreprises dans la valorisation de leurs données et infrastructures. Elle s'appuie sur deux leaders, Consortis et Consortia, et place l'humain et la responsabilité sociétale au cœur de ses valeurs. C'est votre future équipe Les équipes de ConsortIA, sont des acteurs de référence de la Data, du Développement Digital et de l'Ingénierie Média. En combinant ces expertises, nous concevons des systèmes d'information augmentés, intégrés, agiles et sécurisés, au service de la performance et de la transformation numérique de nos clients. Data Engineer Senior H/F C'est votre mission Vous êtes passionné·e par les environnements Big Data, le Cloud et les architectures distribuées ? Ce poste est fait pour vous. En tant que Data Engineer Senior, vous participez à la modernisation des plateformes Data d'un grand acteur bancaire, en contribuant aux projets de migration et d'industrialisation des traitements Big Data. Côté build : Participer aux études de faisabilité (POC/POV) autour des plateformes Data Cloudera CDP, Flexible Lake House et Google Cloud Platform. Concevoir et développer les solutions de migration des traitements Big Data vers les nouvelles architectures. Préparer les données (nettoyage, transformation, chiffrement et chargement) avant leur migration. Réaliser les développements Spark et SQL nécessaires à l'adaptation des traitements existants. Concevoir et exécuter les tests unitaires, d'intégration et de performance. Documenter les solutions mises en œuvre et contribuer aux estimations de charge des projets. Côté run : Participer au déploiement en production et aux opérations de bascule des applications. Assurer le monitoring des traitements et le diagnostic des incidents via l'analyse des logs et des métriques Spark. Garantir la période de support post-migration et accompagner les équipes métiers lors des phases de validation. Collaborer avec les équipes architecture, plateforme et les différentes squads Data. Contribuer à l'amélioration continue des plateformes et des pratiques d'industrialisation. C'est votre parcours Vous avez au moins 7 ans d'expérience en Data Engineering dans des environnements Big Data et Cloud. Vous appréciez les projets de transformation technique, les architectures distribuées et les environnements collaboratifs où innovation et qualité vont de pair. C'est votre expertise : Spark, SQL et traitements batch distribués Cloudera CDP Parquet, Apache Iceberg Google Cloud Platform (GCS, Dataproc ou GKE) Kubernetes (exécution de jobs Spark) Git, GitLab CI/CD, Docker Kafka et technologies de streaming (notions appréciées) Lecture de logs, monitoring et diagnostic des traitements Méthodologie Agile Jira, Confluence, GitHub Copilot C'est votre manière de faire équipe : Sens du service Esprit d'analyse et de synthèse Excellent relationnel et communication Esprit collaboratif Organisation et adaptabilité Autonomie Curiosité Capacité à travailler avec des équipes techniques et métiers C'est notre engagement Chez Consort Group, vous êtes un·e expert·e qu'on accompagne pour que chaque mission devienne une étape qui compte. Un onboarding attentif et humain Une vraie proximité managériale Des formations accessibles en continu Des engagements concrets : inclusion, égalité, solidarité Un package RH complet : mutuelle, carte TR, CSE, prévoyance Une culture du feedback et des projets qui font sens C'est clair Le process de recrutement : Un premier échange téléphonique avec notre team recrutement Un entretien RH ainsi qu'un échange métier avec un.e ingénieur.e d'affaires Un test ou un échange technique avec un.e de nos expert.es Un dernier point avec votre futur.e manager ou responsable de mission Et si on se reconnaît : on démarre ensemble C'est bon à savoir Lieu : Villejuif Contrat : Freelance Télétravail : [Hybride selon mission] TJM = à partir de 600€ Famille métier : Data Engineering / Big Data / Cloud Ce que vous ferez ici, vous ne le ferez nulle part ailleurs. Ce moment, c'est le vôtre.
Contexte Dans le cadre de l'évolution de sa plateforme Data, un acteur majeur du secteur bancaire recherche un Data Engineer afin d'assurer le maintien en conditions opérationnels des plateformes Data sur AWS et de développer de nouveaux flux de données temps réel pour les besoins Analytics et décisionnels. Missions Assurer le MCO de la plateforme Data sur AWS. Concevoir et optimiser des pipelines de données batch et streaming. Développer et administrer les flux Kafka (topics, producteurs, consommateurs). Optimiser les traitements Spark / PySpark. Garantir la qualité, la performance et la disponibilité des données. Industrialiser les développements via les pratiques DevOps et CI/CD. Participer à l'évolution des architectures Data (Data Lake, Event-Driven). Environnement technique Spark • PySpark • Kafka • Python • SQL • AWS • Datadog • Airflow • Dataiku • Docker • Kubernetes • Terraform • GitLab CI • Jenkins
Nous sommes à la recherche d'un Ingénieur Data Azure Databricks pour la gestion d'une plateforme datalake. Vos missions: Déploiement du modèle d'accès aux données partagées dans Unity Catalog. Mise à disposition des données en mode table . Contribution à la réalisation des POC. Déploiement du nouveau datalake gouverné. Votre profil: Maitrise d'Azure / Databricks. Capacité à prendre en charge l'ensemble des composants techniques. Environnement : Git Hub / Java / JavaScript / TypeScript / Spark / Azure DevOps. Anglais opérationnel. 1 jour de Télétravail / semaine
ContexteDans le cadre du renforcement de son équipe Data & IA, notre client recherche un Data Engineer / Administrateur Plateforme Data pour assurer l'administration, l'exploitation et l'évolution des infrastructures Data basées sur Cloudera CDP et les technologies Open Source. Vous interviendrez sur des plateformes critiques en collaboration avec les équipes applicatives, infrastructures, métiers et internationales afin de garantir la disponibilité, les performances et l'évolution des environnements Data. MissionsAdministration & ExploitationAdministrer et maintenir les plateformes Data Cloudera CDP. Garantir le maintien en condition opérationnelle des infrastructures. Superviser les plateformes et assurer le traitement des incidents. Participer aux astreintes et aux interventions hors horaires ouvrés. Optimiser les performances et la capacité des plateformes. Data EngineeringConcevoir les solutions d'ingestion de données (API). Mettre en œuvre des architectures de stockage (Hadoop, Ozone, Druid, ClickHouse...). Développer et automatiser les traitements de données. Mettre en place les tests unitaires et d'intégration. Industrialiser les traitements de nettoyage et de transformation des données. Évolution des plateformesParticiper aux migrations des clusters Hadoop Cloudera. Contribuer au déploiement des nouvelles plateformes Cloudera Data Services sous OpenShift/Kubernetes. Être force de proposition sur les évolutions techniques. Participer au design des infrastructures Data. Support & ExpertiseRésoudre les incidents complexes (Hive, Spark, Yarn...). Accompagner les équipes applicatives et métiers. Assurer un support technique de haut niveau. Participer à la documentation et au partage de connaissances. Environnement techniqueImpératifCloudera CDP 7.1.x RedHat Enterprise Linux 8 & 9 Python Java Ansible DevOps Très bonnes connaissancesHadoop Hive HBase Kafka Spark Solr Knox Ranger ZooKeeper Kerberos LDAP AppréciéesOpenShift Kubernetes Trino / Starburst Airflow Flink Maven Gradle ClickHouse Ozone Druid Profil recherchéFormation Bac+5 en informatique ou équivalent. Expérience significative sur des plateformes Big Data Cloudera. Expertise Linux RedHat. Bonne maîtrise des environnements Open Source Data. Solides compétences en automatisation (Ansible). Connaissances DevOps. Capacité à analyser et résoudre des incidents complexes. Esprit d'équipe, autonomie et bonnes capacités de communication. ConditionsCouverture de l'équipe : 8h00 – 19h00 Astreintes et interventions hors horaires ouvrés selon un planning de rotation. Niveau attendu : Confirmé / Senior (N4). Compétences clés : Cloudera CDP 7.1.x, RedHat 8/9, Hadoop, Spark, Hive, Kafka, Python, Java, Ansible, DevOps, OpenShift, Kubernetes.
Contexte de la mission En tant que consultant data au sein de la Cellule du Qualité de Fixe (CQF) du client , vous serez en charge de produire des analyses à partir de dataset que vous aurez constitués sur des données de nos plateformes Big Data, Vous aurez également la responsabilité de rendre disponible des données, une fois celles-ci nettoyées, préparées et formatées sous forme de dataset ou de table à disposition des datascientists de l'équipe. Vous aurez à développer des tableaux de bord de suivi de KP.. Objectifs et livrables Dataset Tableau de Bord (Tableau) Analyses commentées Compétences demandées analyse statistique Confirmé SQL : Expertise Confirmé Tableau Expert Spark Python Confirmé
Votre missionDans le cadre du développement de notre plateforme Data, nous recherchons un Data Engineer pour concevoir, développer et maintenir des pipelines de données performants dans un environnement Cloud AWS. Vous participerez notamment à : Développer et optimiser les traitements d'ingestion et de transformation de données avec Python, Spark et Databricks. Mettre en place les flux de données entre différentes sources et le Data Lake. Orchestrer et superviser les traitements avec Airflow. Garantir la qualité, la disponibilité et les performances des pipelines. Assurer le support, la correction des anomalies et l'amélioration continue de la plateforme. Participer aux choix techniques, aux ateliers projet et à la documentation.
Au sein d'une équipe Data & Digital, vous intervenez sur le développement et l'industrialisation de solutions Big Data à forte volumétrie dans un environnement exigeant et innovant. Vous contribuerez à la conception, au développement et à l'exploitation de plateformes Data reposant sur des technologies Cloud et Big Data. Vos missionsDévelopper des applications Data et des API REST en Java/Spring. Participer aux études de faisabilité et aux choix techniques. Concevoir et implémenter des traitements Big Data. Mettre en œuvre les bonnes pratiques de qualité logicielle (TDD/BDD). Automatiser les déploiements et contribuer à l'industrialisation des environnements. Optimiser les performances applicatives et la stabilité des plateformes. Accompagner les équipes métiers et participer au support des phases de tests. Assurer le maintien en conditions opérationnelles des solutions. Profil recherchéBac+5 École d'Ingénieur ou équivalent. Expérience significative en Data Engineering et environnements Big Data. Excellente maîtrise de Java. Solides compétences sur Spark et Hadoop. Expérience des environnements Cloud AWS et/ou Azure. Bonne maîtrise de Python et/ou Scala. Expérience des API REST et du framework Spring. Environnement techniqueJava Spring Boot Spark Hadoop HDFS Oozie Scala Python AWS Azure Shell Unix Git / GitHub Containers TDD / BDD
CONTEXTE DE LA MISSION L'équipe « Socles Data » de la Direction Technique Informatique d'un organisme paritaire de retraite complémentaire gère les socles techniques DATA du système d'information. Ces socles couvrent les besoins de pilotage, de mise à disposition de tableaux de bord décisionnels, d'exploration de données et de Data science. La mission consiste à assurer le maintien en conditions opérationnelles (MCO) des socles Hadoop Cloudera (environnements Hors-Prod et Prod) et à contribuer aux projets d'évolution technique de ces socles. La mission s'inscrit dans un contexte d'infrastructure DATA industrialisée, avec une exigence forte d'autonomie et de rigueur documentaire. Des astreintes ou interventions ponctuelles en dehors des heures normales ouvrées (HNO) pourront être demandées. RÔLE ET RESPONSABILITÉS PRINCIPALES Administration et exploitation des socles Hadoop : supervision, optimisation, gestion des incidents et des performances Capacity planning : suivi de la consommation, mise en place d'outils et de procédures de gestion des capacités Maintenance proactive : application des correctifs, mises à jour, suivi des évolutions technologiques Rédaction de procédures d'administration et d'exploitation Intégration avec l'outillage de l'écosystème DSI pour l'exploitation du SI Support et expertise aux équipes Études et Exploitation Participation aux projets d'évolution des architectures techniques (logicielles, matérielles, sécurité) : pilotage possible, définition d'architecture, rédaction de dossiers, mise en œuvre LIVRABLES ATTENDUS Reporting hebdomadaire d'activité Tableau de bord mensuel de suivi d'activités Documentations techniques : normes, principes, dossiers d'architecture, d'administration, d'exploitation, modes opératoires Transferts de connaissances : organisation de sessions et rédaction de supports Gestion des demandes : tickets incidents, demandes et changements dûment complétés Contribution à la continuité de service au sein de l'équipe
