Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark à Paris

Contexte de la mission Dans le cadre du développement de son équipe Data Accelerator (DAC), notre client recherche un Data Engineer confirmé orienté Data Quality et Data Governance. DAC est une équipe transverse en charge d’accompagner les équipes métiers et IT sur l’ensemble de la chaîne de valeur de la donnée : collecte, ingestion, transformation, industrialisation, gouvernance et optimisation des performances. L’environnement s’appuie principalement sur les technologies AWS, Databricks, Dataiku et Collibra, avec un fort enjeu autour de la qualité, de la fiabilisation et de la structuration des données au sein du Data Lake. Le consultant interviendra dans un contexte stratégique avec une forte collaboration avec les équipes Data Analysts, Data Scientists ainsi qu’avec le Chief Data Officer. Missions principalesQualification et gestion des données Captation des données structurées et non structurées provenant de multiples sources Intégration et supervision des flux de données Structuration de la donnée (normalisation, sémantique, référentiel) Cartographie des données disponibles Nettoyage des données (suppression des doublons, contrôle qualité) Validation et qualification des données avant intégration dans le Data Lake Participation à la création et à l’amélioration des référentiels de données Industrialisation et performance Développement et optimisation des traitements data Amélioration des performances et maîtrise des coûts des plateformes data Participation aux développements correctifs, évolutifs et adaptatifs Contribution aux dossiers d’architecture Production des tableaux de bord de suivi Gouvernance & collaboration Participation à la définition de la politique data Respect des standards de sécurité, gouvernance et conformité Collaboration avec les équipes métiers, IT et gouvernance data Contribution à l’industrialisation des cas d’usage Data & GenAI

Missions et responsabilités principales1. Déploiement et industrialisation des clusters Big Data Déploiement automatisé de clusters via des pipelines CI/CD Utilisation d’outils d’automatisation pour l’installation et la configuration des composants Adaptation des architectures selon les besoins projets (dimensionnement, sécurité, performance) Contribution à l’industrialisation des processus (CI/CD, Infrastructure as Code) Déploiement et configuration d’outils de gestion de plateforme Installation et configuration d’interfaces utilisateurs pour les environnements analytiques 2. Stack Big Data administrée Administration et intégration des composants suivants : Service d’annuaire : gestion des identités Service d’authentification : sécurisation des accès Système de fichiers distribué : gestion du stockage Framework de traitement distribué : gestion des ressources et exécution Outil de gestion des accès : politiques de sécurité Moteur de calcul distribué Moteur SQL pour l’accès aux données Base de données relationnelle associée aux services Service de coordination distribué Responsabilités associées : Installation, configuration et paramétrage avancé Gestion des dépendances inter-services Maintien de la cohérence des versions Optimisation des performances et de la stabilité 3. Provisionnement et préparation des environnements Provisionnement des machines virtuelles Préparation des prérequis systèmes (OS, stockage, réseau) Automatisation des installations via scripts et outils d’orchestration Gestion des environnements (développement, test, production) 4. Observabilité et supervision Mise en place et maintien de la supervision : Collecte des métriques Gestion et routage des alertes Centralisation et exploitation des logs Visualisation via tableaux de bord Définition et amélioration des indicateurs de supervision Analyse proactive des alertes Diagnostic et résolution d’incidents 5. Maintien en Condition Opérationnelle (MCO) Administration quotidienne des plateformes Big Data Support technique aux équipes projets et utilisateurs Gestion des incidents et demandes d’évolution Montées de version et correctifs Suivi de la capacité (CPU, RAM, stockage) Documentation technique et mise à jour des procédures Rituels et interactions Participation aux rituels d’équipe Coordination avec : Équipes infrastructure et exploitation Équipes projets data / métiers Référents sécurité Accompagnement des équipes dans l’usage de la plateforme Environnement technique global CI/CD & DevOps : outils d’intégration et de déploiement continus, gestion de code, qualité Automatisation : outils d’orchestration et scripting Infrastructure : virtualisation, conteneurisation Big Data : écosystème de traitement distribué Observabilité : outils de monitoring, logs et visualisation Points de vigilance Forte interdépendance des composants de la plateforme Sensibilité aux problématiques de capacité et de performance Importance de l’anticipation via la supervision Respect strict des standards de sécurité et des procédures internes Coordination transverse nécessaire pour les déploiements et évolutions majeures Charge estimative Déploiement d’un cluster complet : variable selon dimensionnement et spécificités projet MCO : charge récurrente hebdomadaire Incidents critiques : charge ponctuelle selon criticité

Contexte de la mission Dans le cadre du développement d’une Data Marketplace interne , notre client construit une plateforme centralisant l’ensemble du parcours data (discovery, qualité, gouvernance, transformation, monitoring, BI). Déjà déployée auprès de premiers utilisateurs, la plateforme entre dans une phase de scalabilité et d’industrialisation avec un objectif de déploiement à grande échelle (plusieurs milliers d’utilisateurs à l’international). Vous intégrerez une équipe produit data avec des enjeux forts autour de la performance, de la qualité des données et de l’expérience utilisateur. Objectifs & livrables Développement et optimisation de pipelines data complexes Mise en place de process de data quality Contribution à une architecture scalable et modulaire Industrialisation des flux (CI/CD, automatisation) Documentation technique et participation aux choix d’architecture Missions principales Data Engineering Développer et maintenir des pipelines (batch & streaming) Gérer l’ingestion multi-sources (API, bases, streaming) Optimiser les performances (latence, volumétrie, retry) Implémenter des contrôles de qualité et de traçabilité Backend & Architecture Concevoir une architecture data modulaire et scalable Développer des composants réutilisables Garantir la maintenabilité et la qualité du code DevOps & Industrialisation Mise en place de pipelines CI/CD Automatisation des déploiements Gestion des environnements cloud Collaboration Travail étroit avec PO, data engineers et équipes métiers Participation aux rituels agiles et code reviews Stack technique Data Python, Scala Spark Kafka / Kinesis / EventHub Airflow, DBT Cloud AWS (Lambda, Glue, Step Functions, Redshift, DynamoDB) Azure (Functions, CosmosDB) DevOps Docker, Kubernetes CI/CD (GitLab CI, Jenkins, GitHub Actions) Terraform, Ansible Observabilité Prometheus, Grafana, ELK, Datadog

Dans le cadre du renforcement de sa Data Factory, un grand groupe international accélère la structuration de sa plateforme data sur Microsoft Azure avec un usage central de Databricks pour le traitement, la transformation et la valorisation des données. L’environnement s’inscrit dans une logique Data Lake , organisation Bronze / Silver / Gold et montée en maturité data à l’échelle groupe. Mission L’Architecte Data interviendra sur la conception et l’industrialisation de la plateforme data Azure. Ses responsabilités principales : Concevoir et faire évoluer l’architecture data sur Azure Structurer et optimiser les pipelines data via Databricks (Spark) Mettre en place les traitements de transformation et d’agrégation Modéliser les données pour les usages analytiques Garantir performance, scalabilité et qualité des flux Participer aux ateliers de cadrage technique avec les équipes métiers et IT Contribuer aux standards d’architecture et aux bonnes pratiques data Compétences clés (Must Have) Databricks (obligatoire) Azure (Data Lake, Synapse, Data Factory) Spark / PySpark SQL avancé Architectures Data Lake – Bronze / Silver / Gold Conception de pipelines data industrialisés Modélisation Data Warehouse Compétences appréciées (Nice to Have) Power BI DAX MDM (Master Data Management) Data Quality / Gouvernance Data Mesh Azure DevOps / Git ERP (SAP) Profil recherché 5 à 10 ans d’expérience en Data Engineering / Architecture Data Expérience confirmée sur des environnements Azure + Databricks Capacité à intervenir sur des environnements data complexes Autonomie technique et posture structurante Bon relationnel et capacité à challenger les choix d’architecture Environnement de travail Cloud : Microsoft Azure Traitement data : Databricks, Spark Stockage : Azure Data Lake Gen2 Orchestration : Azure Data Factory BI (selon besoins) : Power BI Gouvernance (selon périmètre) : MDM / Data Quality Conditions de la mission Lieu de la mision : Paris Mission longue : 6 à 12 mois renouvelables Temps plein Télétravail partiel possible Démarrage rapide TJM : 450-550€

Nous recherchons actuellement un Data Engineer pour intervenir au sein d’un grand groupe international du secteur du luxe (cosmétique & parfums), dans le cadre du renforcement de ses équipes data. Contexte Vous interviendrez sur la mise en place et l’optimisation d’une plateforme data moderne basée sur Microsoft Fabric, avec des enjeux autour de la centralisation, de la transformation et de la valorisation des données métiers. Missions principales Développer et maintenir des pipelines de données sur Microsoft Fabric Participer à la conception de l’architecture data (Lakehouse, Data Warehouse) Intégrer et transformer des données issues de multiples sources Assurer la qualité, la fiabilité et la performance des flux de données Collaborer avec les équipes Data, BI et métiers Contribuer aux bonnes pratiques Data Engineering (CI/CD, monitoring, documentation) Stack technique Microsoft Fabric Azure Data Factory / Synapse (ou équivalent) Python / SQL Data Lake / Lakehouse Git / CI-CD Profil recherché 3 à 4 ans d’expérience en Data Engineering Première expérience sur Microsoft Fabric ou forte appétence sur l’écosystème Microsoft data Bonne maîtrise de Python et SQL Expérience sur des environnements cloud (idéalement Azure) Bon niveau d’anglais Soft skills Esprit analytique Autonomie Capacité à monter rapidement en compétence Bonne communication avec les équipes métiers

Contexte de la mission Dans le cadre du développement d’une plateforme data au sein d’un grand groupe du secteur de l’énergie, vous intervenez au sein d’une équipe transverse dédiée à l’accélération des usages Data et IA. L’équipe accompagne les différents métiers dans la conception, la mise en œuvre et l’industrialisation de solutions data à grande échelle, dans un environnement moderne (cloud, big data, data gouvernance). Missions Collecter et intégrer des données issues de sources multiples (structurées et non structurées) Concevoir et maintenir des pipelines de données fiables et performants Structurer et modéliser la donnée (logique sémantique, normalisation) Mettre en place des processus de data quality (nettoyage, déduplication, validation) Assurer la qualité et la cohérence des données intégrées dans le Data Lake Participer à la cartographie et à la gestion des référentiels de données Collaborer avec les Data Analysts et Data Scientists pour faciliter l’exploitation des données Contribuer à la gouvernance des données et à la définition du cycle de vie de la donnée Participer à l’amélioration continue des performances et des coûts des traitements Environnement technique SQL (niveau avancé) Spark Python APIs AWS Databricks Outils de data gouvernance (type Collibra – apprécié)

Contexte Dans le cadre du développement d’une Data Marketplace interne pour un grand groupe international du secteur de l’énergie, nous recherchons un Data Engineer expérimenté afin de renforcer une équipe produit data. La plateforme permet de centraliser l’ensemble du parcours data des utilisateurs : découverte de données, data quality, data governance, transformation de données, monitoring de pipelines et BI. Elle sera progressivement déployée auprès de plusieurs milliers d’utilisateurs dans un environnement international. Le consultant interviendra sur la conception et l’évolution des pipelines de données ainsi que sur l’optimisation de la qualité et de la performance des flux. Missions Développement et maintenance de pipelines de données en Python et Scala Conception et évolution d’une architecture data scalable et modulaire Gestion et optimisation des flux de données Mise en place de processus de data quality et validation des données Optimisation des performances des ingestions de données Participation aux rituels agiles et aux revues de code Documentation des choix techniques et de l’architecture Environnement technique Python Scala / Spark Cloud : AWS et Azure AWS : Lambda, Glue, Redshift, Step Functions, DynamoDB Streaming : Kafka, Kinesis, EventHub, EventGrid API REST Git CI/CD Big Data Architecture Connaissance de Langchain ou Langgraph appréciée.

Astrelya est un cabinet de conseil franco/suisse, en très forte croissance depuis sa création en 2017, spécialisé dans la transformation digitale, l’excellence opérationnelle et l’innovation technologique. Ilest composé de 300 experts passionnés. Le cabinet accompagne ses clients sur l’ensemble du cycle de transformation, depuis la phase de cadrage jusqu’à la mise en œuvre opérationnelle, avec une expertise forte en Data/IA, Cloud, DevOps et méthodes agiles. Astrelya se distingue par un modèle fondé sur la proximité, la confiance et une culture humaine forte, qui place les collaborateurs au cœur de la création de valeur. Votre Mission : En tant que Développeur(se) Fullstack Java AWS, vous interviendrez sur des projets innovants, au cœur des enjeux de transformation de nos clients. Vous participerez à la conception, au développement et à l’industrialisation de solutions modernes, robustes et évolutives. Concrètement vous allez : Concevoir et développer des applications Java / Spring Boot performantes. Contribuer au développement front (Angular, React ou Vue.js selon les projets). Participer à la définition des architectures techniques. Travailler en méthodologie agile au sein d’équipes pluridisciplinaires. Collaborer avec nos experts DevOps, Cloud et Data pour industrialiser et optimiser les solutions. Contribuer à l’amélioration de la qualité du code (tests automatisés, revues, bonnes pratiques). Développer en respectant les bonnes pratiques de production logicielle et de CraftsManship. Votre futur environnement technique : Back-end : Java 21, Spring Boot, API REST, microservices Front-end : Angular / React / Vue.js DevOps : CI/CD (GitLab, Jenkins, Azure DevOps…), Docker, Kubernetes Cloud : Azure, AWS ou GCP Modélisation de données : Kafka Qualité : tests unitaires, tests d’intégration, Sonar, automatisation

Le Projet Rejoignez l'élite de la Tech publique au sein d'une structure d'envergure nationale dédiée à l'innovation par la donnée. La mission est capitale : concevoir, sécuriser et maintenir la plateforme technologique qui centralise les données de santé pour faire avancer la recherche médicale en France. 🏥📊 Dans un environnement Agile et ultra-sécurisé, vous intégrez l'équipe Secure Process Environment . Votre terrain de jeu ? Une infrastructure complexe, innovante et 100% automatisée. 🛠️ Votre Stack Technique Infrastructure : Azure, Terraform, Terragrunt, Packer, Ansible. Orchestration : Kubernetes (K8s), Helm. Automation/Scripting : Bash, Python. Outils : Gitlab, Keycloak, Nexus, Jupyter, Spark, PostgreSQL. 🎯 Vos Missions : "Design, Automate & Secure" Infrastructure-as-Code (45%) : Développer et maintenir une infrastructure 100% terraformée sous Azure à grande échelle. Kubernetes & Apps (30%) : Industrialiser le déploiement des composants transverses (Ingress, Keycloak) et des outils data (Jupyter, Spark) via Helm & Docker. Scripting & Outillage (25%) : Créer des utilitaires de check, de déploiement et collaborer avec les Data Engineers pour répondre aux besoins des utilisateurs finaux. Sécurité & Architecture : Participer activement à l'homologation de la plateforme et à l'évolution de l'architecture distribuée. Culture Ops : Documenter vos succès pour un partage de connaissance fluide au sein de l'équipe (12 développeurs passionnés).

Description du poste Dans le cadre du développement de ses plateformes data, l’entreprise recherche un administrateur spécialisé sur des solutions de type CDP et les services de données associés, notamment Private Cloud (PVC), évoluant dans un environnement conteneurisé OpenShift. Rattaché à l’équipe infrastructure ou data platform, le collaborateur intervient sur l’exploitation, l’administration et l’optimisation des plateformes big data, tout en garantissant leur disponibilité, leur performance et leur sécurité. Missions principales L’administrateur est responsable du bon fonctionnement de la plateforme CDP et de ses services data. Il assure l’installation, la configuration et la maintenance des environnements CDP Private Cloud ainsi que des services de données associés. Il prend en charge le déploiement et l’administration des services CDP Data Services (tels que Data Warehouse, Machine Learning ou Data Engineering) en s’appuyant sur l’infrastructure OpenShift. Il surveille en continu les performances de la plateforme et met en place des actions correctives ou d’optimisation afin de garantir un niveau de service optimal. Il participe à la gestion des incidents et des problèmes en analysant les causes racines et en proposant des solutions durables. Il veille à la bonne intégration des composants CDP avec l’écosystème technique existant, notamment les systèmes de stockage, de sécurité et de réseau. Il contribue à l’automatisation des tâches d’administration et de déploiement à travers des scripts ou des outils d’infrastructure as code. Il travaille en étroite collaboration avec les équipes data, DevOps et sécurité afin de faciliter l’usage de la plateforme et d’assurer sa conformité aux standards internes. Responsabilités techniques L’administrateur assure la gestion des clusters CDP Private Cloud (PVC), incluant leur installation, leur montée de version et leur maintenance corrective et évolutive. Il administre les environnements OpenShift utilisés pour héberger les services CDP Data Services et garantit leur bon dimensionnement. Il configure et maintient les services essentiels tels que Hive, Spark, Impala, HDFS et les services Kubernetes intégrés. Il met en œuvre les politiques de sécurité, notamment l’authentification (Kerberos, LDAP), la gestion des accès et le chiffrement des données. Il supervise les ressources système (CPU, mémoire, stockage) et optimise leur utilisation. Il participe à la mise en place de solutions de supervision et de logging adaptées à l’environnement. Compétences requises Le candidat possède une solide expérience sur la plateforme CDP, en particulier en environnement Private Cloud. Il maîtrise les concepts et l’administration d’OpenShift et des environnements Kubernetes. Il dispose de bonnes connaissances des composants big data tels que Hadoop, Spark, Hive et des outils associés. Il comprend les problématiques liées aux architectures distribuées, à la haute disponibilité et à la performance des systèmes. Il est à l’aise avec les environnements Linux et les outils d’automatisation (shell scripting, Ansible ou équivalent). Une bonne compréhension des enjeux de sécurité des données est attendue. Profil recherché Le poste s’adresse à un profil autonome, rigoureux et capable d’intervenir dans des environnements techniques complexes. Le candidat fait preuve d’un bon esprit d’analyse et de synthèse, et sait travailler en équipe avec des interlocuteurs variés. Une expérience dans un contexte DevOps ou data platform constitue un atout important. Environnement technique CDP Private Cloud (PVC) CDP Data Services (Data Warehouse, Data Engineering, Machine Learning) OpenShift / Kubernetes Hadoop ecosystem (HDFS, Hive, Spark, Impala) Linux (RedHat / CentOS) / Outils de monitoring et de logging

Dans le cadre du projet stratégique « Risques Climatiques & Physiques », le client souhaite mettre en place une solution permettant d’ingérer, agréger et exposer des données issues de sources multiples afin de produire des rapports métiers liés à la surveillance du risque de crédit. La mission consiste à intervenir sur un environnement basé sur Google Cloud Platform, au sein d’une équipe experte, avec des enjeux forts de performance, de fiabilité et de qualité des données. Le projet étant à forte visibilité, un haut niveau d’expertise technique est attendu. Une connaissance du domaine du risque de crédit constitue un plus. Objectifs et livrables : -Développer et intégrer des solutions Python / Spark sur GCP -Mettre en place et optimiser les traitements de données (ingestion, transformation, exposition) -Exploiter les services GCP (BigQuery, Dataproc, Composer, Cloud Functions, Cloud Run Jobs, GCS) -Participer à l’industrialisation des pipelines Data -Contribuer aux pratiques DevOps (CI/CD, déploiement, automatisation) -Garantir la qualité, la performance et la fiabilité des traitements -Collaborer avec les équipes projet dans un environnement Agile Profil recherché : -Le client recherche un développeur Python expérimenté, disposant d’une forte expertise sur Google Cloud Platform et sur les environnements Big Data. Le profil doit être capable d’intervenir sur des pipelines complexes, avec une bonne maîtrise de Spark et des services data GCP. -Une capacité à travailler en équipe, une bonne communication et une autonomie dans la gestion des sujets techniques sont attendues.

Bonjour à tous, notamment aux Senior Python Engineers orientés Data & Distributed Systems 🐍☁️ (AWS / Spark / Ray / Pandas / Performance) ⚠️ Seniorité de 8 ans minimum 🔎 Je cherche un Senior Software Engineer Python pour rejoindre un programme stratégique au sein d’un grand acteur de la finance quantitative, autour de la valorisation de données financières massives (tick data L3). Dans ce contexte très exigeant, l’objectif est de rendre exploitables des datasets ultra-volumineux pour des chercheurs, en construisant des solutions de feature engineering distribuées tout en conservant une expérience utilisateur simple type pandas. 💻 Ce que tu vas faire : - Traduire des workflows Python/pandas en traitements distribués (Spark, Ray…) - Optimiser des traitements sur des volumes massifs de données (performance, scalabilité) - Concevoir des abstractions simples pour les data scientists (UX orientée chercheurs) - Participer aux choix d’architecture (Spark / Ray / Iceberg…) - Travailler sur des datasets complexes (données temporelles, dépendances, déséquilibres) - Collaborer étroitement avec des équipes ML Platform et des chercheurs quant - Contribuer à une plateforme data scalable et industrialisée sur AWS 🎯 Stack & environnement : Python (expert) / Pandas / NumPy / Spark / Ray / AWS (S3, EMR, SageMaker) / Iceberg / Data Lake / Feature Engineering / HPC (bonus) / Kubernetes (EKS en réflexion) 📍 Mission : Paris 💰 TJM : Selon profil 📅 Démarrage : ASAP

Contexte Une équipe centralisée gère la plateforme mais de nombreuses équipes (Feature Team organisées par domaine de données) travaillent sur la Data Platform . Toutes les équipes fonctionnent en mode agile. Un Tech Lead est recherché pour une Feature Team du client . La maîtrise de l'outil DATABRICKS est un prérequis. Missions Conception, développement et maintenance des pipelines de données Cadrage technique Garant de la mise en production des traitements au sein de la plateforme Optimisation du code pour chaque traitement, maîtrise de l'usage Databricks au regard des coûts Maîtrise de l'architecture médaillon de Databricks, des problématiques de qualité de données, du DevOps Développement sous Databricks (Python / SQL / Spark) Force de propositions techniques Capacité à encadrer / coacher des data engineers juniors, challenger la solution et assurer un rôle de tech lead dans l'équipe

Contexte OnSpark est un cabinet spécialisé dans la GMAO/EAM et l'intégration SI, en forte croissance (40 collaborateurs, CA 3,3 M€). Dans le cadre de la diversification de son offre vers la Data et l'Intelligence Artificielle, nous recherchons un Expert / Lead Tech Big Data pour accompagner nos clients grands comptes. Vous interviendrez en tant que référent technique au sein d'environnements Big Data on-premise matures (Cloudera CDP), avec de fortes exigences en matière de performance, de sécurité (ISO 27001, RGS) et de qualité. Responsabilités Définir les orientations techniques de la plateforme Big Data Encadrer et accompagner les équipes Data Engineering Optimiser les performances des traitements distribués (Spark, Hadoop) Assurer une veille technologique active et contribuer à la roadmap technique Garantir la sécurité, la fiabilité et l'évolutivité de la plateforme

Développeur Python / GCP Excellente maitrise : BigQuery, Dataproc, Composer, Cloud Functions, Cloud Run Jobs, et GCS. - Bonne maitrise de la partie DevOps : XLD, Terraforme, jenkins - Bonne communication, autonomie et fluidité du travail en équipe. Contexte / Objectifs : Mise en place du projet "Risques Climatiques & Physiques" une solution visant à ingérer, agréger et exposer des données de sources multiples afin de produire les rapports Métier sur le scope de la surveillance du risque de crédit. La mission consiste à participer à la réalisation du projet basée sur Google Cloud Platform, à forts enjeux au sein d'une équipe engagée et experte sur le sujet. Une expérience dans le domaine du Risques de crédit est appréciée. Le projet étant stratégique et à forte visibilité, les critères d'expertises techniques décrites dans cet Appel d'Offre sont à respecter impérativement. Objectifs et livrables Expertises spécifiques : Développement et Intégration de solutions Python Spark avec les services data et compute de Google Cloud Platform Excellente maitrise : BigQuery, Dataproc, Composer, Cloud Functions, Cloud Run Jobs, et GCS. - Bonne maitrise de la partie DevOps : XLD, Terraforme, jenkins - Bonne communication, autonomie et fluidité du travail en équipe.

Chaque moment compte. Surtout ceux que vous vivez à fond. Bienvenue chez Consort Group. Consort Group, accompagne depuis plus de 30 ans les entreprises dans la valorisation de leurs données et infrastructures. Elle s'appuie sur deux leaders, Consortis et Consortia, et place l’humain et la responsabilité sociétale au cœur de ses valeurs. C’est votre future équipe Les équipes de ConsortIA , sont des acteurs de référence de la Data, du Développement Digital et de l'Ingénierie Média. En combinant ces expertises, nous concevons des systèmes d’information augmentés, intégrés, agiles et sécurisés, au service de la performance et de la transformation numérique de nos clients. Data Engineer Teradata et Big Data H/F C’est votre mission Vous êtes passionné·e par [XXX] ? Ce poste est fait pour vous. En tant que Data Engineer Teradata et Big Data , vous êtes responsable du [XXX] et [XXX] de notre écosystème : Côté build : Concevoir et développer des solutions DataMart / Datalab sur environnement Teradata Mettre en œuvre les chaînes ETL via BTEQ / TPT Développer des traitements de collecte, transformation et stockage de données sur plateforme Big Data Construire des agrégats et indicateurs (scores, datamarts) à destination des équipes Data Science Développer des pipelines de données sous environnements Spark / Hadoop / HDFS Participer à la modélisation et au design des solutions de données (bonnes pratiques Data Engineering) Industrialiser les traitements dans un contexte Unix / SQL / Teradata Utiliser les outils collaboratifs (Git, Jira, Confluence, MEGA) dans un cadre Agile Côté run : Assurer le support et la maintenance des chaînes de production Data Surveiller et optimiser les traitements batch (ordonnancement via Control-M ) Gérer les incidents de production sur les flux Teradata / Big Data Analyser et corriger les anomalies sur les traitements SQL / ETL Garantir la disponibilité et la performance des jobs data Participer à l’amélioration continue des pipelines (fiabilisation, optimisation) Assurer le support aux équipes Data Science sur les environnements de données Maintenir la documentation technique (Confluence, MEGA) Suivre les bonnes pratiques d’exploitation dans un contexte DevOps C’est votre parcours Vous avez au moins 5 ans d’expérience dans des environnements DevOps exigeants. Vous aimez concevoir et industrialiser des pipelines de données robustes sans jamais cesser d’innover. Vous cherchez un cadre où vos idées comptent et où la technique va de pair avec la collaboration. C’est votre expertise : Environnement Linux / Unix dans un contexte Agile et DevOps Maîtrise des technologies Data : Teradata, SQL, BTEQ, TPT Écosystème Big Data : Spark, Hadoop, HDFS, Python Outils d’exploitation et d’ordonnancement : Control-M Outils collaboratifs : Git, Jira, Confluence, MEGA Connaissance de solutions ETL / Data : Datastage Bonne compréhension des architectures de données et pipelines industrialisés C’est votre manière de faire équipe : Rigueur et sens de la qualité dans les traitements de données Esprit d’analyse et capacité de résolution de problèmes complexes Collaboration forte avec équipes Data, IT et métier Autonomie et sens des responsabilités en environnement de production Communication claire et esprit d’équipe Adaptabilité dans des environnements techniques évolutifs (DevOps / Big Data) Culture de l’amélioration continue et du delivery fiable C’est notre engagement Chez Consort Group, vous êtes un·e expert·e qu’on accompagne pour que chaque mission devienne une étape qui compte. Un onboarding attentif et humain Une vraie proximité managériale Des formations accessibles en continu Des engagements concrets : inclusion, égalité, solidarité Un package RH complet : mutuelle, carte TR, CSE, prévoyance Une culture du feedback et des projets qui font sens C’est clair Le process de recrutement : Un premier échange téléphonique avec notre team recrutement Un entretien RH ainsi qu’un échange métier avec un.e ingénieur.e d’affaires Un test ou un échange technique avec un.e de nos expert.es Un dernier point avec votre futur.e manager ou responsable de mission Et si on se reconnaît : on démarre ensemble C’est bon à savoir Lieu : Paris Contrat : CDI Télétravail : Hybride Salaire : De 55K € à 62K € (selon expérience) brut annuel Famille métier : Data Ce que vous ferez ici, vous ne le ferez nulle part ailleurs. Ce moment, c’est le vôtre.