Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark

LeadTech DataOps Niort Ordonnanceur (Control M) Confirmé (***) Monitoring (Dynatrace/Grafana/Prometheus) Confirmé (***) ETL Powercenter / ELT DBT / Airflow Composer Élémentaire (*) Informatica MDM / IDQ Confirmé (***) Couche échange (Tibco / Kafka / Gateway) Confirmé (***) SQL (Oracle, MySQL, PostgreSQL) Élémentaire (*) No-SQL (Mongo DB) Avancé (**) Hadoop (HDFS, Spark) Avancé (**) Compétence Niveau Souhaité Google Cloud Platform (Big Query - Cloud Run) / Terraform) Élémentaire (*) Outil de consommation Tableau Élémentaire (*) Outil de consommation Dataiku Élémentaire (*) Déploiement continu (Gitlab, Openshift, CICD) Confirmé Le Data Office de mon client définit les orientations stratégiques dans le domaine de la donnée et assure l'homogénéité et la performance de l'écosystème Data. L'équipe Data OPS de Services Delivery Data est responsable de l'unification des pratiques d'exploitation, du déploiement continu (Gitlab Cloud & On-Prem) et de l'industrialisation des usages. Objectifs et Livrables Le prestataire retenu devra contribuer aux objectifs suivants et fournir les livrables associés : Objectif Livrable Collaboration et versions Détermination des versions des composants en collaboration avec les équipes de conception et les release manager. Disponibilité et stabilité Garantie de la disponibilité et de la stabilité des environnements (développement, test, déploiement continu). Supervision et diagnostic Documentation (ou auto-documentation) des dépendances pour la supervision et le diagnostic. Analyse des incidents Rapports d'analyse des causes racines des incidents et suivi des plans de remédiation. Gestion des configurations Application et documentation des configurations spécifiques à chaque environnement. Qualité et risques Vérification de la complétude des livrables (tests, documentation, conformité) et identification des risques de mise en production. Exigences Non Fonctionnelles (ENF) Participation à la définition des ENF (sécurité, performance, scalabilité, disponibilité, etc.). Suivi et garantie des ENF Suivi des ENF des applications du SI et garantie de leur implémentation en projet et en production. Traçabilité des changements Mise en place et suivi de la traçabilité des changements de configuration et de versions. Automatisation et maintenance Automatisation des déploiements et maintenance des pipelines CI/CD. Compétences Requises Le profil recherché doit démontrer une expérience significative et des compétences avérées. Savoir-Être (Soft Skills) ● Qualité de service et communication. ● Travail collaboratif avec traçabilité des actions. ● Leadership, réactivité, disponibilité, autonomie, force de proposition. ● Bonne connaissance des contraintes de production. ● Expérience significative en DevOps et Release Management. Compétences Techniques (Hard Skills) Objectifs et livrables Ordonnanceur (Control M) Confirmé (***) Monitoring (Dynatrace/Grafana/Prometheus) Confirmé (***) ETL Powercenter / ELT DBT / Airflow Composer Élémentaire (*) Informatica MDM / IDQ Confirmé (***) Couche échange (Tibco / Kafka / Gateway) Confirmé (***) SQL (Oracle, MySQL, PostgreSQL) Élémentaire (*) No-SQL (Mongo DB) Avancé (**) Hadoop (HDFS, Spark) Avancé (**) Compétence Niveau Souhaité Google Cloud Platform (Big Query - Cloud Run) / Terraform) Élémentaire (*) Outil de consommation Tableau Élémentaire (*) Outil de consommation Dataiku Élémentaire (*) Déploiement continu (Gitlab, Openshift, CICD) Confirmé

CONTEXTE : L’équipe est composée d’un product owner, d’un data steward et de deux autres data ingénieurs. Le stack technique est principalement constitué de Python, Spark, SQL pour les traitements de données, Airflow pour l’orchestration et Cloud Storage et Delta lake pour le stockage. La stack inclut aussi les services BigQuery, Dataproc, PubSub et Cloud Storage de la Google Cloud Platform et Terraform et Terragrunt pour la gestion de l’infrastructure MISSIONS : 1. Collecter et centraliser les différentes sources de données non homogènes 2. Assurer la conformité et la sécurité des données 3. Participer aux initiatives de gouvernance des données • Participer activement aux différentes phases de conception, de planification et de réalisation des tâches avec l’équipe • Construire et maintenir de pipelines data robustes et scalables • Accompagner les membres de l’équipe dans l’exploitation et le requêtage des données • Organiser et structurer le stockage des données • Mettre en place et maintenir des infrastructures scalables capable de répondre aux besoins et à l’accroissement rapide du volume de données • Construire et maintenir les workflows de la CI/CD • Partager avec les autres data ingénieurs pour appliquer les bonnes pratiques en vigueur • Assurer l’évolutivité, la sécurité, la stabilité des environnements • Participer aux différentes instances des data ingénieurs • Contribuer et veiller à la mise à jour de la documentation • Faire de la veille technologique active dans le domaine Expertises demandées pour la réalisation de la prestation : • Au moins 5 ans d’expérience en tant que Data Ingénieur dans un environnement data • Compétences solides en data : structures de données, code, architecture • Expériences dans la conception et la réalisation de pipelines data • Expériences dans un environnement du cloud Google (GCP) • Expériences intégrant BigQuery et Dataplex Universal Catalog • Expériences intégrant les langages Python et SQL • Expériences intégrant Spark • Expériences intégrant delta lake • Expériences intégrant Terraform et Terragrunt • Expériences intégrant Gitlab et Gitlab CI/CD • Expériences intégrant les méthodologies Agile : Scrum ou Kanban • Capacité à vulgariser et à communiquer sur des aspects purement techniques

Dans le cadre du projet DataBoost , nous recherchons un Analytics Engineer pour participer à la migration des rapports SAP Business Objects vers Power BI . Ce projet vise à décommissionner SAP BO en industrialisant l’intégration des données dans une architecture lakehouse moderne (Bronze → Silver → Gold), et à construire un référentiel analytics centralisé pour l’ensemble des datamarts. Vos missions consisteront à : Concevoir et développer des pipelines d’ingestion de données via Azure Data Factory (POC avec Airflow). Développer des pipelines d’intégration de données en PySpark (Spark Declarative Pipeline). Transformer et optimiser les flux de données en SQL avec le framework DBT . Développer de nouveaux indicateurs de qualité de données sur DBT. Garantir la qualité du code et le respect des normes de développement. Implémenter des tests unitaires pour assurer la fiabilité des solutions. Maintenir les outils de monitoring pour suivre les performances. Ce poste est idéal pour un professionnel souhaitant contribuer à une transformation majeure des outils BI et travailler sur une architecture data moderne .

Contexte Au sein de la Direction des Systèmes d’Information d’un grand groupe, vous intervenez dans le cadre d’un programme stratégique de transformation visant la modernisation d’une plateforme de données à grande échelle. L’environnement est multi-équipes et multi-sites, avec des enjeux forts de performance, de montée en charge, de fiabilité et d’alignement avec les besoins métiers. Mission principale Assurer le pilotage transverse d’un programme de transformation technique portant sur la migration et l’évolution de plusieurs plateformes data, en garantissant la cohérence globale, la maîtrise des risques et la fluidité des interactions entre équipes. Responsabilités Pilotage de programme Planifier et coordonner les différents chantiers techniques Synchroniser les équipes impliquées (data, cloud, architecture, exploitation, sécurité…) Assurer le suivi opérationnel et le reporting à différents niveaux Contribuer au cadrage et au suivi budgétaire Garantir le respect de la trajectoire globale de transformation Gestion des projets de migration Accompagner la migration de plateformes data existantes vers de nouvelles solutions Superviser l’évolution d’une plateforme Data Lake et d’architectures orientées microservices Veiller à la performance, la scalabilité et la robustesse des solutions Coordination des équipes Faciliter la collaboration entre équipes techniques et managers Identifier rapidement les risques, blocages et écarts Proposer des actions correctives adaptées Soutenir la montée en maturité d’équipes récentes Suivi et gouvernance Définir et piloter des indicateurs de performance (KPI) pertinents Produire des tableaux de bord d’avancement Assurer la visibilité globale du programme auprès du management Sécuriser la trajectoire globale plutôt que l’optimisation locale Environnement technique Plateformes de données et Data Lake Traitements batch et temps réel Architectures microservices Technologies Big Data (ex. Spark, Scala) Technologies backend (ex. Java) Environnements cloud ou hybrides Outils de streaming (ex. Kafka) Profil recherché Compétences techniques Solide expérience en pilotage de projets techniques complexes Bonne compréhension des architectures data et cloud Expérience des programmes de migration ou de transformation IT Capacité à interagir avec des experts techniques variés Compétences comportementales Excellente communication et leadership transversal Forte autonomie et capacité d’adaptation Esprit d’analyse et de synthèse Orientation résultats et gestion des risques Capacité à entrer rapidement dans des sujets complexes

Nous recherchons un Data Engineer expérimenté afin de contribuer à la fiabilité, l’automatisation et la scalabilité d’un Lakehouse data. Vous interviendrez sur la conception et l’orchestration de pipelines, l’optimisation des traitements et l’évolution de l’architecture data dans un environnement moderne basé sur AWS. Vos missions : Conception & orchestration Concevoir, développer et maintenir des pipelines Airflow pour l’ingestion et la transformation des données Mettre en place des frameworks et mécanismes d’automatisation Garantir la robustesse, la modularité et la résilience des workflows Traitement & gestion des flux Développer des composants pour le traitement de fichiers plats (CSV, JSON, Parquet…) et leur exposition via API Consommer et transformer des flux Kafka avec Spark Optimiser la performance et le partitionnement des traitements sur de gros volumes Collaboration analytique Collaborer avec les Data Analysts pour concevoir des agrégats métiers Créer et maintenir des vues Athena utilisées dans Tableau Garantir la cohérence, la fraîcheur et la traçabilité des données Évolution du Lakehouse Participer à la conception et à l’amélioration continue de l’architecture Créer et maintenir des tables de référentiel (clients, contacts, événements, interactions…) Implémenter ces référentiels avec Iceberg / Hudi Supervision & DataOps Assurer la supervision quotidienne des pipelines Mettre en place alerting et monitoring Produire et maintenir la documentation technique

Contexte: - Equipe de 20 experts repartis sur 5 poles d'activite (Solutions Engineering, Automation Engineering, Infrastructure Engineering, Product Office, Client Services). - 15+ plateformes de Data Science / MLOps en production (Cloud et on premise) / 600+ utilisateurs Data Scientists - Plusieurs infrastructures, plateformes et services d'IA Generative en production a l'attention de tous les métiers du Groupe. - Un GRID de GPU on premise utilise pourle training et l'inference. - Pratiques DevSecOps / GitOps / MLOps / LLMOps - Automatisation autour des APIs des infrastructures, des plateformes (kubernetes/openshift) et des produits. Prestations demandées Les missions principales : - Participation à l’élaboration technique et fonctionnelle du produit IA qui sera attribué en lien étroit avec les équipes Solutions Engineering (veille technologique IA) et DevSecOps (industrialisation). - Garantie du respect des contraintes de sécurité, de conformité et de confidentialité applicables aux standards de production IT du groupe BNP Paribas (eg. observabilité, auditabilité, traçabilité, contrôle des accès). - Définition et implémentation des mécanismes techniques permettant aux métiers ou à leur IT d’opérer leur propre gouvernance de votre produit. - Établissement, maintient et agrémentation de la feuille de route technique du produit afin d’apporter de la valeur de manière continue à celui-ci en lien avec les besoins de vos clients métiers. - Accompagnement au quotidien des utilisateurs et décideurs métiers et IT du groupe BNP Paribas qui utilisent votre produit et s’assurer avec eux de la mise en application des bonnes pratiques d’usage de celui-ci au sein de leurs équipes. - Supervision des opérations critiques (changement, déploiement, mise à jour) avec une vision de bout en bout des impacts sur les différents services gérés par l’équipe. - Organisation et documentation de la gestion des incidents: analyse de root-causes, coordination inter-équipes. - Capacité à être moteur dans l’amélioration des processus internes et l’alignement avec les autres équipes du domaine IA & Données. - Capacité à être le représentant de la relation technique avec les fournisseurs qui contribuent à l’élaboration de votre produit (éditeurs logiciels, équipes d’industrialisation, équipes d’infrastructures). Environnement Technique : - Docker / Kubernetes / OpenShift - Frameworks de calculs distribues (Spark, Ray, Dask, OpenMPI) - GPU Computing (CUDA, Rapids, NIMs, Nemo) - Environnements de Data Science Python, Conda, R (opt.) - Programmation en python - Shell scipting - MLFlow / KubeFlow - Outils de CI/CD DevSecOps/GitOps : hashicorp Vault, gitlab, gitlab-CI, Artifactory, ArgoCD, Argo Workflow Environnement de travail : - Team Play avant tout! - Curiosité sans limites!! … - Autonomie, rigueur, qualité. - Sens du service client. - Patience & bienveillance. - Appétence naturelle pour le partage de connaissances. - Automatisation dans le sang. - Anglais courant (fournisseurs et clients en dehors de France, base documentaire entièrement en Anglais) - Laptops au choix (MacOS, Windows)

Teksystems recherche pour un de ses client grand compte un Tech Lead Databricks ( H/F) . Missions principales1. Ingestion & Traitement de Données Concevoir et mettre en œuvre des pipelines d’ingestion de données en temps réel via Kafka . Assurer le traitement, la préparation, la qualité et la structuration des données sur la plateforme Databricks Data Intelligence Platform . Développer et optimiser les jobs de transformation avec Spark (Scala, PySpark si nécessaire). 2. Modélisation & Architecture Concevoir et maintenir des modèles de données robustes , scalables et alignés avec les besoins métiers. Définir une architecture technique viable, performante et pérenne , en lien avec les standards Data de l’entreprise. Encadrer les choix technologiques et identifier les solutions les plus adaptées aux cas d’usage. 3. Leadership Technique & Coordination Animer les ateliers techniques avec l’équipe Data (squad, data engineers, data analysts…). Assurer la gestion des risques techniques , anticiper les points de blocage et sécuriser la roadmap. Fournir un guidage technologique basé sur une expertise éprouvée des projets DATA. Accompagner la squad dans les bonnes pratiques de développement, de CI/CD et de gouvernance Data. 4. Méthodologie & Qualité Travailler dans un cadre Agile (Scrum / Kanban), avec participation active à la planification, aux revues et aux rétrospectives. Garantir la qualité des livrables : documentation, code propre, tests, performance.

Compétences techniques : Python / Pyspark / SQL - Expert - Impératif Databricks - Expert - Impératif Datafactory - Confirmé - Important Modélisation BI - Confirmé - Souhaitable Description détaillée Contexte : Le projet Data-RH vise à centraliser et modéliser les données issues des systèmes dans un modèle unifié, permettant des analyses transverses et une exploitation optimale des données métier. Environnement technique : Azure Data Factory, Databricks, Python, PySpark, SQL, Azure DevOps et Power BI. Missions : - Concevoir et développer des pipelines d’ingestion de données via Azure Data Factory. - Créer et optimiser des flux de transformation de données en PySpark/Python. - Maintenir et développer de nouveaux indicateur de qualité de données - Mettre en œuvre et industrialiser les pipelines CI/CD avec Azure DevOps. - Participer au refactoring du code existant pour améliorer sa performance et sa maintenabilité. - Garantir la qualité du code et veiller au respect des normes de développement au sein de l’équipe. - Implémenter des tests unitaires et assurer la fiabilité des solutions. - Mettre en place des solutions de monitoring et de supervision pour l’application Data-RH. Profil recherché : - Maîtrise avérée de SQL, Python, PySpark et Spark. - Expérience confirmée sur l’écosystème Microsoft Azure (Data Factory, Databricks, DevOps). - Bonne connaissance de Git et des pratiques DevOps. - Sens de la communication, force de proposition et capacité à travailler en équipe. - Rigoureux, attaché aux bonnes pratiques de développement et à la qualité du code. Définition du profil : Il est garant du bon fonctionnement et de la disponibilité des données dont il a la responsabilité. Il assure la prévention des dysfonctionnements des données et contribue à la bonne utilisation de celles-ci

Dans le cadre de l’évolution et de l’industrialisation de sa plateforme Data multi-cloud, un acteur majeur du secteur de l’énergie recherche un Tech Lead Data senior . La mission s’inscrit au sein de la plateforme Data Groupe avec des enjeux forts de : Scalabilité Gouvernance et qualité des données Industrialisation des pipelines Fiabilité en production 🎯 Missions principales 🔹 Leadership technique Être le référent technique de la plateforme Data Définir et faire évoluer l’architecture Data Encadrer et accompagner les Data Engineers Participer aux choix technologiques et aux orientations stratégiques 🔹 Build – Industrialisation Concevoir et mettre en œuvre un Data Lake Définir, développer et automatiser les pipelines de données Mettre en place les bonnes pratiques CI/CD Garantir la performance, la robustesse et la scalabilité 🔹 Run – MCO Assurer la supervision des traitements Gérer les incidents et optimiser les processus Maintenir les environnements techniques Automatiser les tâches récurrentes 🛠 Environnement technique☁ Cloud AWS (Redshift, RDS, Lambda, SQS, SNS, API Gateway…) GCP Contexte multi-cloud 💾 Data & Big Data SQL / NoSQL Data Warehouse Spark / Hadoop / HDFS Airflow ⚙ Dev / DevOps Python APIs (FastAPI / Flask) Docker Terraform GitLab CI/CD Linux

Nous recherchons un Data Engineer Senior pour intervenir au sein d’une plateforme Data stratégique dans un environnement numérique à forte volumétrie. Vous intégrerez une équipe composée d’un Product Owner, d’un Data Steward et de Data Engineers, au cœur d’une architecture cloud moderne orientée scalabilité, gouvernance et performance. Vos missions : Participer aux phases de conception et de planification des développements data Concevoir et maintenir des pipelines data robustes et scalables Collecter et centraliser des sources de données hétérogènes Structurer et optimiser le stockage des données Mettre en place des infrastructures scalables sur Google Cloud Platform Construire et maintenir les workflows CI/CD Garantir la sécurité, la conformité et la stabilité des environnements Contribuer aux initiatives de gouvernance des données Documenter les développements et partager les bonnes pratiques Accompagner les équipes internes dans l’exploitation des données Environnement technique : Google Cloud Platform (BigQuery, Dataproc, PubSub, Cloud Storage) Dataplex Universal Catalog Python SQL Spark Airflow Delta Lake Terraform / Terragrunt Gitlab / Gitlab CI/CD Méthodologies Agile (Scrum ou Kanban) Mission en environnement structuré avec forte exigence de qualité, de performance et de conformité réglementaire.

Nous recherchons un(e) LeadTech DataOps – Référentiels pour une mission au sein d’un grand groupe du secteur assurance / services, dans un environnement Data Office / DataOps structuré. La mission s’inscrit dans une démarche d’industrialisation des usages Data, d’unification des pratiques d’exploitation et d’amélioration continue des environnements de déploiement. LeadTech DataOps Référentiels Contexte de mission L’équipe en charge du DataOps / Services Delivery Data pilote l’homogénéité des pratiques d’exploitation, le déploiement continu (cloud et on-prem) et la fiabilisation des usages autour des référentiels de données. Le/la consultant(e) interviendra en interface avec les équipes de conception, les release managers et les équipes de production. LeadTech DataOps Référentiels Objectifs principaux Déterminer les versions des composants en coordination avec les équipes de conception et release management Garantir la disponibilité et la stabilité des environnements (dev, test, CI/CD) Documenter les dépendances pour la supervision et le diagnostic Analyser les incidents (RCA) et suivre les plans de remédiation Gérer et documenter les configurations par environnement Vérifier la complétude des livrables (tests, documentation, conformité) et identifier les risques avant mise en production Participer à la définition et au suivi des exigences non fonctionnelles (sécurité, performance, scalabilité, disponibilité) Assurer la traçabilité des changements de configuration et de versions Automatiser les déploiements et maintenir les pipelines CI/CD. LeadTech DataOps Référentiels Profil recherché Expérience significative en DevOps / Release Management Bonne connaissance des contraintes de production Leadership, autonomie, réactivité, force de proposition Bon niveau de communication et capacité à travailler en équipe avec traçabilité des actions. LeadTech DataOps Référentiels Compétences techniques attendues Control-M Monitoring : Dynatrace / Grafana / Prometheus Informatica MDM / IDQ Couche d’échange : Tibco / Kafka / API Gateway NoSQL : MongoDB Hadoop : HDFS / Spark CI/CD & déploiement continu : GitLab / OpenShift API Management / REST Jira / Confluence / Easyvista / Google Workspace

Cette mission s'inscrit dans le cadre d'un programme d'envergure visant à transformer et moderniser nos processus de gestion des demandes de crédit et de validation des limites, notamment via l'application Crédit App. Face à de nombreux projets d'évolution prévus (PROGRAM SPARK, remédiation technique) et à une volonté forte des métiers de revoir le process crédit, il est crucial de disposer d'une plateforme d'exécution moderne, sécurisée et hautement automatisée. L'intégration de nos applications .NET sur OpenShift, couplée à l'adoption de processus DevSecOps robustes, est un levier stratégique pour atteindre ces objectifs ambitieux. Vous interviendrez pour : Assurer une prise de connaissance approfondie de l'existant applicatif et infrastructurel. Collaborer étroitement avec les développeurs et business analystes pour la définition et l'estimation des évolutions, en apportant votre expertise sur les aspects conteneurisation, automatisation et sécurité. Contribuer à la modernisation et à l'optimisation du déploiement des traitements et écrans C#/.NET sur la plateforme OpenShift, en intégrant les meilleures pratiques DevSecOps. Participer à la remédiation technique et à l'implémentation des nouvelles exigences métier en assurant leur déploiement rapide, sécurisé et intégré sur OpenShift. Technologies clés utilisées : C#/.NET API Rest SQL Oracle Plateforme : OpenShift (Docker, Kubernetes, ou équivalents) DevSecOps : Azure Pipelines, SonarQube, Checkmarx, XL Deploy, XL Release, Artifactory, Jenkins Votre Mission Principale : En tant qu'expert OpenShift et DevSecOps, vous serez le référent sur l'intégration et l'optimisation de nos systèmes de déploiement et de sécurité. Votre rôle sera central pour assurer la réussite de cette transition, l'automatisation complète de nos pipelines et le renforcement de la sécurité de nos applications. Vos Responsabilités Clés : Déploiement et exploitation sur OpenShift : Prendre en charge le déploiement, la configuration et l'exploitation de nos applications .NET sur OpenShift. Conception d'infrastructure de conteneurisation : Définir les besoins spécifiques de nos applications en matière de conteneurisation, adapter les paramétrages de déploiement OpenShift en conséquence et appliquer ces configurations. Mise en place et optimisation DevSecOps : Conception, mise en place, revue et optimisation des processus DevSecOps, couvrant l'ensemble du cycle de vie applicatif. Si besoin, adapté notre utilisation des outils tels que SonarQube (qualité du code), Checkmarx (sécurité statique du code), Azure Pipelines (CI/CD), XL Deploy et XL Release (déploiement et orchestration). Collaboration transverse : Être le point de contact privilégié avec les différentes équipes expertes de l'entreprise (production applicative, DevOps, réseau, sécurité, etc.) pour garantir une intégration fluide, sécurisée et performante. Documentation technique : Assurer la création et la mise à jour de la documentation technique exhaustive décrivant les architectures, les processus de déploiement, les pipelines DevSecOps et les configurations mises en place.

Prestations demandées RESPONSABILITES - Conception et implémentation des pipelines de données : • Concevoir et développer des pipelines de données automatisés pour collecter, charger et transformer les données provenant de différentes sources (internes et externes) dans le Data Hub puis pour les transformer en Data Product Data Hub, Data Science ou Data Viz (Power BI). • Optimiser les pipelines de données pour garantir des performances élevées, une faible latence, et une intégrité des données et des traitements tout au long du processus. • Travailler avec les équipes data science et métiers pour comprendre leurs besoins en données et en traitements, et adapter les pipelines en conséquence. - Industrialisation et automatisation des flux de données et des traitements : • Mettre en place des processus d’industrialisation des modèles de machine learning et des flux de données, en garantissant la scalabilité et la fiabilité des pipelines en production. • Automatiser la gestion et le traitement des données à grande échelle, en veillant à réduire les interventions manuelles tout en assurant une supervision proactive des performances et des anomalies. • Collaborer étroitement avec les data scientists et MLOps pour assurer une transition des projets de l’exploration à la production, en intégrant les modèles dans des pipelines automatisés. - Gestion des données et optimisation des performances : • Optimiser les performances des requêtes et des pipelines de traitement des données, en utilisant les meilleures pratiques en matière de gestion des ressources et d’architecture de stockage (raw, refined, trusted layers). • Assurer une surveillance continue de la qualité des données et mettre en place des contrôles de validation pour maintenir l’intégrité des jeux de données. - Sécurité et gouvernance des données : • Mettre en œuvre des solutions de sécurisation des données (gestion des accès, cryptage, audits) pour garantir la conformité avec les réglementations internes et externes. • Travailler en collaboration avec le Data Office pour assurer l’alignement avec les politiques et processus définis. • Maintenir la documentation technique des pipelines et des flux de données, en assurant la traçabilité et la gestion des métadonnées. COMPETENCES - Expérience confirmée en ingénierie des données : Solide expérience dans la conception, la mise en œuvre et l’optimisation de pipelines de données. - Maîtrise des technologies de traitement de données : Expertise dans l’utilisation d’outils et technologies tels que ELT, Spark, SQL, Python, Dataiku, et la gestion de data warehouses et data hubs. - Compétence en sécurité et gouvernance des données : Connaissance des enjeux de sécurité, de conformité réglementaire (GDPR), et de gouvernance des données, avec une capacité à implémenter des solutions adéquates. - Compétences en automatisation et industrialisation : Capacité à automatiser et industrialiser les flux de données et les traitements afférents, en assurant la transition fluide des projets data science vers la production. - Maîtrise de l’anglais : La maîtrise de l’anglais est indispensable pour interagir avec des parties prenantes

Organisation Dans le cadre de ses activités liées au traitement de données volumineuses, une organisation recherche un profil en développement Data, Python, SQL, Shell, Spark (+ de 5 ans d'expérience) pour l’accompagner dans la gestion d'une plateforme Hadoop. Objectif de la mission Réaliser et maintenir les développements nécessaires à l'alimentation de la plateforme Hadoop, notamment la mise en place d'extractions et l'accompagnement des utilisateurs. Description de la mission Le candidat, rattaché au responsable en charge du traitement de données volumineuses, sera principalement chargé de : Prendre en charge l'évolution des flux de données et reprendre les développements existants pour leur alimentation, en faisant évoluer ceux-ci selon les besoins. (Stack technique : Hadoop Cloudera, Hive, Impala, Python, Shell, Linux, SQL, VBA, Jupyter) Définir la spécification technique des tâches, fournir des requêtes de référence, réaliser des revues de code, et accompagner d’éventuels alternants ou stagiaires. Mettre en place des processus d'extraction à partir des données. Assurer le support de niveau 2. Faire respecter les consignes d’utilisation auprès des utilisateurs. Garantir le respect des délais de livraison dans un environnement exigeant. Contribuer à la maintenabilité, la performance et l’exploitabilité de la plateforme. Il veillera également à respecter l’utilisation des modèles référencés ou leur évolution, en collaboration avec la Direction Technique et la Gouvernance des Données. Le profil doit posséder des compétences avérées en communication, diplomatie, capacité d’intégration, partage de connaissances, documentation, et accompagnement des utilisateurs.

Contexte de la mission : Le client, dans le cadre du développement et de la maintenance de sa plateforme Big Data, recherche un Développeur Big Data expérimenté (H/F) avec au moins 5 ans d’expérience en environnement Data. La mission se déroule au sein de l’équipe Big Data, chargée de l’alimentation, de l’évolution et de l’optimisation du Data Lake sous Cloudera Hadoop. L’objectif principal est de concevoir, faire évoluer et maintenir les traitements d’alimentation pour assurer la qualité, la performance et la maintenabilité des solutions. Le consultant intervient dans un contexte de production exigeant, avec de forts enjeux de fiabilité et de respect des délais. Missions principales : Développement & évolution du Data Lake : Gérer les évolutions des flux et des données à intégrer Faire évoluer les développements existants d’alimentation Maintenir les traitements d’ingestion et de transformation Concevoir des extractions de données pour répondre aux besoins métiers Stack technique : Cloudera Hadoop, Hive, Impala, Spark, Python, SQL, Shell, Linux, VBA, Jupyter Expertise technique & structuration : Rédaction des spécifications techniques Fourniture de requêtes SQL de référence Revue de code Structuration et pilotage via JIRA Documentation des processus et accompagnement des utilisateurs Encadrement de profils juniors (alternants, stagiaires) Performance & optimisation : Optimiser les traitements et requêtes Améliorer la performance et l’exploitabilité Contribuer à la maintenabilité globale Réaliser du reverse engineering dans une architecture héritée complexe Support & accompagnement : Assurer le support de niveau 2 Faire respecter les bonnes pratiques Communiquer clairement avec différents interlocuteurs (développeurs, utilisateurs, clients) Gouvernance & conformité : Veiller au respect des modèles de données Collaborer avec la Direction Technique et la Gouvernance de la Donnée pour faire évoluer les standards

Je recherche pour un de mes clients un Data Engineer GCP : Prestations attendues : Déployer les datasets normés sur un ou plusieurs des data domain suivants : Utilisateurs, Comportements et Référentiels Accompagner les utilisateurs dans leurs usages Mettre en place le contrôle qualité sur ces datasets En interaction avec les membres de l’équipe, Participer activement aux différentes phases de conception, de planification et de réalisation des tâches avec l’équipe Construire et maintenir des pipelines data robustes et scalables Accompagner les membres de l’équipe dans l’exploitation et le requêtage des données Organiser et structurer le stockage des données Mettre en place et maintenir des infrastructures scalables capables de répondre aux besoins et à l’accroissement rapide du volume de données Participer aux initiatives de gouvernance des données en assurant la qualité, la fiabilité et l’intégrité Construire et maintenir les workflows de la CI/CD Partager avec les autres data ingénieurs pour appliquer les bonnes pratiques en vigueur Assurer l’évolutivité, la sécurité, la stabilité des environnements Participer aux différentes instances des data ingénieurs Contribuer et veiller à la mise à jour de la documentation Faire de la veille technologique active dans le domaine Expertises demandées pour la réalisation de la prestation Au moins 3 ans d’expérience en tant que Data Ingénieur dans un environnement data Compétences solides en data : structures de données, code, architecture France Expériences dans la conception et la réalisation de pipelines data Expériences dans un environnement du cloud Google (GCP) Expériences intégrant BigQuery et Dataplex Universal Catalog Expériences intégrant les langages Python et SQL Expériences intégrant Spark Expériences intégrant dbt Expériences intégrant Terraform et Terragrunt Expériences intégrant Gitlab et Gitlab CI/CD Expériences intégrant les méthodologies Agile : Scrum ou Kanban Capacité à vulgariser et à communiquer sur des aspects purement techniques