Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark

Mission principale Leader technique et fonctionnel chargé de concevoir, déployer et industrialiser des solutions AI/ML utilisant des algorithmes avancés Identifier les opportunités d’amélioration data et piloter leur mise en œuvre dans des environnements cross-fonctionnels Encadrer et faire monter en compétences une équipe de Data Scientists et Data Analysts Garantir le cycle de vie complet des modèles (développement, déploiement, monitoring, amélioration continue) Collaborer étroitement avec les équipes métiers pour transformer les besoins business en solutions data Expérience requise 8 à 10+ ans d’expérience en Data Science Expérience confirmée en développement de code déployable et mise en production de modèles Expérience en développement logiciel production-ready et en environnement agile Expérience de management d’équipe Data Expérience en environnement healthcare ou manufacturing appréciée Compétences techniques Maîtrise des langages Data Science : Python, R, C++ Connaissance des bases de données SQL / NoSQL / Graph / Time series Expertise en AI/ML : Supervised & Unsupervised Learning Deep Learning LLMs Reinforcement Learning Federated Learning Time series forecasting Bayesian statistics et optimisation Expérience cloud et HPC : AWS, Azure, Spark CI/CD, orchestration et industrialisation des modèles Data visualization & storytelling (Tableau, Power BI, Streamlit) Expérience APIs enterprise et big data mining Connaissance des réglementations Data & AI Compétences comportementales Leadership et management d’équipe Communication écrite et orale excellente Capacité à aligner plusieurs équipes et parties prenantes Esprit analytique et résolution de problèmes Autonomie, proactivité et esprit d’équipe Formation Master ou PhD en mathématiques, informatique, ingénierie, statistiques ou domaine quantitatif équivalent

Dans le cadre de ses projets Big Data internes, notre client recherche un Consultant DataOps & Administrateur Hadoop confirmé , intégré à l’équipe BDP (Big Data Platform) . Le consultant interviendra sur le déploiement, l’industrialisation, l’exploitation et le maintien en condition opérationnelle de clusters Big Data personnalisés, basés sur la TOSIT Data Platform (TDP) , au service des projets data et métiers. 🎯 Rôle et responsabilités 1. Déploiement & industrialisation des clusters Big Data Déploiement automatisé de clusters via pipelines Jenkins Installation et configuration des composants Hadoop via Ansible Adaptation des architectures selon les besoins projets (sécurité, performance, capacité) Contribution aux pratiques CI/CD et Infrastructure as Code Déploiement et administration du TDP Manager Mise en place de Hue pour les environnements Datalab 2 . Administration avancée de la stack Hadoop / TDP Le consultant est responsable de l’installation, la configuration et l’exploitation de : Sécurité & identités : OpenLDAP Kerberos Ranger (politiques de sécurité) Stockage & calcul distribué : HDFS (baie Huawei) Hadoop (YARN, services core) Traitement & accès aux données : Spark Hive Services transverses : ZooKeeper PostgreSQL Responsabilités associées : Gestion des dépendances inter-services Cohérence des versions Optimisation des performances et de la stabilité Résolution des incidents complexes 3. Provisionnement & automatisation des environnements Provisionnement de VM sous VMware Préparation des prérequis systèmes (OS, réseau, stockage) Automatisation via Ansible et scripts Bash Gestion des environnements DEV / RECETTE / PROD 4. Observabilité, supervision & anticipation Mise en œuvre et maintien de la stack d’observabilité : Prometheus Alertmanager Loki / Promtail Grafana Définition des indicateurs de supervision Analyse proactive des alertes Diagnostic et résolution d’incidents 5. Maintien en Condition Opérationnelle (MCO) Administration quotidienne des clusters Hadoop Support aux équipes projets et utilisateurs Datalab Gestion des incidents, demandes d’évolution et correctifs Montées de version Suivi de capacité (CPU, RAM, stockage) Rédaction et mise à jour de la documentation technique 🤝 Interaction & posture attendue Participation active aux rituels d’équipe Coordination avec : Équipes infrastructure Équipes projets data / métiers Référents sécurité Capacité à accompagner et conseiller les équipes dans l’usage de la plateforme Forte capacité de communication transverse 🧠 Compétences clés attendues Techniques Expertise Hadoop / Big Data on-prem Solide expérience DataOps / DevOps Maîtrise de : Jenkins, GitLab CI/CD, SonarQube Ansible, Bash VMware, Docker Stack d’observabilité (Prometheus, Grafana, Loki) Méthodologiques & soft skills : Rigueur et sens de la qualité Forte sensibilité aux enjeux de sécurité Capacité d’anticipation (supervision, performance, capacité) Autonomie et esprit d’équipe Aisance dans des environnements complexes et critiques ⚠️ Points de vigilance Forte interdépendance des composants Hadoop Exigences élevées en matière de sécurité (Kerberos, Ranger) Enjeux de performance et de disponibilité Nécessité d’une coordination transverse permanente

Dans le cadre de la phase 2 de construction de sa plateforme Data Groupe, un acteur majeur du secteur de l’énergie recherche un Data Engineer expérimenté afin de renforcer son équipe Data. L’objectif est de consolider le socle technique existant, d’industrialiser les pipelines et de contribuer aux projets d’ingénierie Data & IA, tout en assurant le Run des assets déjà en production. 🎯 Missions principales 🔹 Build – Data Platform Participer à la construction et à l’évolution de la plateforme Data Concevoir et développer des pipelines de données Réaliser des POC et spiker le backlog Contribuer aux choix d’architecture en respectant les standards définis Optimiser les requêtes Amazon Redshift (point clé de la mission) 🔹 Run – Exploitation Assurer le maintien en conditions opérationnelles Superviser les traitements Garantir la performance et la stabilité des assets 🔹 Contribution IA Participer aux projets d’AI Engineering Collaborer avec les squads Data Métier Être force de proposition sur les solutions techniques 🔹 Optimisation des coûts Maîtriser les coûts des services cloud (dimension FinOps importante) 🛠 Environnement technique☁ Cloud AWS (Redshift, RDS, Lambda, SQS, SNS, API Gateway…) GCP 💾 Data & Big Data SQL / NoSQL Data Warehouse Spark / Hadoop / HDFS Scalabilité & clustering ⚙ Dev & DevOps Python APIs (FastAPI / Flask) Airflow Docker Terraform GitLab CI/CD Linux Git (code review, merge request) 📊 Outils analytiques (bonus) Tableau Dataiku Alteryx

Almatek recherche pour l'un de ses clients, Un Tech Lead Sénior Java/kafka/Scala sur Massy ENVIRONNEMENT TECHNIQUE ET EXPERTISES NÉCESSAIRES. ? Solide expérience en développement avec des langages comme Scala et/ou Java, et une compréhension approfondie des concepts de programmation fonctionnelle. ? Compétences avérées dans l'utilisation de plateformes de streaming de données comme Apache Kafka, et de frameworks de traitement de données distribuées comme Apache Spark. ? Expérience significative dans le domaine de la Data et du Cloud (GCP ou AWS), en particulier les services tels que Cloud Storage, BigQuery, Dataproc, Kubernetes, et d'autres outils pertinents pour la gestion et le traitement de données à grande échelle ? Bonne maîtrise de BigQuery et du SQL avancé, avec une expérience sur des traitements de gros volumes de données. ? Maîtrise des outils de CI/CD, en particulier via GitLab CI/CD et Docker Compose, pour l’automatisation des workflows data. ? Bonne connaissance de l’environnement Linux et des outils de ligne de commande. ? Connaissance approfondie des concepts d'architecture microservices et des bonnes pratiques de développement. ? Expérience dans l'écriture de tests unitaires et d'intégration pour garantir la qualité du code. ? Connaissance sur Kafka-stream, spring boot, ? Travail en méthodologie agile (Scrum), avec une capacité à collaborer efficacement dans des équipes pluridisciplinaires. MÉTHODES, ORGANISATIONS ET INTERACTIONS. ? Excellente communication écrite et orale : Bonne communication écrite et orale en français pour des interactions fluides avec le métier. ? Esprit d'analyse et d'amélioration continue : Capacité à évaluer le code et ses impacts, ainsi qu'à remettre en question les solutions existantes pour les améliorer. ? Capacité de prise de recul : Aptitude à évaluer les problématiques avec objectivité et à proposer des solutions d'amélioration. ? Capacité à respecter les délais tout en maintenant des standards élevés. ? Esprit d'équipe : Capacité à collaborer efficacement avec les membres de l'équipe pour atteindre des objectifs communs NIVEAU ET TYPE D’EXPERTISE REQUIS. ? Diplômé(e) d’un Bac+5 en école d'ingénieur ou équivalent universitaire avec une spécialisation en informatique, ou justifiant d'une expérience significative équivalente ? Expérience de plus de 7 ans en Scala/Java ? Une expérience dans le secteur du commerce de détail ou de la grande distribution serait un plus. MATÉRIEL. Le/la consultant(e) doit disposer de son propre matériel, adapté aux besoins de la mission : ? OS & CPU : Windows (Intel Core i7 ou i9, AMD Ryzen 7 ou 9), MacOS (M2 ou supérieur), Linux (AMD Ryzen 7 ou 9) ? RAM : minimum 16 Go, idéalement 32 Go ou plus ? Stockage SSD) : minimum de 512 Go, idéalement 1 To ou plus ? S’assurer que le/la consultant(e) puisse installer les outils et applications et effectuer les paramétrages nécessaires au bon déroulement de sa mission.

Data Engineer (Snowflake / AWS) 📍 Localisation : Liège (Belgique) 📅 Expérience : 3 ans minimum 🎯 Mission principale En tant que Data Engineer , vous contribuez à la conception, au développement et à l’optimisation de plateformes data modernes dans un environnement cloud. Vous intervenez sur l’architecture, l’ingestion, la transformation et la gouvernance des données en utilisant Snowflake, AWS et Databricks , avec une attention particulière à la gestion des métadonnées et à la qualité des données. 🛠️ Responsabilités🔹 Développement Data Concevoir et maintenir des pipelines de données robustes (batch & streaming) Développer des flux ETL/ELT performants Modéliser des entrepôts de données (Data Warehouse / Data Lakehouse) Implémenter des solutions sur Snowflake et Databricks 🔹 Cloud & Infrastructure (AWS) Déployer et gérer des services AWS (S3, Glue, Lambda, EC2, IAM, Redshift…) Automatiser les workflows (CI/CD, Infrastructure as Code – Terraform est un plus) Assurer la sécurité et la performance des environnements cloud 🔹 Metadata & Data Governance Mettre en place des stratégies de gestion des métadonnées Maintenir un data catalog Assurer la traçabilité (data lineage) Participer aux initiatives Data Quality 🔹 Collaboration Travailler avec Data Analysts, Data Scientists et équipes métiers Participer aux choix technologiques et bonnes pratiques Documenter les solutions techniques 🧠 Profil recherché🎓 Formation Master en informatique, data engineering ou équivalent 💡 Expérience Minimum 3 ans d’expérience en data engineering Expérience concrète sur projets cloud data 🔧 Compétences techniques indispensables Snowflake (modélisation, performance tuning) AWS (S3, Glue, Lambda, IAM…) Databricks / Spark (PySpark) SQL avancé Python Gestion des métadonnées & data catalog ➕ Atouts Connaissance de Data Mesh ou Lakehouse Expérience dans environnement réglementé (pharma, industrie) Outils BI (Power BI, Tableau…) CI/CD, Git, DevOps 🌍 Langues Français courant Anglais professionnel (documentation et échanges techniques) 🤝 Soft Skills Esprit analytique Autonomie Sens de la qualité et rigueur Capacité à vulgariser des sujets techniques

Contexte Dans le cadre de la mise en place et de l’évolution d’une plateforme DATA centralisée, nous renforcons son équipe avec un Data Ingénieur confirmé. Cette plateforme permet l’intégration, la mise en qualité et la mise à disposition de données brutes ou retravaillées issues de différents producteurs, afin de répondre à des besoins métiers opérationnels et analytiques à grande échelle. Rôle et responsabilités Développement et ingestion de données Concevoir, développer et optimiser des jobs d’ingestion et de transformation de données en Python et Spark sur Databricks , avec gestion de gros volumes. Mettre en place et maintenir des flux de données entre sources externes (ex. bases Oracle) et Delta Lake sur AWS S3 . Orchestration et supervision Créer et orchestrer des workflows avec AWS Airflow et automatiser les traitements. Mettre en place des mécanismes de contrôle qualité et de validation des données pour garantir cohérence et fiabilité. Développer des jobs de monitoring pour détecter et corriger automatiquement les anomalies. Maintien en condition opérationnelle Assurer la disponibilité et la performance des jobs en production. Analyser et corriger les incidents et anomalies détectées. Contribution stratégique Participer aux ateliers de conception technique et fonctionnelle. Promouvoir les bonnes pratiques de développement et d’optimisation Big Data. Documenter les processus, architectures et scripts. Compétences techniques requises MUST : Python Spark Databricks SQL SHOULD : AWS (S3, Glue, Airflow, CloudWatch, Lambda, IAM) COULD : Big Data (gestion et traitement de très gros volumes de données) WOULD : Git Méthodologies et outils : CI/CD avec GitLab JIRA / Confluence Méthodologie agile Scrum

"Contexte du besoin Dans le cadre de ses missions de définition des politiques de gestion des données et du suivi de leur mise en œuvre, l'activité Gouvernance de la Donnée souhaite renforcer son équipe d'un profil confirmé en la matière. Un accompagnement assorti d'un regard éclairé dans l'exécution des différents pans des missions est demandé MISSIONS · définition des politiques de gestion des données (rôles et responsabilités; · mise en place/alimentation d'un Glossaire métier et d'un Dictionnaire des données; · modalités de suivi de la qualité des données; · modalités permettant d'assurer la sécurité et la conformité réglementaire de l'accès aux données; · articulation avec les capacités de la plate-forme Data choisie par l'entreprise); · mise en oeuvre et suivi de ces politiques, en lien avec les contributeurs nécessaires; acculturation des différentes populations de l'entreprise aux exigences et apports en lien avec la gouvernance des données; · etc.... • Participation le cas échéant au choix des outils de gouvernance des données (rencontres fournisseurs initiées; échanges en cours) • Catalogage / connaissance des données : Définir les standards et bonnes pratiques et en vérifier la bonne application en mobilisant les acteurs requis (SI, métier), assurer l’acculturation nécessaire; • Cartographie des Données : Approfondir la cartographie des données qui aura été initiée (avec les acteurs métier, SI, urbanistes) et être capable de la présenter, la faire adopter et de l’utiliser à des fins de gouvernance des données… • Conformité règlementaire : Garantir que toutes les données respectent les normes internes et externes, en particulier en matière de RGPD et de conformité légale. • Gestion des rôles et animation de la communauté Data : Identifier les relais de la gouvernance dans un contexte de responsabilités fédérées. Mobiliser les acteurs (animation de séminaires, communication…). • Gestion des habilitations : Définir la granularité des habilitations des rôles et utilisateurs identifiés. • Accompagnement de la montée en compétence des autres membres de l'équipe sur des sujets structurants devant être maîtrisés pour mener à bien les missions de l'activité" Livrables attendus "Chapitres thématiques de la politique de Gouvernance des données (rôles et responsabilités; gestion Glossaire/Dictionnaire ; gestion du Data Lineage; sécurité et droits d'accès, dont conformité juridique; Suivi de la qualité des données; process permettant l'évolution de la plate-forme Data" Environnement technique - technologique • couche stockage : TERADATA; HADOOP Cloudera; Postgre • Transformation : DataStage / Spark • BI : Power BI; SAS"

Depuis 2012, nous mettons notre expertise au service des secteurs de l’IT et l’Ingénierie pour accompagner nos clients dans des projets ambitieux et innovants. Notre force ? Un management de proximité qui valorise vos aspirations, des opportunités de carrière concrètes et un engagement sincère pour le bien-être et l'épanouissement de nos collaborateurs. Rejoignez-nous sur des projets à fort impact au sein d’une entreprise où chaque talent compte ! Avanista recrute ! Toujours en recherche de nouveaux talents, nous souhaiterions intégrer un Expert Dataviz au sein de nos équipes pour l’un de nos clients. Dans un contexte multi domaines/Clients (banque de détail, assurances, banque de marchés, asset management, etc.), vous êtes rattaché à l’équipe « Data4Ops », au sein du Domaine d’Expertise « Automatisation et Observabilité ». Cette équipe a la charge de structurer les données dites « opérationnelles » du client, à savoir les données utiles à l’ensemble des métiers et équipes opérationnelles, en adéquation avec la stratégie Data (basée sur les principes/concepts Data Mesh) et en relation avec le PO Data4Ops et le PM (Product Manager) Observabilité La transformation des SI de nos Clients vers des architectures modulaires, type micro-services,l’essor de nos infrastructures et l’évolution des technologies associées, ou encore l’automatisation accrue sur nos socles et applications, génèrent une quantité massive de données devenues très hétérogènes, dispersées et silotées du fait de l’organisation (équipes applicatives et techniques multiples et dispersées). Prenant en compte ce cadre, votre mission sera plus spécifiquement de collecter, manipuler et valoriser de manière automatique les données complexes de notre SI en visualisations claires, interactives et exploitables pour faciliter la prise de décision stratégique et opérationnelle par le biais de développement des Dashboards et modélisation et mise en place de KPI. Contexte technique Outils de visualisation : maîtrise avancée de Power BI, Grafana Langages de programmation : Python ou Java pour le traitement de données, SQL pour les requêtes Environnement technique : bases de données SQL et NoSQL principalement dans un contexte « On Premise » : o Moyens de stockage tels que la suite Elastic, InfluxDB o Suite de type Data Lakehouse (Spark, MinIO, Stockage S3, Iceberg, Trino) o Solution SGBD “Classique”: PostgreSQL Missions Pour réaliser la mission, vous serez amené à contribuer sur : - La conception via le recueil des besoins, la réalisation des spécifications et de la documentation liée - Le développement de visualisations : création de tableaux de bord interactifs, de graphiques dynamiques et de rapports visuels adaptés aux différents besoins métiers - L’analyse et le traitement des données : Définition et développement de KPI, pour cela, si nécessaire, extraction, transformation et analyse de données provenant de sources multiples (bases de données, APIs, etc.), de façon automatique Ceci en collaboration transversale étroite avec les différentes équipes pour comprendre les besoins, définir les spécifications, assurer le suivi, et garantir la cohérence des livrables

Dans le cadre d’une mission stratégique chez l’un de nos clients grands comptes du secteur bancaire, nous recherchons un Incident Manager / Ingénieur de Production orienté gestion d’incidents critiques , capable d’intervenir dans des environnements IT complexes et à forts enjeux métiers. Le consultant interviendra sur la gestion des incidents P1 et P2 , le suivi du backlog et la coordination transverse des équipes IT, avec pour objectif d’assurer un retour au service rapide, maîtrisé et conforme aux exigences de gouvernance bancaire. Il jouera un rôle clé dans la communication autour des incidents, la qualification des incidents majeurs et l’animation des cellules de mobilisation et de crise. Habitué aux environnements structurés, il contribuera activement à l’amélioration continue du processus de gestion des incidents, assurera le suivi du diagnostic et de la résolution, et produira les rapports journaliers nécessaires au pilotage et à la communication. Missions principales : Gestion des incidents critiques P1 et P2 et traitement du backlog Communication régulière sur l’avancement des incidents auprès des parties prenantes Identification et suivi transverse des incidents à impact métier sur les différents socles et clusters Participation à la qualification des incidents majeurs transverses Organisation et animation des cellules de mobilisation / cellules de crise Suivi du diagnostic et de la résolution jusqu’au rétablissement du service Rédaction et préparation des rapports journaliers Environnement technique : ITSM : ServiceNow Outils collaboratifs : Office 365 , Spark

Contexte Dans le cadre de la structuration de la plateforme data, nous recherchons un Data Engineer pour concevoir, développer et industrialiser les pipelines de données au sein d’une architecture moderne de type Lakehouse sur Azure. Le rôle est orienté build & delivery, avec une forte dimension technique. Missions principales Concevoir et développer des pipelines ELT robustes et scalables Intégrer, transformer et fiabiliser des données issues de multiples sources Développer des traitements distribués en PySpark sur Databricks Orchestrer les flux via Azure Data Factory Optimiser les performances, la qualité et la maintenabilité des jobs Mettre en place des contrôles de data quality, monitoring et alerting Participer à la modélisation des datasets (modèle dimensionnel / star schema) Documenter les flux (lineage, métadonnées, bonnes pratiques) Collaborer avec les équipes BI / Data Analyst / métiers (Power BI) Stack technique Databricks (Spark / PySpark) Azure Data Factory SQL avancé Python Power BI (consommation et compréhension des besoins BI) Azure Data Lake / Lakehouse Compétences requises (must-have) Très bon niveau SQL Python / PySpark confirmé Expérience concrète sur Databricks Expérience Azure Data Factory Conception de pipelines ELT en production Modélisation dimensionnelle Bonne culture performance & fiabilité data Compétences appréciées (nice-to-have) Data quality / data governance / lineage Data Vault Azure Logic Apps Infrastructure as Code (Terraform, CI/CD) Expérience Snowflake ou autres plateformes cloud data Bonne compréhension des enjeux BI / Power BI Profil recherché 3 à 7+ ans d’expérience en Data Engineering À l’aise en environnement cloud Azure Capacité à coder proprement et à industrialiser Esprit produit / orienté valeur métier Autonome, force de proposition

Descriptif du poste Expert reconnu en plateforme de données et architecture Lakehouse, incluant : Optimisation Spark / PySpark (AQE, broadcast joins, stratégies de caching, autoscaling de cluster). Politiques de cluster, configuration de cluster et pool, et optimisation des coûts. Monitoring, diagnostics et dépannage des performances à l'aide de métriques et event logs. APIs REST et CLI pour l'automatisation. Expert reconnu en utilisation de Delta Lake, incluant : Pipelines d'ingestion et de transformation (Bronze–Silver–Gold). Delta Live Tables pour les pipelines de production (CDC, expectations, orchestration). Structured streaming et traitement incrémental. Débogage des goulots d'étranglement de performance dans les workloads Delta (data skew, petits fichiers, auto-compaction). Expert reconnu en : Python pour l'ingénierie des données, programmation orientée objet, data science, tests unitaires (pytest) et packaging. SQL (SQL analytique, window functions, SQL Databricks). Spark / PySpark pour le traitement distribué et l'optimisation. Expert reconnu en utilisation de Unity Catalog, incluant : Implémentation du contrôle d'accès granulaire (sécurité au niveau des lignes et colonnes, vues dynamiques, masquage). Gestion des objets Unity Catalog à grande échelle (catalogs, schémas, tables, modèles et gouvernance des fonctions). Pratiques de développement sécurisé, protection des données et conformité réglementaire (RGPD, PII). Expert reconnu en Databricks Jobs et Workflows (orchestration des tâches, retries, monitoring), incluant : Databricks Repos et intégration Git / Gitflow. Déploiement des assets Databricks (notebooks, jobs, pipelines DLT) via des pipelines CI/CD. Databricks SQL editor et SQL Warehouses pour les dashboards ou pipelines de production. Infrastructure as Code utilisant Terraform (providers Databricks et Azure) et ARM templates. Maîtrise avancée de l'écosystème Databricks Machine Learning et Generative AI. Maîtrise avancée de MLflow (experiment tracking, model registry, model serving). Maîtrise avancée de la construction de pipelines ML utilisant Databricks AutoML, Feature Store et feature engineering. Expérience pratique avérée avec les outils de développement basés sur l'IA, incluant les workflows basés sur des agents. Bonne compréhension des normes d'interopérabilité émergentes telles que le Model Context Protocol (MCP) ou équivalent. Capacité à évaluer de manière critique et à intégrer de manière sécurisée les résultats générés par l'IA dans les workflows de développement.

Notre client effectue une transformation vers l’Agilité. Les équipes sont découpées en squads autour d’un produit et travaillent suivant le cadre SCRUM. Les équipes sont réparties uniformément sur deux sites principaux Rennes et Lyon. Nous sommes accompagnés par des coachs Agile pour la mise en œuvre de la transformation. Dans ce cadre nous recherchons une prestation de Scrum Master expérimenté pour accompagner 1 squad de 6 personnes. Les activités de la squad concernée couvrent mise en œuvre d’une Data plateforme sous la forme d’un socle technique (Spark, Jupyter, Kubernetes, Argo, MinIO, Trino) et d’un cadre de gouvernance garantissant la sécurité, la conformité et la qualité des données. Le périmètre de la fonction est : • dans la squad Data Plateforme, constituée d’un Product Owner, d’un Lead Platform Architect, d’un Data Architect, d’un développeur Platform automation, d’un DevOps, d’un Data Engineer. • le tout au sein de la tribu Data & IA, en lien avec les experts du Chapitre Data Gouvernance & IA et les architectes Data L’accompagnement de l’équipe doit se faire sur l’appropriation du cadre SCRUM, de ses valeurs et la facilitation des problèmes liés aux changement organisationnel et opérationnels. De façon moins prioritaire, et suivant le profil, une partie de l’activité pourrait également être consacrée à l’accompagnement de la transformation Agile de l’entreprise (au niveau DSI, métiers, Architecture, data) avec les autres coachs agiles. Activités principales : ➢ SCRUM MASTER d’une équipe autonome ➢ Garant du cadre Agile et des valeurs auprès des équipes accompagnées et dans l’organisation o Support sur les événements Agiles et s’assure que ceux-ci sont positifs et productifs o Sécurisation du delivery lors des PI Planning o Accompagnement dans l’appropriation auprès des équipiers ➢ Amélioration des pratiques des équipes et facilitation avec les parties prenantes ➢ Facilitation sur les problématiques opérationnelles ➢ Faire grandir les équipes accompagnées en responsabilité et autonomie ➢ Remontée d’alerte si nécessaires ➢ Être force de proposition sur des axes d’amélioration continue ➢ Communication et proactivité dans le mode de fonctionnement Agile de l’équipe et de l’organisation Compétences requises : ➢ Expérience solide dans l’accompagnement d’équipes Agile dans une organisation à l’échelle ➢ Pratiques et méthodes collaboratives dans l’exécution des activités (animation, ateliers divers …..) ➢ Connaissance des outils et techniques d’amélioration continue ➢ Aisance relationnelle, animation, communication ➢ Proactivité ➢ Expérience confirmée dans l’accompagnement et la gestion du changement Qualités personnelles : ➢ Esprit collectif ➢ Sens de l’organisation ➢ Orienté solution

MISSION Garant des directives architecturales : Assurer le respect des standards définis. Conception des solutions de données : Responsable du design technique des solutions data. Lien technologique externe : Assurer la coordination avec les équipes data extérieures. Animation technique : Fédérer et animer la communauté technique interne. IMPLICATION ET RATTACHEMENT Disponibilité : 100 % (Temps plein). Ligne hiérarchique : Lead Data Architect. Objectifs clés : Maintenir l'architecture du paysage Data. Garantir la valeur technologique des solutions. Assurer le suivi de la dette technique sur l'ensemble du périmètre Data. COMPÉTENCES REQUISES Expertise Technique Expérience : Au moins 5 ans d'expérience en architecture de données. Big Data : Maîtrise indispensable des environnements Big Data (EMR, Spark, etc.). Plateformes Cloud : Expérience impérative sur GCP (BigQuery) ou AWS (Redshift/Athena/S3). Design d'Architecture : Solide expérience dans la conception et la mise en œuvre de briques technologiques (Collecte, Stockage, Traitement, Visualisation). Certifications : Bonne connaissance des architectures Cloud, idéalement certifié sur un ou plusieurs environnements (GCP, Azure, AWS). DevOps : Maîtrise des processus et outils de développement modernes (Git, CI/CD, etc.). Atout : Une expérience sur l'approche Data Mesh est un vrai plus. Soft Skills (Savoir-être) Rigueur, proactivité et sens de l'organisation. Capacité de synthèse et aptitude à vulgariser des sujets complexes. Empathie et fortes capacités de coopération (profil "intégrateur"). Anglais : Courant (indispensable). RESPONSABILITÉS CLÉS Garant des directives architecturales Soutenir la stratégie de données définie par la Data Team. Piloter et porter la roadmap technique de la plateforme Data. Apporter son expertise pour aider les parties prenantes à suivre la stratégie Data globale. Évaluer et optimiser les architectures de données existantes. Concevoir et déployer les briques technologiques (Collecte, Stockage, Processing, Visualisation). Veiller au respect des principes d'architecture, de sécurité et de confidentialité des données établis au niveau du groupe. Suivre et soutenir la stratégie NFR (Exigences Non-Fonctionnelles) en lien avec les Tech Leads de chaque équipe produit. Documenter l'architecture de manière exhaustive. Garantir la cohérence technique transverse (domaines et régions). Animation de la communauté technique Faciliter et animer les ateliers (workshops) communautaires. Garantir la cohérence des choix internes avec les technologies du marché. Lien technologique avec les équipes externes Assurer une veille technologique constante sur le marché. Être propriétaire de la cartographie technologique. Fournir des benchmarks et des recommandations technologiques. Assurer le relais des politiques d'Architecture, Sécurité et Confidentialité du Groupe. Apporter une vision globale et contextuelle de l'écosystème de l'entreprise.

Data Engineer Nantes - Kafka - DBT - Python - Trino L'objectif de la mission est de mettre en place des nouveaux produits accompagnant la transition technologique de la plateforme et des pratiques associées tout en accompagnant la montée en compétence de l'équipe sur les outils du socle, notamment DBT, Kafka, KafkaCOnnect, Trino - Concevoir, implémenter et documenter des pipelines d'ingestion et de transformation (DBT, Kafka Connect, Trino). - Mettre en place des modèles de données optimisés et cohérents avec les standards du socle. - Participer à la migration et l'optimisation des traitements depuis Cloudera/Spark vers les nouvelles technologies (Kafka / Trino / Iceberg). - Intégrer les développements dans la chaîne CI/CD, en lien avec les pratiques de déploiement du socle. Participer à la gestion des habilitations et du contrôle des accès, en cohérence avec les principes de sécurité et conformité RGPD. - Contribuer à la mise en place d'outils d'observabilité (logs, monitoring, audit des accès, performance des jobs). - Accompagner les membres de l'équipe dans la prise en main des outils DBT et Kafka. - Partager les bonnes pratiques de développement, de testing et de gestion du code (revues, documentation, mentoring). - Être force de proposition sur l'amélioration continue du socle et des workflows de développement. - Travailler en étroite collaboration avec le Tech Lead, les PO et les Data Stewards pour assurer la cohérence des modèles et des processus. - Participer activement aux rituels agiles (daily, sprint planning, review, rétrospective). Les activités confiées supposent la maîtrise de : - Kafka - DBT - Python - Trino

Je recherche pour un de mes clients un Consultant Data Gouvernance sur Paris 12 CONTEXTE DE LA MISSION Dans le cadre de ses missions de définition des politiques de gestion des données et du suivi de leur mise en œuvre, l'activité Gouvernance de la Donnée du client (3 salariés à ce jour) souhaite renforcer son équipe d'un profil confirmé en la matière. Le client recherche donc à apporter à l'équipe Gouvernance de la donnée un accompagnement assorti d'un regard éclairé dans l'exécution des différents pans de ses missions : définition des politiques de gestion des données (rôles et responsabilités; mise en place/alimentation d'un Glossaire métier et d'un Dictionnaire des données; modalités de suivi de la qualité des données; modalités permettant d'assurer la sécurité et la conformité réglementaire de l'accès aux données; articulation avec les capacités de la plate-forme Data choisie par l'entreprise); mise en oeuvre et suivi de ces politiques, en lien avec les contributeurs nécessaires; acculturation des différentes populations de l'entreprise aux exigences et apports en lien avec la gouvernance des données; etc..... DESCRIPTION DE LA MISSION Les missions principales au sein de l'activité Gouvernance de la donnée seront les suivantes : - Participation le cas échéant au choix des outils de gouvernance des données (rencontres fournisseurs initiées ; échanges en cours) - Catalogage / connaissance des données : Définir les standards et bonnes pratiques et en vérifier la bonne application en mobilisant les acteurs requis (SI, métier), assurer l’acculturation nécessaire ; - Cartographie des Données : Approfondir la cartographie des données qui aura été initiée (avec les acteurs métier, SI, urbanistes) et être capable de la présenter, la faire adopter et de l’utiliser à des fins de gouvernance des données… - Conformité règlementaire : Garantir que toutes les données respectent les normes internes et externes, en particulier en matière de RGPD et de conformité légale. - Gestion des rôles et animation de la communauté Data : Identifier les relais de la gouvernance dans un contexte de responsabilités fédérées. Mobiliser les acteurs (animation de séminaires, communication…). - Gestion des habilitations : Définir la granularité des habilitations des rôles et utilisateurs identifiés. - Accompagnement de la montée en compétence des autres membres de l'équipe sur des sujets structurants devant être maîtrisés pour mener à bien les missions de l'activité LIVRABLES ATTENDUS ET ENVIRONNEMENT TECHNIQUE Exemples de livrables attendus : Chapitres thématiques de la politique de Gouvernance des données : - rôles et responsabilités ; - gestion Glossaire/Dictionnaire ; - gestion du Data Lineage ; - sécurité et droits d'accès, dont conformité juridique ; - Suivi de la qualité des données ; - process permettant l'évolution de la plate-forme Data Environnement technique : Sélection en cours du fournisseur pour une plateforme Data d’entreprise cible Couche stockage : - Teradata - Hadoopa Cloudera - Postgre Transformation : - Data stage - Spark BI : - Power BI - SAS Expériences attendues : - Expérience au sein d'un Data Office en charge de la Gouvernance des données (au moins 2 expériences significatives) - Utilisation des outils de Gouvernance des données (gestion des méta données, dont Glossaire / Dictionnaire, Catalogage, Création/Exposition de Data Product, Data Quality, Lineage) - Compréhension des grands modèles d'Architecture Data (Extraction/Chargement, Transformation/Nettoyage, Mise à disposition, Suivi des usages) - Pratique d'une solution Plate-Forme Data