Trouvez votre prochaine mission ou futur job IT.

Contexte de la mission Au sein de la Direction Data (Direction du Numérique), intégration à l'équipe Bronze (PO, data steward, 2 data engineers) au cœur de la plateforme Data. Stack principale : Python, Spark, SQL (traitements), Airflow (orchestration), Cloud Storage & Delta Lake (stockage), services cloud (BigQuery, Dataproc, Pub/Sub, Cloud Storage), Terraform/Terragrunt (infra). Activités attendues Concevoir et maintenir des pipelines data robustes et scalables ; organiser et structurer le stockage. Mettre en place et maintenir des infrastructures scalables ; assurer sécurité et stabilité des environnements. Construire et maintenir les workflows CI/CD ; accompagner l'équipe sur l'exploitation et requêtage. Gouvernance et conformité (qualité, sécurité, conformité), documentation, veille et participation aux instances Data Ingénieurs.

Contexte de la mission : Viveris accompagne ses clients dans la conception et la fabrication d'équipements de haute technologie destinés au secteur normé ferroviaire. Dans ce cadre, nous recherchons un Project Quality Engineer, chargé d'assurer la conformité, la robustesse et la traçabilité des activités de développement tout au long du cycle projet. Intégré au sein de l'équipe de la Direction de la Qualité Projet, vous jouerez un rôle clé dans le pilotage qualité des développements logiciels et systèmes, en lien avec les exigences normatives du domaine ferroviaire. Responsabilités : - Accompagner les équipes projet pour garantir la conformité des activités de développement aux standards qualité internes et clients ; - Participer à la définition et à la gestion des exigences système et logicielles, assurer leur traçabilité et leur cohérence ; - Suivre la gestion de configuration des livrables techniques (logiciel, documentation, exigences) ; - Participer aux revues d'ingénierie et piloter les plans d'actions correctifs liés à la qualité ; - Réaliser des audits internes et revues de conformité, proposer des axes d'amélioration continue.

Contexte et détails de la mission Définition du besoin La Direction Technique du Numérique mène des projets transverses en étroite collaboration avec les autres directions, notamment la direction Data. La Direction Data, au sein de la Direction du Numérique, a été créée avec la volonté de faire de la Data un levier de croissance des offres numériques. La Direction Data a 3 grandes activités : maximiser la collecte de données tout en respectant les réglementations en vigueur, développer la connaissance et l’expérience utilisateurs et mettre à disposition auprès des équipes internes des outils de pilotage et d’aide à la décision. Au sein de l’équipe Bronze, la prestation se déroulera en collaboration avec les autres équipes de la Data, au coeur de la plateforme Data. Cette équipe est composée d’un product owner, d’un data steward et de deux autres data ingénieurs. Notre stack technique est principalement constitué de Python, Spark, SQL pour les traitements de données, Airflow pour l’orchestration et Cloud Storage et Delta lake pour le stockage. La stack inclut aussi les services BigQuery, Dataproc, PubSub et Cloud Storage de la Google Cloud Platform et Terraform et Terragrunt pour la gestion de l’infrastructure. Prestations attendues : Prestation de cette équipe 1. Collecter et centraliser les différentes sources de données non homogènes 2. Assurer la conformité et la sécurité des données 3. Participer aux initiatives de gouvernance des données Prestation en data engineering En interaction avec les membres de l’équipe, la prestation consiste à : • Participer activement aux différentes phases de conception, de planification et de réalisation des tâches avec l’équipe • Construire et maintenir de pipelines data robustes et scalables • Accompagner les membres de l’équipe dans l’exploitation et le requêtage des données • Organiser et structurer le stockage des données • Mettre en place et maintenir des infrastructures scalables capable de répondre aux besoins et à l’accroissement rapide du volume de données • Construire et maintenir les workflows de la CI/CD • Partager avec les autres data ingénieurs pour appliquer les bonnes pratiques en vigueur • Assurer l’évolutivité, la sécurité, la stabilité des environnements • Participer aux différentes instances de data engineering • Contribuer et veiller à la mise à jour de la documentation • Faire de la veille technologique active dans le domaine Modalités de la prestation : Présence sur site requise en fonction des besoins de la prestation et a minima équivalente à 50% du temps de la prestation. Astreintes week-end et jours fériés : Non Matériel performant à fournir par le prestataire : Pour ce faire, les postes informatiques utilisés par le prestataire lors des prestations doivent avoir : - Un antivirus à jour et activé - Un mécanisme de chiffrement du disque activé - Un système d'exploitation à jour de ses correctifs de sécurité - Un mécanisme de verrouillage du poste activé - Un moyen de stockage sécurisé des mots de passe. Usage de la langue française : L'exécution de chaque marché spécifique nécessite l'usage principal et permanent de la langue française dans les rapports avec les parties prenantes (documents, réunions, appels téléphoniques, courriers électroniques…). Les personnes en charge de l‘exécution des prestations doivent maîtriser parfaitement le français (et toute autre langue qui serait précisée après information dans le DCE du marché spécifique concerné) dans le contexte et environnement.

Concevoir, construire et maintenir des pipelines d'ingestion de données à l'aide d'Azure et d'outils ETL (Talend, Informatica). Intégrer diverses sources de données dans les environnements Azure Data Lake et Databricks. Garantir l'évolutivité, la performance et la sécurité des solutions de données. Optimiser les flux de travail et automatiser les processus afin de réduire les interventions manuelles. Collaborer étroitement avec les analystes métier pour traduire les besoins en solutions techniques. Gérer plusieurs projets simultanément, en assurant le respect des délais et des bonnes pratiques. Mettre en œuvre des contrôles de qualité des données et des normes de documentation. Contribuer aux initiatives d'amélioration continue au sein de l'équipe DataOps.

🔍 Nous recherchons un(e) Lead Data Engineer Azure Databricks avec une forte posture de transmission, coaching et mise en place des standards, pour accompagner une équipe en montée de maturité sur Databricks. 📅 Démarrage ASAP 📍 Île-de-France 🎯 Missions clés : ✅ Optimisation & fiabilisation des jobs Databricks (PySpark / Spark) ✅ Mise en place des standards & bonnes pratiques Data Engineering ✅ Coaching, mentoring, animation de la communauté Tech Lead ✅ Contribution aux migrations & à la modernisation du DataLake ✅ Travail sur l’industrialisation (CI/CD – Azure DevOps)

En quelques mots Cherry Pick est à la recherche d'un "Tech Lead Data IoT – Java & Cloud" pour un client dans le secteur du retail. Description⚡ Le Contexte Au sein d'une plateforme IoT gérant des millions d'objets connectés (Smart Devices, vélos, équipements sportifs), nous recherchons le Référent Technique Data . Il ne s'agit pas d'un poste de Data Engineer classique qui ne fait que des pipelines, mais d'un rôle de Software Engineer / Tech Lead spécialisé dans le traitement de la donnée. Vous êtes le "Tech Lead Data" unique de la plateforme : vous portez la responsabilité technique et architecturale de tout ce qui touche à la donnée au sein de l'écosystème IoT. 🎯 Votre Mission : Architecturer et Construire le Backend Data Votre rôle est central : vous construisez le moteur qui ingère, traite et structure les événements remontés par les objets connectés. Vous êtes garant de la cohérence de la donnée, du capteur jusqu'au stockage. 1. Développement Backend & Traitement IoT (80-90% du poste) Développement Java : Concevoir et développer les briques Backend chargées du traitement des flux (Temps Réel & Événementiel). Gestion de la complexité IoT : Gérer les problématiques de connectivité instable. Exemple concret : Reconstituer une session de sport ("Ride") complète même en cas de perte de réseau, gérer les règles de début/fin de session automatiquement. Privacy by Design : Intégrer les contraintes RGPD et le respect des consentements utilisateurs directement dans l'architecture de collecte (filtrage à la source, anonymisation). 2. Architecture & Lead Data Référent Technique : Vous êtes le point de contact unique pour toutes les décisions impactant la data sur la plateforme. Conseil & Gouvernance : Vous auditez et conseillez les autres équipes Backend. Si une feature touche à la structure de la donnée, vous intervenez pour valider le modèle. Modélisation : Définir les modèles de données pour garantir leur exploitabilité future. 3. Analytics & Maintenance (10% du poste) Maintenir les flux ETL existants et les jobs d'analytics. Intervenir ponctuellement sur du Spark / Scala pour des besoins de BI ou de Data Science. 🛠 La Stack Technique Un environnement Multi-Cloud et moderne : Cloud Principal : GCP (Google Cloud Platform). IoT : AWS IoT Core (gestion de la flotte et connectivité). Langage Principal : Java (Expertise demandée). Analytics/Data : Databricks , Spark, Scala.

DATA ENGINEER Avec des compétences sur Python/Pyspark/Databricks sous un environnement Azure Cloud. Objectifs et livrables : Nous recherchons une prestation de Data Engineering avec des compétences sur Python/Pyspark/Databricks sous un environnement Azure Cloud. Le consultant Data Engineer évoluera dans un contexte agile, en mode itératif et co- constructif, en s’appuyant sur l’intelligence collective. Le prestataire Data Engineer sera responsable de la conception, du développement et de la mise en production de l'architecture de données. Il devra notamment : Collecter les exigences des métiers et des utilisateurs Concevoir data modeling SQL/NoSQL Concevoir les pipelines de données Mettre en production l'architecture Assurer la maintenance et l'évolution de l'architecture Expérience réussie d’au moins 6 ans en Data Engineering. Compétences requises quotidiennement : Maîtrise des technologies suivantes : Python niveau expert - (4/4) Azure Cloud niveau avancé - (3/4) Azure functions niveau confirmé - (2/4) Compétences requises : Pyspark niveau expert - (4/4) Databricks niveau expert - (4/4)

Nous recherchons un Data Engineer AWS / Snowflake confirmé pour intervenir au sein d’une équipe Data sur un environnement cloud moderne, fortement orienté industrialisation, performance et qualité des données. 🎯 Contexte de la mission : Vous serez en charge de maintenir, optimiser et faire évoluer les pipelines et architectures Data existants, dans un écosystème AWS & Snowflake à forte volumétrie. La mission inclut également la prise en main de sujets de développement et d’industrialisation en cours. ⚙️ Vos missions principales : Ingestion & Transformation Développer et maintenir des pipelines Python / PySpark (batch, transformations, industrialisation). Implémenter des processus d’ingestion Snowflake ( Snowpipe, procédures stockées, tables dynamiques, datamarts ). Gérer le datalake, les flux d’ingestion et les orchestrations associées. Architecture & AWS Intervenir sur les services AWS : S3, Lambda, Step Functions, EMR, DynamoDB, RDS, EventBridge, IAM, API Gateway… Optimiser et sécuriser les flux Data sur AWS. Assurer la résilience, les performances et la montée en charge des environnements Data. CI/CD & Infrastructure Maintenir et faire évoluer les pipelines GitLab CI , Travailler avec Docker & Pulumni pour l’industrialisation et l’infrastructure as code. Monitoring & Qualité Mettre en place ou améliorer les mécanismes de monitoring , d’observabilité et de data quality . Documenter, partager les bonnes pratiques et contribuer à l’amélioration continue.

Objectifs et missions principales Le/la développeur.euse logiciel – Tech Lead aura pour mission de concevoir, développer, tester et maintenir des solutions logicielles conformes aux spécifications, tout en garantissant le respect des délais de livraison et la production d'un code maintenable, évolutif, réutilisable et documenté. Il/elle assurera également un rôle de référent.e technique auprès des équipes de développement. Les missions incluent notamment : Élaborer des spécifications techniques détaillées et développer le code correspondant Partager l'expertise technique avec l'équipe via le mentorat et les revues de code Établir et garantir l'application des bonnes pratiques techniques et des standards de codage pour maintenir un niveau élevé de qualité logicielle Communiquer les estimations et assister le management dans la planification des ressources et des tâches Suivre et rapporter l'avancement des projets et des tâches de manière régulière Réaliser des analyses de faisabilité pour des projets futurs potentiels Assurer un niveau de documentation approprié pour faciliter le développement, la livraison et la traçabilité des projets Participer à l'explication et à la présentation de l'architecture système, des exigences fonctionnelles et de la documentation auprès de diverses audiences (support, chefs de projet, équipes sécurité, équipes Ops/DevOps) Développer des solutions conformes aux spécifications fournies, en garantissant l'extensibilité, la robustesse et la scalabilité des systèmes Tester et déboguer les fonctionnalités implémentées, et fournir des correctifs pour les anomalies et problèmes signalés Assurer la formation des utilisateurs et du personnel de support technique sur les systèmes mis en œuvre Résoudre des problèmes techniques complexes dans un environnement collaboratif, en apportant guidance et conseil aux autres membres de l'équipe Assister les autres équipes, notamment les équipes sécurité lors des certifications, les équipes régionales durant les audits, et les équipes Ops/DevOps Prendre en charge de manière complète ses propres tâches, de l'assignation à la finalisation Planifier les tâches des membres de l'équipe, suivre leur progression, vérifier leur achèvement et garantir la livraison dans les délais et niveaux de qualité définis Remonter et formuler des recommandations au management concernant la productivité des membres de l'équipe et la gestion du développement logiciel Contribuer à l'amélioration continue des processus

Nous poursuivons notre développement dans le Sud-Est et recrutons un Ingénieur développeur back-end Node.js (Nest.js) confirmé et ayant un bon niveau d’anglais oral pour l’un de nos clients situé vers La Ciotat. Mission : Au sein de l’équipe software en charge du développement de solutions sécurisées pour plateformes de paiement électronique, vos missions seront les suivantes : * Concevoir, développer et maintenir des API NestJS / NodeJS * Participer à l’architecture technique et à la mise en place de bonnes pratiques backend * Améliorer la performance , la robustesse et la sécurité des services existants * Collaborer avec les équipes produit, front-end et QA dans un environnement Agile * Rédiger la documentation technique * Participer aux phases de tests, aux revues de code et aux mises en production * Assurer une veille technologique et proposer des axes d’amélioration Profil : Idéalement ingénieur de formation, vous justifiez d’au moins 5 ans d’expérience en développement back-end Node ( TypeScript ), connaissez le framework Nest . Vous maitrisez le développement d’API type REST, les architectures microservices, et disposez de bonnes connaissances Cloud (AWS voire Azure ou GCP). Disposant d’une bonne culture DevOps & CI/CD, vous avez l’habitude des tests unitaires et d’intégration (avec idéalement des notions Mocha, Jest, Cypress, Gherkin ou Playwright). Des compétences ExpresJs et VueJs côté front seraient un atout supplémentaire. Très bon niveau d’ anglais (écrit et oral ) indispensable, car communication quotidienne avec des équipes internationales.

Data Engineer Spark/Scala Paris o Expérience dans la mise en œuvre de technologies et frameworks Big Data et NoSQL (Hadoop, Kafka, Spark, Scala, Hive, SolR, HBase, Kerberos) o Spark / Scala : confirmé o A l'aise avec le programmation fonctionnelle (connaissance des librairies ZIO, MONIX, CATS appréciée) o Expérience de travail dans un environnement Agile ; avec outils et méthodologies associés (Confluence, Jira, Scrum, Kanban) Au sein de la DSI Finance de la DSI, le poste recherché porte sur le besoin d’un Data Engineer Spark/Scala confirmé (5-6 ans d’expérience). Objectifs et livrables Objectifs Le prestataire intégrera le projet d’intégration en coordination avec le chantier assiette comptable de référence en tant que Data Engineer. Les développements sur ce chantier s’appuient sur la plateforme Datalake Finance, basée sur la distribution Hadoop HortonWorks qui collecte les données des différents systèmes de synthèse afin de répondre aux nouveaux besoins de reporting Finances & Risques (COREP, calcul RWA, IFRS9, etc.…) Les tâches seront les suivantes : • la mission consistera à prendre part aux développements, au sein du datalake pour acquérir les nouvelles sources de données, les assemblées et les distribuées aux consommateurs, tout en étant garant de la pérennité et la non-régression de l’outillage déjà en place • Vous participerez à la conception et à l’implémentation de ce projet et serez amené, à ce titre, à travailler en méthode Agile avec de nombreux acteurs métiers et les équipes de maintenance Compétences techniques o Expérience dans la mise en œuvre de technologies et frameworks Big Data et NoSQL (Hadoop, Kafka, Spark, Scala, Hive, SolR, HBase, Kerberos) o Spark / Scala : confirmé o A l'aise avec le programmation fonctionnelle (connaissance des librairies ZIO, MONIX, CATS appréciée) o Expérience de travail dans un environnement Agile ; avec outils et méthodologies associés (Confluence, Jira, Scrum, Kanban) Compétences demandéesCompétences Niveau de compétence Apache Kafka Avancé Apache Hadoop Confirmé Apache Hive Avancé SCALA Confirmé Spark Confirmé

Nous recherchons un(e) chef de projet Géomarketing pour piloter l’industrialisation de nos outils géomarketing et la mise en place d’un reporting KPI efficace, afin de renforcer la prise de décision et l’optimisation des opérations commerciales et logistiques. Missions principales : Industrialisation des outils géomarketing Analyse des besoins métiers et identification des outils existants. Standardisation et automatisation des processus géomarketing. Déploiement de solutions adaptées aux différentes entités du groupe. Formation et accompagnement des utilisateurs internes. Mise en place de reporting KPI Définition et structuration des indicateurs clés de performance (KPI) géomarketing. Création de tableaux de bord interactifs et automatisés pour le suivi des activités. Mise en place de processus de collecte, de consolidation et d’analyse des données. Pilotage de la performance et identification des leviers d’optimisation. Pilotage de projets transverses Coordination avec les équipes commerciales, marketing, logistique et IT. Suivi du planning, des coûts et des livrables. Garantir la qualité et la fiabilité des données utilisées dans les analyses. Profil recherché : Expérience confirmée en géomarketing et gestion de projets data / BI. Maîtrise des outils SIG (QGIS, ArcGIS…) et des solutions de data visualisation (Power BI, Tableau…). Bonne compréhension des enjeux commerciaux et logistiques dans un contexte multi-pays. Capacité à industrialiser des processus et à créer des reportings automatisés. Esprit analytique, rigueur et sens de la communication. Livrables attendus : Outils géomarketing industrialisés et documentés. Tableaux de bord KPI opérationnels et automatisés. Processus standardisés pour le suivi de la performance géomarketing.

Ton quotidien chez Komeet sera rythmé par : - Animation des ateliers afin d’étudier et cadrer les besoins clients. - Analyser, conseiller, et faire des recommandations de façon à améliorer l’efficience et l’efficacité de la solution Databricks chez ton client. - Préconisation, conception et mise en œuvre du LakeHouse Databricks - Rédaction de dossiers d’architecture et spécifications techniques - Mise en œuvre des stratégies d’exploitation de la plateforme Databricks - Mis en œuvre des flux d’intégration (en batch ou streaming) de données structurées/non structurées et volumineuses. - Tests, validation et documentation des développements - Réalisation d’audits et projets d’optimisation Nos choix technologiques : - Talend - DataBricks - Snowflake - DBT - Starburst - Tableau / Power BI / Looker - AWS, Azure et GCP

Le bénéficiaire souhaite une prestation d’accompagnement dans le cadre de la mise en place d'une plateforme AIOPS. Les missions sont : En tant que DataOps Engineer avec expertise MLOps, les missions sont : - Deploiement et maintenance des pipelines de données scalables et résilients (batch/streaming) en utilisant Kafka, Airflow, Kubernetes. - Industrialisation du cycle de vie des modèles ML (de l’entraînement au monitoring en production) via des pratiques MLOps (MLflow, Kubeflow, etc.). - Automatisation de l’infrastructure et les déploiements (IaC avec Terraform/Ansible, CI/CD avec Jenkins/ArgoCD). - Garantie la qualité des données (testing, linéage, observabilité) et la performance des modèles (drift detection, monitoring). - Collaboration avec les Data Scientists, Data Engineers pour aligner les solutions techniques sur les besoins métiers. Responsabilités Clés 1. Pipeline de Données & Orchestration - Développement et optimissation des pipelines Kafka (producteurs/consommateurs, topics ) pour le traitement en temps réel. - Orchestrer les workflows avec Apache Airflow (DAGs dynamiques, opérateurs custom Python/Kubernetes). - Automatisation le déploiement et la scalabilité des pipelines sur Kubernetes (Helm, Operators, ressources custom). - Gérer les dépendances entre pipelines (ex : déclenchement conditionnel, backfills). 2. MLOps & Industrialisation des Modèles - Packager et déployer des modèles ML. - Mettre en place des pipelines MLOps : - Entraînement (MLflow, Pipelines). - Testing (validation des données, tests de modèles avec Great Expectations). - Déploiement (, A/B testing). - Monitoring (drift des features/prédictions, logs avec ELK/Prometheus). - Optimisation des performances des modèles en production (latence, ressources GPU/CPU). 3. Infrastructure as Code (IaC) & CI/CD - Définition l’infrastructure en Terraform (modules réutilisables pour Kafka, Kubernetes, IBM Cloud). - Automatisation les déploiements avec Jenkins/ArgoCD (pipelines multi-environnements : dev/staging/prod). - Configuration les clusters Kubernetes (namespaces, RBAC, storage classes, autoscale HPA/VPA). - Sécurisation des accès (Vault pour les secrets) 4. Qualité des Données & Observabilité - Implémentation des tests automatisés : - Qualité des données (complétude, cohérence, schéma) - Validation des modèles (métriques, biais). - Monitorisation les pipelines et modèles : - Métriques techniques (latence, erreurs) et métiers (précision, recall). - Alertes proactives (ex : Dynatrace ou Grafana). 5. Collaboration & Amélioration Continue Participation aux rituels Agile (refinement, retro) et promouvoir les bonnes pratiques Data/MLOps. Control des équipes sur les outils (Airflow, Kafka) et les processus (CI/CD, testing). Assurance d´une veille technologique (ex : évolutions de Kubernetes Operators pour Kafka/ML, outils comme Metaflow). Collaboration avec les Product Owners pour prioriser les besoins métiers.

Bonjour, Pour le compte de mon client, nous recherchons un data engineer. L’équipe de BUILD (qui gère les données du socle relation client et du socle connaissance client. Cette équipe est en charge de mettre à disposition des données en fraicheur pour deux équipes business. Le Data Ingénieur sera intégré dans une équipe Marketing d’une dizaine de personnes. La ressource doit accompagner la direction dans la réalisation des outils BI et analyses ad hoc pour leur permettre la réalisation de leurs usages. La mission se décompose en deux volets : 1. DIR DATA : Apporter un appui à la capacité à faire de l’équipe BUILD du projet et d’épauler la capacité à faire des métiers sur des montées de versions de leurs produits data métiers. Contexte de migration des projets métiers data basé actuellement sur Synapse vers Unity Catalog (Databricks). 2. DIR MKT : L'objectif de la mission est de permettre à la direction de piloter les offres par la réalisation d'analyse et la construction de tableaux de bord. Les indicateurs mis en visibilité permettront à la direction de suivre l'adoption des offres et services et de prendre les décisions stratégiques. Actiivités du poste : Partie direction Data Participation active à l’appui des équipes métiers lors de la migration vers Unity Catalog / suppression de synapse. Appui aux métiers pour assurer la MCO de leurs produits data métiers Participation active à l’équipe de développement BUILD du projet et aux phases de recette et de validation sur les différentes livraisons des traitements de données en lien avec l’équipe de build projet. - Participation ponctuelle aux analyses d’écarts et à l’identification des causes racines sur des problèmes de qualité et incohérences de données remontées via les clients auprès de la Relation Client, l’équipe RGPD ou par d’autres canaux internes (ex : incohérences sur les dates de naissance, doublons de clients, de segments de voyages, problèmes de référentiels, etc.) - Participation ponctuelle à la construction et évolutions sur des tableaux de bord Power BI en lien avec les besoins de monitoring de la donnée des socles sous responsabilité de la direction Data . Partie Direction MKT : Construction et maintien de tableaux de bord : Élaboration et implémentation de modèles de données optimisés pour les tableaux de bord Construction du tableau de bord Validation de la conformité et de la fiabilité des données présentées dans les tableaux de bord Traitements de données Développement et maintien d’indicateurs Optimisation des performances des traitements de données Interne Automatisation de la chaine de traitements des données depuis le socle Data TGV-IC ou d'autres sources Supervision de la chaine de traitements Réalisation d’analyse Réalisation d'extractions et analyses data ad hoc pour répondre aux besoins spécifiques des métiers Actions de gouvernance de la donnée Catalogage de la donnée : Documentation des dictionnaires de données, du lineage et des produits data business Suivi de la qualité des données Mise en place d’un outil de supervision de la qualité des données Identification des anomalies et investigations

CONTEXTE Au sein de l’équipe Bronze, la mission se déroulera en collaboration avec les autres équipes de la Data, au coeur de la plateforme Data. Cette équipe est composée d’un product owner, d’un data steward et de deux autres data ingénieurs. Notre stack technique est principalement constituée de Python, Spark, SQL pour les traitements de données, Airflow pour l’orchestration et Cloud Storage et Delta lake pour le stockage. La stack inclut aussi les services BigQuery, Dataproc, PubSub et Cloud Storage de la Google Cloud Platform et Terraform et Terragrunt pour la gestion de l’infrastructure. MISSIONS : Prestation de cette équipe 1. Collecter et centraliser les différentes sources de données non homogènes 2. Assurer la conformité et la sécurité des données 3. Participer aux initiatives de gouvernance des données Prestation du data ingénieur En interaction avec les membres de l’équipe, la mission consiste à : • Participer activement aux différentes phases de conception, de planification et de réalisation des tâches avec l’équipe • Construire et maintenir de pipelines data robustes et scalables • Accompagner les membres de l’équipe dans l’exploitation et le requêtage des données • Organiser et structurer le stockage des données • Mettre en place et maintenir des infrastructures scalables capable de répondre aux besoins et à l’accroissement rapide du volume de données • Construire et maintenir les workflows de la CI/CD • Partager avec les autres data ingénieurs pour appliquer les bonnes pratiques en vigueur • Assurer l’évolutivité, la sécurité, la stabilité des environnements • Participer aux différentes instances des data ingénieurs • Contribuer et veiller à la mise à jour de la documentation • Faire de la veille technologique active dans le domaine Expertises demandées pour la réalisation de la prestation : • Au moins 3 ans d’expérience en tant que Data Ingénieur dans un environnement data • Compétences solides en data : structures de données, code, architecture • Expériences dans la conception et la réalisation de pipelines data • Expériences dans un environnement du cloud Google (GCP) • Expériences intégrant BigQuery et Dataplex Universal Catalog • Expériences intégrant les langages Python et SQL • Expériences intégrant Spark • Expériences intégrant delta lake • Expériences intégrant Terraform et Terragrunt • Expériences intégrant Gitlab et Gitlab CI/CD • Expériences intégrant les méthodologies Agile : Scrum ou Kanban • Capacité à vulgariser et à communiquer sur des aspects purement techniques