Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Airflow

Data Engineer Senior (H/F) – Full RemoteDans le cadre d'un programme de transformation Data d'envergure internationale, nous recherchons un Data Engineer Senior pour intervenir sur la conception et le développement de solutions data modernes. Vos missionsConcevoir, développer et maintenir des pipelines de données robustes et évolutifs. Développer et optimiser les processus ETL/ELT. Participer à la conception et à l'évolution d'une plateforme Data Cloud. Modéliser les données et garantir leur qualité. Concevoir des jeux de données destinés aux équipes Analytics et Business Intelligence. Optimiser les performances des traitements et des requêtes. Collaborer avec les équipes Data, Architecture, Produit et Métiers dans un environnement Agile. Rédiger la documentation technique et appliquer les bonnes pratiques de développement. Stack techniqueSnowflake SQL avancé Python ETL / ELT Modélisation de données Data Warehouse Cloud (AWS, Azure ou GCP) Outils d'orchestration (Airflow ou équivalent) Git CI/CD APIs REST Data Quality & Data Governance Méthodologie Agile / Scrum Profil recherchéMinimum 8 ans d'expérience en tant que Data Engineer. Excellente maîtrise de SQL et Python. Expérience confirmée sur Snowflake. Bonne connaissance des architectures Data Cloud. Solides compétences en modélisation de données et en optimisation des performances. Capacité à évoluer dans un environnement international. Anglais professionnel impératif. ConditionsMission de 6 mois renouvelable. Démarrage : dès que possible. Télétravail : 100 % (fuseau horaire européen). Environnement technique moderne et projet à forte visibilité.

AI Engineer We are looking for a number of AI engineers for an assignment based in Brighton. You will be working on the development of production agentic AI systems. You will design, build, and ship AI-powered features, while learning how to operate within a regulated, customer-facing environment Skills: - Languages: Python, Go, TypeScript - Cloud and infrastructure: AWS and/or GCP, Kubernetes - APIs and services: REST, gRPC - Distributed systems: event-driven architectures, including Kafka - Orchestration Frameworks: LangGraph, LangChain, AirFlow, etc Activities: - Integration of commercial and open-source LLMs into agentic workflows - Agent and orchestration frameworks such as LangChain, LlamaIndex, Semantic Kernel, or CrewAI - Model-level work using PyTorch and the Hugging Face ecosystem (embeddings, fine-tuning, inference tooling) - Strong schema, validation, and state management practices using tools such as Pydantic (Python) and Zod (TypeScript) The contract is for 6 to 12 months outside IR35. Candidates will need to be able to start within the next few weeks. There is a requirement to be on site three days per week in Brighton. LA International is an award-winning partner of choice for many of the world's most influential companies and government organisations. Holding Enhanced Government Security Accreditation, we are recognised as the European market leader in the delivery of Security Cleared talent to organisations that demand the very highest levels of security, compliance and assurance. A multiple award-winning organisation, having secured the prestigious Queens Award for Enterprise: International Trade over consecutive years. We are committed to fostering an inclusive, equitable and accessible workplace where everyone feels valued and supported. We welcome applications from all individuals, regardless of background or identity, and we encourage candidates who may not meet every listed requirement to still apply. If you require any adjustments or support during the recruitment process, please let us know and we will work with you to ensure a fair and accessible experience. Please Note: If a high volume of applications is received, only candidates shortlisted will be contacted.

La mission consiste à : - Exposer les données utiles à l'entreprise pour les analyser et les utiliser afin d'améliorer l'expérience utilisateur et la productivité - Transformer des données issues du DataLake afin de les normaliser - Modéliser la sphère de données - Développer les flux - Exposer des données brutes et/ou agrégées au bon niveau de granularité aux différents métiers de l'entreprise - Travailler en lien avec des Data Scientists sur les données qu'il aura exposées - Mettre en place des rapports de Dataviz - Mission basée en métropole lilloise avec présence sur site 3j/semaine obligatoire Compétences demandées : - Formation supérieure en école d'ingénieur, école d'informatique ou Master spécialisé dans la Data Science - Première expérience en Data Engineering indispensable - Snowflake, GCP, BigQuery, DBT, SQL, Semarchy, Airflow, Python ... - Excellents savoir-être : rigueur, esprit analytique et de synthèse, communication... - Méthode Agile - Anglais

Nous recherchons un Expert en Automatisation d'Infrastructure et Orchestration Cloud pour concevoir, implémenter et opérer une plateforme d'industrialisation des workloads (VM, middleware, ressources IaaS) et accompagner les équipes techniques dans cette transition. Vos principales responsabilités Conception et développement du catalogue de services : Automatiser le déploiement de bout en bout (bases de données, comptes de service, stockage, VIP, services middleware) en intégrant tout le cycle de vie (Day-0, Day-1, Day-2). Implémentation de l'Infrastructure as Code (IaC) et du GitOps : Structurer les dépôts de code, définir les stratégies de branches, normaliser le tagging, la sécurité et la gouvernance automatisée. Orchestration et CI/CD : Concevoir, exploiter et maintenir en conditions opérationnelles les pipelines CI/CD (Azure DevOps, Jenkins) et les workflows d'orchestration (Aria, vRO, Airflow). Acculturation et support transverse : Diffuser les pratiques SRE et DevOps auprès des équipes de production, rédiger la documentation (fiches services, guides d'usage) et aider à l'intégration des services fournis par les autres pôles (réseau, sécurité, IaaS). Qualité et conformité : Mettre en place la détection de dérive (drift detection), la gestion centralisée des secrets et la supervision (monitoring, alerting). Livrables attendus Modules Terraform / Ansible pour les offres d'infrastructure. Pipelines CI/CD standards et workflows d'orchestration intégrés. Documentation technique exhaustive (Runbooks, règles d'ingénierie, templates d'offres

Data Engineer – Gestion d'ActifsNotre client, un acteur mondial majeur de la gestion d'actifs, recherche un Data Engineer expérimenté pour rejoindre son département Investment Accounting & Administration au sein de l'activité Investment Management. Il s'agit d'une opportunité stratégique de contribuer au développement et à l'évolution d'une plateforme de données cloud au cœur des opérations d'investissement, de l'analytique et du reporting. Le candidat retenu participera à la conception, au développement et à l'optimisation d'un hub de données d'entreprise complexe, permettant aux équipes d'investissement d'exploiter pleinement les données Bloomberg ainsi que d'autres sources de données financières. En collaboration avec des équipes internationales, vous développerez des solutions de données évolutives qui soutiennent la prise de décision et la création de valeur à partir des données. Principales ResponsabilitésConcevoir, développer et maintenir des pipelines de données et des produits data cloud robustes au service d'opérations d'investissement critiques et d'applications analytiques à grande échelle. Renforcer et étendre les capacités de la plateforme de données de l'entreprise à l'aide de technologies modernes de Data Engineering. Collaborer étroitement avec les équipes d'investissement et les parties prenantes métiers afin de comprendre leurs besoins et fournir des solutions adaptées. Développer des solutions performantes basées sur Databricks, Spark, Delta Lake et les technologies cloud natives. Promouvoir les meilleures pratiques en matière de développement et de gouvernance des données : qualité de code, CI/CD, tests automatisés et fiabilité des plateformes. Contribuer à l'adoption de technologies innovantes, notamment l'Intelligence Artificielle, les Large Language Models (LLM) et les outils d'analyse avancée. Assurer une veille technologique continue afin d'accompagner l'évolution de la plateforme et des capacités de l'équipe. Compétences et Expérience RequisesMinimum 5 ans d'expérience en Data Engineering, dont au moins 5 ans sur Databricks dans la conception et le développement de pipelines de données. Solide expérience du cloud, idéalement Microsoft Azure ; une expérience sur AWS ou GCP sera également considérée. Maîtrise de Python, PySpark, SparkSQL et/ou Scala. Expérience dans la mise en place et l'orchestration de pipelines Big Data avec des outils tels qu'Azure Data Factory, Airflow, dbt ou équivalents. Expertise de Spark, particulièrement Databricks Spark et Delta Lake. Expérience dans l'implémentation de solutions Big Data dans un environnement cloud, incluant les Data Lakes et architectures Lakehouse. Excellentes compétences SQL avec la capacité de développer et d'optimiser des requêtes complexes sur de très grands volumes de données. Maîtrise de GitHub, du contrôle de version et des processus de déploiement CI/CD. Expérience des technologies d'IA, des LLM, de Databricks Genie ou d'outils similaires. Compétences SouhaitéesExpérience en architecture de bases de données et en modélisation de données (modèles conceptuels, logiques et physiques). Expérience préalable dans la gestion d'actifs, l'asset management, l'investissement ou un environnement de services financiers. Qualités PersonnellesExcellentes capacités d'analyse et de résolution de problèmes. Forte capacité d'apprentissage et adaptation rapide aux nouvelles technologies. Aisance relationnelle et aptitude à collaborer avec des équipes et parties prenantes internationales. Cette opportunité offre la possibilité de rejoindre une équipe Data en forte croissance et de contribuer à une plateforme stratégique au cœur des activités d'un leader mondial de la gestion d'actifs.

Contexte de la mission : Dans le cadre de l'évolution d'une plateforme Data stratégique, nous recherchons un(e) Senior Software Engineer pour intervenir sur une application centrale permettant de configurer et d'orchestrer des traitements de données. Vous contribuerez à la modernisation de cette application afin d'améliorer sa maintenabilité, sa robustesse, sa scalabilité et sa capacité à répondre aux nouveaux besoins métiers. Vous travaillerez en étroite collaboration avec les équipes Data, les Product Owners et les équipes Architecture afin de faire évoluer les standards techniques et les bonnes pratiques de développement. Vos missions : En tant que Senior Software Engineer, vous serez notamment amené(e) à : - Concevoir, développer et maintenir une application Python dédiée à l'orchestration et à l'exécution de traitements de données. - Moderniser l'architecture applicative afin de favoriser son évolutivité, sa performance et sa fiabilité. - Réduire la dette technique grâce à des travaux de refactoring et d'amélioration continue. - Concevoir et mettre en œuvre une stratégie complète de tests (tests unitaires, tests d'intégration, validation des règles métiers, automatisation dans les pipelines CI/CD). - Développer des composants génériques et configurables afin de limiter le code spécifique et favoriser la réutilisation. - Collaborer avec les équipes Data Engineering pour intégrer les traitements dans les pipelines de données. - Participer aux choix d'architecture et aux décisions techniques structurantes. - Promouvoir les bonnes pratiques de développement logiciel, de qualité de code et d'industrialisation. - Accompagner les équipes dans l'amélioration continue des pratiques de développement. Valeur ajoutée de la mission : Vous jouerez un rôle clé dans la modernisation d'une plateforme Data stratégique en contribuant à l'amélioration de son architecture, de sa qualité logicielle et de ses performances. Votre expertise permettra de renforcer la robustesse de la plateforme tout en facilitant le développement de nouveaux traitements et l'évolution des besoins métiers. Environnement technique : 1. Langages et développement - Python - SQL 2. Data Engineering - Apache Spark - PySpark - Databricks - Delta Lake - Architecture Lakehouse 3. Cloud - AWS (S3, ECS, Fargate...) 4. Orchestration - Apache Airflow 5. DevOps - Git - GitLab CI/CD - Docker 6. Infrastructure as Code - Terraform - Terragrunt 7. Gouvernance - Gestion des accès - Monitoring - Optimisation des coûts - Gouvernance des données 8. Méthodologie - Agile Scrum Expertise souhaitée Profil recherché : - Minimum 5 ans d'expérience en développement logiciel avec une forte expertise Python. - Solide expérience en conception d'architectures logicielles et en refactoring d'applications existantes. - Bonne maîtrise des environnements Cloud, idéalement AWS. - Expérience des plateformes Data et des traitements distribués. - Maîtrise des bonnes pratiques de qualité logicielle et des tests automatisés. - Expérience des pipelines CI/CD et des environnements DevOps. - Connaissance des architectures distribuées et des problématiques de performance et de scalabilité. Qualités attendues : - Esprit d'analyse et capacité à proposer des solutions techniques innovantes. - Excellentes capacités de communication et de collaboration. - Autonomie, rigueur et sens de l'organisation. - Goût pour le partage de connaissances et l'accompagnement technique des équipes. - Capacité à évoluer dans un environnement Agile et à contribuer aux décisions stratégiques. Mobilité Non renseigné * Champs obligatoires

Mission DescriptiDescription de la mission Cette mission s'inscrit au sein de l'équipe en charge des solutions de reporting IT. Au sein d'une petite équipe agile, en tant que développeur Python / PySpark, vous travaillerez en étroite collaboration avec un analyste métier dédié dans l'environnement Cloud de BNP Paribas. Vos responsabilités incluront : Développer du code Python / PySpark (ou technologie équivalente) performant et évolutif. Concevoir et mettre en œuvre des solutions robustes. Déboguer les applications afin de garantir une faible latence et une haute disponibilité. Mettre en œuvre les mesures de sécurité et de protection des données. Respecter les directives de sécurité, notamment en assurant les mises à jour régulières des composants. Réaliser des revues de code des développements effectués par les autres membres de l'équipe. Environnement techniqueBases de données relationnelles : SQL Server / PostgreSQL Python Airflow LivrablesMises en production logicielles mensuelles et trimestrielles. Sprints organisés toutes les deux semaines. Prérequis techniquesDiplôme en informatique ou en ingénierie. Expérience préalable en tant que développeur Python. Bonne maîtrise d'un framework Python (Django, Flask, PyCharm). Dans le cadre de cette mission, PyCharm est utilisé comme environnement de développement principal. Connaissance de TFS comme outil de tests. Maîtrise de Flask. Remarque : La mention « PyCharm comme framework » dans le texte original semble être une erreur, car PyCharm est un environnement de développement (IDE) et non un framework. Il est probable que l'annonce veuille simplement indiquer que PyCharm est l'outil utilisé par l'équipe.

Almatek recherche pour l'un de ses clients, Un Concepteur / Développeur Python, SQL sur Paris 2ème Compétences techniques Python - Expert - Impératif SQL - Expert - Impératif Connaissances linguistiques Anglais Professionnel (Secondaire) Description détaillée Pour renforcer un projet pour un Client bancaire, nous recherchons un profil Développeur Python (>= 6 ans d'expérience). Rôle : Techlead du backend applicatif, en charge des APIs et des traitements d'intégration de données complexes. Missions principales - Développer des APIs REST en Python FastAPI (Framework Web) - Concevoir et exposer des endpoints robustes et performants - Implémenter des traitements d'intégration de données à partir de fichiers XML complexes - Garantir de bonnes performances (traitements volumineux sans chargement complet en mémoire) - Gérer l'accès et l'écriture en base PostgreSQL - Industrialiser les traitements sur OpenShift Compétences attendues - Python avancé - FastAPI (conception d'API, validation de données, gestion des erreurs) - Traitement XML volumineux (lecture “streaming”, performance mémoire) - Bases de données PostgreSQL + Langage SQL - Connaissances OpenShift (déploiement, jobs, configuration) - Notions d'Airflow (intégration avec les traitements backend)

Senior Data Eng : Developpeur DBT/Snowflake Roubaix ou MassyTechniques / Outils : Snowflake / DBT / Git / Airflow SQL (voire Python) Développement, modélisation, gestion de projet, documentation Fonctionnel : développement de campagnes commerciales B2C (via DBT) Gestion de projet : Aide aux bonnes pratiques d'organisation, documentation Agilité : connaissances des bonnes pratiques et aide à la diffusion Bonnes pratiques d'architecture / organisation en mode projet, aide à la documentation sous Confluence, Collibra Rapidement opérationnel Logistique : Travail en Français En régie, 3j/ semaine sur site : idéalement à Roubaix, sinon Massy Durée : 4 mois mini, préférence 6 mois Début mission : ASAP Objectifs et livrables Développer des campagnes triggers et parcours sous forme de pipelines dans DBT pour développer nos usages de l'application et de l'utilisation des données digitales Modélisation de données et créations de datamarts Compétences demandéesCompétencesNiveau de compétence Programmation Python Avancé Base DE données Snowflake Confirmé dbt Expert

En tant que Senior Ingénieur Snowflake, vous serez responsable de : Conception & Architecture Concevoir, modéliser et optimiser les architectures Data Warehouse / Data Lakehouse sous Snowflake. Définir la stratégie d'ingestion, de transformation et de stockage des données. Concevoir des pipelines data performants et sécurisés. Développement & Industrialisation Développer des flux de données (ETL/ELT) avec Snowflake, SQL, Python et outils d'intégration (DBT, Fivetran, Airflow…). Optimiser les performances des warehouses, requêtes SQL et processus de calcul. Mettre en place des environnements CI/CD pour les projets data. Sécurité & Gouvernance Implémenter les bonnes pratiques de sécurité : gestion des rôles, RBAC, chiffrement, monitoring, FinOps. Gérer la qualité des données, le catalogage et la gouvernance. Support & Collaboration Collaborer avec les équipes Data, IT, BI et Métier pour comprendre les besoins. Fournir support, documentation et bonnes pratiques. Participer à la veille technologique autour de la Data & du Cloud. Compétences techniques recherchées Indispensables Maîtrise de Snowflake (warehouses, compute, storage, performance, sécurité). Excellente maîtrise du SQL avancé. Expérience sur un cloud public (AWS, Azure ou GCP). Connaissance des architectures Data (DWH, Lakehouse, MPP, data pipelines). Appréciées DBT, Airflow, Fivetran, Matillion ou équivalents. Python pour la manipulation et l'automatisation. Outils BI (Power BI, Tableau, Looker…). Pratiques DevOps : Git, CI/CD, Terraform. Connaissances en IA / Machine Learning (bonus).

Tech Lead en grand compte, c'est d'abord garantir la réussite technique d'un produit : architecture cible, choix technologiques, qualité logicielle, cybersécurité by design, industrialisation, montée en compétence d'une équipe. La chaîne data et l'IA font partie du scope de la Squad — comme une dimension du produit, pas comme votre spécialité d'expert. Vous avez tenu ce rôle 3 à 5 ans en SAFe ? Rejoignez une Squad Agile Data & IA d'un leader européen de la production électrique. Au sein d'une Squad Agile Data & IA d'un leader européen de la production électrique, vous rejoignez en Tech Lead un produit dont vous êtes le référent technique principal. Vous êtes responsable de l'architecture cible, des choix technologiques, de la qualité des développements, de la sécurité, de l'industrialisation et de la montée en compétence de l'équipe. Le produit couvre plusieurs couches techniques que vous portez en transverse : backend Java / Spring Boot avec APIs REST (OpenAPI, OAuth2 / JWT) déployé sur Openshift et adossé à des plateformes data internes (Hexadata, GoldenGate), frontend Angular ou React, pipelines data (Airflow, Spark, Trino, Data Warehouse, Data Lake), chaîne IA (Machine Learning, Deep Learning, LLM, RAG, LangChain, IA agentique), cloud et DevOps (Azure / AWS / GCP, Docker, Kubernetes, Terraform, GitLab CI/CD, Jenkins, SonarQube). Vous portez également les sujets de cybersécurité (OWASP, IAM, MFA, chiffrement, RGPD, sécurisation des APIs, gestion des secrets) et le support de niveau 3 / maintenance évolutive. La data et l'IA sont dans le scope de la Squad — vous appréhendez la chaîne sans être attendu comme expert pur sur ces sujets. Vos ResponsabilitésVotre quotidien s'articulera autour de quatre piliers majeurs : Architecture cible & choix technologiques : Définir l'architecture cible du produit et réaliser les choix technologiques structurants sur l'ensemble des couches — backend Java / Spring Boot, frontend Angular ou React, pipelines data (Airflow / Spark / Trino), chaîne IA, cloud (Azure / AWS / GCP), déploiements Openshift. Arbitrer les décisions d'architecture transverses et défendre les options retenues. Tech leadership, qualité & industrialisation : Encadrer les développeurs (coaching, pair programming, animation d'ateliers techniques, gestion de la dette technique), réaliser les revues de code, garantir la qualité logicielle (couverture de tests, SonarQube), piloter les sujets DevOps et CI/CD (Git, GitLab, Jenkins, Docker, Kubernetes, Terraform), et participer aux cérémonies Agile et SAFe. Cybersécurité by design : Assurer la sécurité des développements et porter les standards de cybersécurité du produit (OWASP Top 10, gestion des identités et des accès, MFA, chiffrement des données, RGPD, sécurisation des APIs, gestion des secrets) dans un cadre grand compte exigeant. Référent technique du produit, support N3 & livrables : Constituer le référent technique principal du produit, accompagner les décisions stratégiques, assurer le support de niveau 3 et la maintenance évolutive, et produire les livrables structurants (dossiers d'architecture, spécifications techniques, schémas de flux, documentation Confluence, backlog technique, plan de tests, guides de déploiement, documentation d'exploitation).

Conception, Développement et Optimisation de Pipelines de Données sur GCP : ○ Concevoir, développer et maintenir des pipelines robustes et performants de collecte, transformation et chargement de données à partir de diverses sources (Oracle, fichiers, APIs, etc.) vers BigQuery et d'autres destinations. ○ Utiliser et orchestrer les services Google Cloud Platform (Dataflow, Dataproc, Cloud Composer/Airflow, Pub/Sub, Cloud Storage, BigQuery) pour construire des architectures de données scalables et fiables. ○ Assurer l'automatisation des traitements, la gestion des dépendances et l'ordonnancement des jobs de données. ○ Optimiser les performances des pipelines et la consommation des ressources GCP. Modélisation et Gestion des Données : ○ Participer à la conception et à l'évolution des modèles de données dans BigQuery, en collaboration avec les Data Analysts et les équipes métier. ○ Assurer la qualité, la cohérence et l'intégrité des données stockées et mises à disposition. ○ Mettre en place et gérer des stratégies de versioning des schémas de données et de cycle de vie des données. Run Opérationnel, Maintenance et Support N2/N3 : ○ Assurer le support opérationnel de niveau 2/3 du produit Topase dans ensemble (GCP + Solution éditeur). ○ Développer et maintenir des scripts Bash pour l'automatisation des tâches opérationnelles, la supervision des flux, l'extraction/transformation de données et les tâches de maintenance système. ○ Écrire, optimiser et exécuter des requêtes SQL complexes pour l'analyse, la qualification, le diagnostic d'incidents, la manipulation et la restitution de données dans BigQuery et Oracle. ○ Gérer les incidents en collaboration avec l'éditeur et les équipes internes. ○ Participer à la qualification des livraisons de patchs éditeur impactant les flux de données. ○ Gérer les incidents éditeur sur son CRM et participer aux ateliers de suivi.

4. Description de la prestation et des missions attenduesLe/La Data Engineer sera intégré(e) à l'équipe produit TOPASE NLS et interviendra sur les missions suivantes : 🔹 Conception, développement et optimisation des pipelines de données (GCP)Concevoir, développer et maintenir des pipelines robustes et performants pour la collecte, la transformation et le chargement des données depuis diverses sources (Oracle, fichiers, API, etc.) vers BigQuery et autres cibles. Exploiter et orchestrer les services Google Cloud Platform (Dataflow, Dataproc, Cloud Composer/Airflow, Pub/Sub, Cloud Storage, BigQuery) afin de construire des architectures data scalables et fiables. Automatiser les traitements, gérer les dépendances et orchestrer les jobs de données. Optimiser les performances des pipelines ainsi que la consommation des ressources GCP. 🔹 Modélisation et gestion des donnéesParticiper à la conception et à l'évolution des modèles de données dans BigQuery, en lien avec les Data Analysts et les équipes métiers. Garantir la qualité, la cohérence et l'intégrité des données. Mettre en œuvre des stratégies de versioning des schémas et de gestion du cycle de vie des données. 🔹 Run opérationnel, maintenance et support N2/N3Assurer le support opérationnel de niveau 2/3 de la solution TOPASE (environnement GCP + solution éditeur). Développer et maintenir des scripts Bash pour automatiser les tâches récurrentes (supervision, traitement de données, maintenance). Rédiger, optimiser et exécuter des requêtes SQL complexes (BigQuery et Oracle) pour l'analyse, le diagnostic d'incidents et la restitution de données. Gérer les incidents en collaboration avec les équipes internes et l'éditeur. Participer à la qualification des livraisons de patchs éditeur impactant les flux de données. Suivre les incidents via le CRM éditeur et contribuer aux comités de suivi. 🔹 Monitoring, logging et alertingMettre en place et maintenir des dispositifs de supervision des flux de données, de la qualité, des performances et de l'utilisation des ressources (Stackdriver, Grafana, Looker Studio). Définir et implémenter des alertes permettant la détection proactive des anomalies. Concevoir des tableaux de bord pour le suivi des KPI opérationnels et métier. 🔹 Infrastructure as Code (IaC)Contribuer à la définition et à l'implémentation de l'infrastructure data via Terraform. Garantir la reproductibilité et la traçabilité des environnements (Dev, Recette, Pré-prod, Prod). 🔹 Collaboration et conseilTravailler en étroite collaboration avec les équipes Data (Data Scientists, Data Analysts), les Product Owners et les métiers. Proposer des solutions techniques adaptées et conseiller sur les bonnes pratiques en Data Engineering. Participer aux rituels Agile/Kanban de l'équipe produit. 5. Compétences et expériences requises5.1 Expertise techniqueCloud GCP : Expertise confirmée des services data (BigQuery, Dataflow, Cloud Storage, Pub/Sub, Composer/Airflow, Stackdriver, Data Catalog). Bases de données : Maîtrise avancée SQL (optimisation, requêtes complexes), expérience sur BigQuery et Oracle 19 (MySQL/PostgreSQL appréciés). Scripting : Excellente maîtrise de Bash (indispensable pour le run). Systèmes : Bonne maîtrise des environnements Linux (RedHat). IaC : Solide expérience avec Terraform. CI/CD : Maîtrise d'un outil comme GitLab CI. Monitoring/Logging : Stackdriver, Grafana, ELK, Looker Studio. Versioning : Git (GitLab). Réseaux : Connaissances solides (TCP/IP, HTTP/S, DNS, load balancing, firewall). Data Engineering : Maîtrise des concepts ETL/ELT, Data Warehouse, Data Lake et streaming. 5.2 Environnement technique TOPASE NLSOS : RedHat Enterprise 9.4 Cloud : Azure (solution éditeur) & GCP (data, monitoring, pipelines) CI/CD : GitLab CI IaC : Terraform Monitoring : Looker Studio, GANTI, Grafana, ELK Bases : Oracle, BigQuery Langage : Bash 5.3 Méthodologies et soft skillsExpérience en environnement Agile (Scrum, Kanban). Excellentes capacités d'analyse et de résolution de problèmes, notamment en situation d'incident. Autonomie, proactivité et sens de l'amélioration continue. Bonnes compétences de communication (français courant, anglais technique). Esprit d'équipe et partage des connaissances. Sens des responsabilités, notamment en environnement de production. 5.4 ExpérienceMinimum 3 ans d'expérience en tant que Data Engineer, idéalement sur GCP. Expérience sur des environnements à forte volumétrie, avec des enjeux de performance, fiabilité et disponibilité.

Contexte Notre organisation opère une infrastructure basée sur VMware Cloud Foundation, avec des workloads majoritairement sous forme de VM, complétés par des services middleware (DB, stockage NAS, comptes de service, VIP, etc.). Nous souhaitons accélérer la transformation de notre production informatique vers un modèle Infrastructure as Code (IaC), GitOps et SRE, afin de : Réduire les délais de mise à disposition des environnements, Standardiser et sécuriser les déploiements, Réduire les interventions manuelles récurrentes, Améliorer la traçabilité, la conformité et l'observabilité. Nous recherchons un expert en automatisation d'infrastructure / orchestration cloud interne, capable de concevoir, mettre en œuvre et opérer une plateforme d'industrialisation de nos workloads (VM, services middleware, ressources infra) dans un contexte VMware Cloud Foundation. Les objectifs principaux : Mettre en œuvre et industrialiser les pratiques IaC et GitOps Normaliser le tagging, la sécurité, la gouvernance automatisée. Renforcer l'usage de Git comme source de vérité (GitOps). Structurer et opérer les mécanismes d'orchestration Conception et exploitation des pipelines CI/CD. Mise en place d'un orchestrateur de workflows pour les offres d'infrastructure. Intégration des services fournis par les équipes infra (IaaS, réseau, sécurité, DB, middleware). Construire et maintenir un catalogue d'offres automatisées VM, kubernetes, comptes de service, VIP, DB, stockage SAN/NAS, etc. Incluant le cycle de vie complet Day-0, Day-1, Day-2 Description Contribution Conception et Dévveloppement des offres du catalogue Déploiement automatisé de base de données, comptes de service et secrets, VIP, stockage, services middleware. Mise en place des actions Day-2 (patching, resize, rotation credentials, etc.). Structuration de la traçabilité, monitoring, supervision et post-action. Contribution transverse aux équipes Acculturation à l'IaC, GitOps, SRE (fiabilité, disponibilité, SLO/SLA), exploitation automatisée. Support aux équipes dans l'intégration des pipelines applicatifs avec la plateforme d'orchestration. Contribution au design des environnements techniques : Recommandations d'architecture pour l'automatisation. Standardisation des patterns de déploiement. Administration et exploitation de la plateforme d'automatisation / orchestration Maintien en conditions opérationnelles de la chaîne d'orchestration (Pipelines CI/CD, orchestrateurs de workflow, etc.). Participation à la mise en œuvre en collaboration multi-domaines : Coordination entre les domaines réseau, sécurité, middleware, stockage... Intégration des offres automatisées founies par les autres équipes techniques (IaaS, middleware, sécurité, habilitations…). Contribution au modèle IaC / GitOps / SRE. Standardisation des règles d'ingénierie (tagging, sécurité, supervision,...). Mise en place de contrôles automatisés : drift detection, compliance, secrets management. Transférer savoir-faire aux équipes d'exploitation et rédiger documentations. Livrables Automatisations opérationnelles : Scripts / modules Terraform, Ansible ou équivalents pour : Création d'offres NAS, comptes de service, VIP, VM, DB… Workflows d'orchestration intégrés à la plateforme (Aria, VRO, Airflow, etc.). Intégration de nouveaux services / providers : Onboarding de nouveaux services dans la plateforme d'orchestration (DNS/IPAM, firewall, PKI, sauvegarde, etc.). Connecteurs et intégrations avec les outils existants (ITSM, CMDB… si applicable). Documentation structurée : Modèles d'offres (catalogue d'offres, fiches services). Règles de tagging, de sécurité, de naming, de compliance. Guides d'usage pour les équipes internes (runbooks, how-to). Templates d'offres et pipelines d'assemblage : Templates standard de pipelines CI/CD pour l'infrastructure. Modèles GitOps (organisation des repos, stratégies de branches, PR, revue de code).