Trouvez votre prochaine offre d’emploi ou de mission freelance Data Engineering

Freelance – Data Engineer / Data Analyst Confirmé (Snowflake, Airflow, dbt) Contexte Notre client recherche un Consultant Data Engineer / Data Analyst confirmé pour renforcer son équipe Data et accompagner les évolutions de sa plateforme décisionnelle. Missions Concevoir et développer des pipelines de données robustes et performants. Participer à la modélisation et à la transformation des données. Assurer la qualité, la fiabilité et la disponibilité des données. Collaborer avec les équipes métier afin de répondre aux besoins d'analyse et de reporting. Participer aux bonnes pratiques de développement et à l'optimisation des traitements. Compétences requisesIndispensables Excellente maîtrise de Snowflake. Solide expérience sur Apache Airflow. Bonne maîtrise de dbt (Data Build Tool). Expérience significative en environnement Data Engineering et Data Analytics. Anglais professionnel impératif (échanges réguliers dans un contexte international). Informations complémentaires Mission jusqu'à fin d'année avec possibilité de prolongation.

Contexte & Enjeux du Projet Au sein d'un éditeur logiciel d'envergure internationale, l'équipe Regtech développe une nouvelle solution de suivi réglementaire destinée aux grandes banques dépositaires (vérification du respect des contraintes légales et prospectus des fonds d'investissement). La chaîne applicative automatisée comprend : Gestion du cycle de vie des fonds et suivi réglementaire. Data Engineering / ETL sur-mesure : Ingestion et transformation quotidienne de données de marché à forte volumétrie. IA / NLP : Identification et annotation automatique des règles statutaires dans les documents (modèles internes). Moteur de règles haute performance : Vérification quotidienne de la conformité sur des centaines de milliers de règles. Workflow de remédiation : Suivi et gestion des breaches (non-conformités). Indicateurs de charge (1er client - Banque française / +10 000 fonds) : ~3 400 fichiers importés/jour ➔ ~60 000 datasets ➔ ~1 000 000 de règles exécutées par nuit. Historisation réglementaire de 15 ans. Organisation & Périmètre de la Squad L'équipe Regtech réunit ~40 personnes (PM, PO, DevOps, Dev, QA) réparties en 3 squads fonctionnelles et 1 squad transverse, dans un environnement Agile Scrum distribué entre la France et l'Inde. Vous piloterez la squad Moteur de Règles & Workflow de Breaches (cœur de réacteur applicatif soumis aux plus fortes exigences de volumétrie et performance). Composition de la Squad : 1 Product Manager, 1 à 2 Product Owners 7 à 8 Développeurs Fullstack (avec forte appétence Back-end, seniors) 2 QA (dont 1 expert en automatisation de tests Playwright) 1 Co-Squad Lead basé en Inde (relai sur les revues de code) Rattachement direct au responsable des squads, appuyé par un Architecte/SRE. Missions du Squad Lead (50% Pilotage / 50% Code) Architecture & Technique : Définir et garantir les architectures cibles. Prendre et défendre des choix techniques structurants. Encadrement & Lead : Manager, faire monter en compétences et accompagner au quotidien les développeurs de la squad. Développement Hands-on : Contribuer activement au code (.NET) avec un haut niveau d'exigence sur la performance, la maintenabilité et la qualité. Qualité de code : Promouvoir les bonnes pratiques, le refactoring et une couverture de tests unitaires rigoureuse. Environnement Technique & Outillage IA Back-end : .NET 8 (migration .NET 10 en cours), Entity Framework, NHibernate, Hangfire Front-end : Angular 15 (migration v20/21 prévue cette année) Data / Scalabilité : NuoDB, PostgreSQL, DuckDB in-memory (pour l'exécution parallèle des règles sans goulet d'étranglement) Infra / Services : Redis (cache distribué & queuing), AWS S3, JS Report Tooling : Visual Studio, Cursor, Jira, Confluence, Playwright (QA) Culture IA : Utilisation active de Cursor et mise à disposition de GPU dédiés pour faire tourner des agents internes (ex: agent de revue automatisée de PR, agent d'analyse automatique de logs et pré-diagnostic de tickets).

Vous souhaitez rejoindre un projet innovant dans le domaine de la data et travailler au sein d'un environnement dynamique ? Rejoignez Soors pour intervenir sur des missions de Data Engineering autour de technologies cloud et data avancées. Missions principales : - Participer à la rénovation des solutions data de la Supply Chain. - Intervenir en maîtrise d'œuvre DATA sur des développements de couche basse et des sujets Data as a Product (DaaP). - Concevoir, déployer et industrialiser des workflows complexes dans Dataiku. - Exploiter les services Google Cloud Platform, BigQuery et Cloud Storage pour construire des architectures performantes, robustes et sécurisées. - Optimiser les traitements et requêtes sur de gros volumes de données. - Automatiser les déploiements et mettre en œuvre les pratiques DevOps et CI/CD. - Identifier et résoudre les goulets d'étranglement, assurer la qualité des données exposées aux équipes métiers et aux outils de restitution BI. Environnement technique : - Dataiku, Google Cloud Platform, BigQuery, Cloud Storage, ETL, SQL, Python, Airflow, Docker, Kubernetes, DevOps, CI/CD. Collaboration et modalités : - Travail en équipe pluridisciplinaire, interaction avec les équipes métiers. - Mission basée à Eysines avec possibilité de télétravail partiel. - Autonomie et rigueur sont attendues dans la gestion des tâches fonctionnelles et techniques, ainsi qu'un bon esprit d'analyse et de synthèse.

Bonjour à tous 😀 Contexte : Dans le cadre de l'évolution d'une plateforme Data stratégique de l'un de nos clients, nous recherchons un Architecte Solution Databricks / Tech Lead afin d'accompagner les équipes dans la conception, l'industrialisation et la gouvernance des solutions Data. L'environnement est fortement orienté plateforme Data, avec des enjeux de : conformité réglementaire et sécurité des données ; gouvernance et intégration des données à l'échelle du groupe ; industrialisation des pipelines Data ; Le consultant jouera un rôle de référent technique Databricks auprès des équipes de développement et des métiers. Vos missions : Vous interviendrez notamment sur : Concevoir l'architecture technique des solutions Databricks Accompagner les équipes de développement sur les bonnes pratiques Développer et industrialiser des pipelines Data batch et temps réel Participer aux choix techniques et aux études d'architecture Réaliser des audits techniques et analyses de risques Produire la documentation d'architecture (DAT, dossiers techniques...) Accompagner les PoC Participer aux cérémonies Agile Être le référent technique Databricks de la plateforme Les livrables : Développements Scripts techniques DAT Documents de cadrage Reporting Estimations techniques Analyses de risques Audits Supports de PoC Cahiers de tests Procédures d'installation Documentation d'exploitation Rapport de fin de mission Profil recherché : MUST HAVE : Expérience : 6 ans minimum en Data Engineering / Architecture Data Expérience significative en environnement DSI Au moins 2 ans au sein d'équipes Agile Scrum Expertise technique : Databricks (5 ans minimum) Spark / Scala Développement de pipelines batch et streaming Certification officielle Databricks Terraform Jenkins ou Docker ou Kubernetes Gouvernance Data RGPD Connaissances appréciées : AWS Power BI GitLab CI Okta Jira Confluence Soft Skills : Excellent relationnel Leadership technique Forte capacité rédactionnelle Organisation Gestion de plusieurs sujets en parallèle Animation de réunions techniques Capacité à intervenir lors des Go/NoGo Les + : Databricks sur AWS Data Mesh Animation de formations Databricks Coaching technique Audit d'architecture Accompagnement d'équipes de développement Environnement technique : Databricks Spark Scala AWS Terraform Jenkins Docker Kubernetes GitLab CI Power BI Jira Confluence Okta

Almatek recherche pour l'un de ses clients Un Senior Data Engineer sur Vélizy. Contexte de la mission Dans le cadre du développement de ses capacités data, le client souhaite renforcer son équipe Data Engineering afin de : Construire et industrialiser des pipelines de données Structurer des architectures Data Lake / Data Warehouse modernes Améliorer la qualité, la performance et la scalabilité de la plateforme data Accompagner les équipes métiers dans l'exploitation des données Le consultant interviendra en collaboration étroite avec les équipes produit, plateforme, et métiers réparties à l'international. Environnement Fonctionnel & Technique ETL / ELT : Talend, SSIS, Azure Data Factory Base de données : SQL Server (Database Engine, SSIS, SSAS) Data Platform : Data Lake, Data Warehouse, Data Marts Outils : Power BI (PBIRS), dbt Technologies complémentaires : Trino, MinIO (ou équivalent) Cloud (nice to have) : GCP (BigQuery, GCS, Dataproc) CI/CD : Azure DevOps, GitLab Architecture : Medallion architecture Missions principales Data Engineering Concevoir, développer et maintenir des pipelines ETL/ELT Implémenter des mécanismes de chargement (full / delta / historique) Optimiser les performances des traitements et requêtes SQL Assurer la qualité et la fiabilité des données Data Architecture Concevoir des Data Lakes, Data Warehouses et Data Marts Modéliser des jeux de données complexes répondant aux besoins métiers Participer à la mise en place d'architectures modernes (medallion, distributed query) Data Integration Intégrer des données via API, fichiers et autres mécanismes d'ingestion Assurer l'interopérabilité avec les systèmes sources Collaboration & Agile Travailler avec Product Owners, équipes techniques et métiers Participer au cadrage des besoins (data discovery, data scoping) Appliquer les méthodologies Agile Industrialisation & CI/CD Mettre en place des pipelines CI/CD pour les déploiements Maintenir des standards de qualité (tests, documentation, versioning) Livrables Composants data développés et déployés (code source) Documentation technique et fonctionnelle Modèles de données documentés Rapports d'audit et de contrôle qualité Rapports de tests et validation Transfert de compétences et support Compétences requises Techniques Très bonne maîtrise SQL (optimisation, tuning) Expertise Microsoft Data Stack (SSIS, SSAS, SQL Server) Expérience en ETL/ELT et modélisation data Bonne connaissance des architectures Data modernes Expérience avec dbt Connaissance des moteurs distribués (Trino ou équivalent) CI/CD (Azure DevOps ou GitLab)

🚀 Mission Freelance – MongoDB Architect (Migration Cassandra → MongoDB Atlas) 📍 Lieu : Neuilly-sur-Seine (3 jours sur site / semaine – flexible) 📆 Durée : 6 mois (renouvelable) 🌍 Langues : Français & Anglais obligatoires 📌 Disponibilité : ASAP / à convenir 🧩 Contexte de la mission Dans le cadre d'un programme de transformation data pour un client du secteur du luxe, nous recherchons un MongoDB Architect freelance senior pour accompagner une migration de DataStax (Cassandra) vers MongoDB Atlas. La mission s'inscrit au sein d'une équipe agile et implique une forte collaboration avec les équipes Architecture, Data, Développement, Infrastructure ainsi qu'avec l'éditeur MongoDB. 🎯 Objectifs de la mission Le consultant interviendra en tant que référent technique pour : Définir et concevoir l'architecture cible sur MongoDB Atlas Piloter la migration des données et des applications depuis Cassandra (DataStax) Mettre en place les stratégies de modélisation et transformation des données Garantir la performance, la scalabilité et la sécurité de la nouvelle plateforme Superviser plusieurs workstreams de migration en parallèle Assurer la stabilité des environnements en phase de transition 🛠️ Compétences requises Expertise confirmée sur MongoDB / MongoDB Atlas Expérience avérée en architecture data & migration complexe Bonne maîtrise de Cassandra / DataStax fortement appréciée Solide background en data platform / data engineering / architecture cloud Capacité à travailler en environnement agile et multi-équipes Excellentes compétences de communication (FR / EN) 📩 Candidature Merci de soumettre uniquement des profils basés en France. Merci d'indiquer votre TJM ainsi que votre disponibilité.

Langues : Français courant, Anglais professionnel Contexte de la Mission Le client opère une plateforme Data Lakehouse pour ses activités de banque et d'assurance à travers 9 pays européens. L'architecture "médaillon" repose sur une stack moderne et code-centric (Snowflake, DBT, Airflow MWAA, AWS, Collibra, Elementary). Aujourd'hui, la qualité des données est assurée par des tests techniques (DBT tests, Elementary). L'enjeu de cette mission est de pallier le manque d'un framework structuré couvrant l'ensemble des dimensions de qualité, les besoins métiers et les fortes exigences d'audit. Le consultant devra notamment adresser deux recommandations d'audit : définir des KPIs centraux croisés sur l'ensemble des pays (JV) et évaluer/déployer un outil central de monitoring de la Data Quality. Objectifs & Phases du Projet La mission s'articule autour de la structuration d'un Data Quality Framework Cadrage et Définition : Récupération du framework historique, inventaire des pistes d'audit, définition des KPIs centraux cross-JV et évaluation de l'Open Data Contract Standard (ODCS). Structuration & Outils : Benchmark et recommandation d'outils DQ (Elementary, Snowflake DMF/Cortex, Dataiku, Great Expectations). Implémentation : Mise en place de data contracts sur 3 couches (Standard, Target, Business) et développement de contrôles métiers auditables. Industrialisation : Déploiement de tableaux de bord DQ cross-JV (Power BI), gestion structurée des rejets et implémentation de quality gates dans le CI/CD. Innovation & Transfert : Exploration de solutions IA pour la Data Quality (Snowflake Cortex, Dataiku), documentation complète et transfert de compétences aux équipes internes. Environnement Technique Le socle technique est orienté "code-centric". La solution DQ proposée devra s'aligner sur ce principe (Git, DBT, Airflow, CI/CD). Technologie Usage dans le cadre du projet Snowflake Data warehouse, métriques DQ, DMF (complément IA) DBT + Elementary Tests DQ, observabilité, détection d'anomalies Apache Airflow (MWAA) Orchestration, alerting, SLA AWS Ingestion multi-sources (S3, Glue, DMS, AppFlow) Collibra Gouvernance, catalogage des règles DQ Power BI Dashboards qualité (IT et métier) Git / CI-CD TeamCity, GitHub Actions, Quality gates Python Scripts, intégrations API Profil Recherché Nous recherchons un profil Senior (5 ans d'expérience minimum en Data Engineering / Data Quality) doté d'une forte vision architecturale et d'une rigueur liée aux contextes réglementaires. Compétences techniques exigées : Expertise : Data Quality (frameworks, dimensions DAMA, data contracts, scoring). Niveau Avancé : DBT (tests, macros, Elementary, dbt-expectations) et Snowflake (SQL avancé, monitoring, DMF). Niveau Confirmé : Apache Airflow (DAGs, sensors, SLA, alerting), Python, Git et CI/CD. Les petits plus (Nice-to-have) : Expérience pratique avec les Data Contracts (idéalement ODCS). Connaissance des solutions Snowflake Cortex Data Quality / DMF, ou d'outils comme Great Expectations / Soda. Connaissance de Collibra (module data quality). Expérience des exigences réglementaires bancaires (BCBS 239, DORA) et/ou environnement multi-pays.

Bonjour à tous et toutes, notamment aux experts DevOps Python & GCP ☁️🐍🚀 🔎 Je cherche un(e) Ingénieur(e) DevOps Python Senior pour rejoindre une équipe Cloud & DevOps au sein d'un grand groupe international et contribuer à l'évolution d'une plateforme interne stratégique. Si tu maîtrises Python, GCP, Kubernetes et Terraform, et que tu aimes concevoir des solutions robustes, automatiser les processus et améliorer les pratiques DevOps à grande échelle, cette mission pourrait bien t'intéresser... 💻 Ce que tu vas faire : Faire évoluer une plateforme DevOps interne et développer de nouvelles fonctionnalités autour du suivi de conformité et des indicateurs techniques Concevoir et améliorer des pipelines de collecte, transformation et exploitation de données Cloud Travailler sur des environnements GCP (GKE, BigQuery, Cloud Run) Assurer le run, la fiabilité et l'observabilité des plateformes Mettre en place du monitoring, de l'alerting et contribuer à l'amélioration continue Maintenir et faire évoluer les automatisations DevOps (CI/CD, Infrastructure as Code...) Garantir la qualité, la documentation et la robustesse des développements 🎯 Stack technique : Python / GCP / BigQuery / GKE / Cloud Run / Kubernetes / Docker / GitHub Actions / Terraform / CI/CD / DevOps 🕵️‍♀️ Le profil recherché : Expertise confirmée en Python Expérience solide en DevOps et Cloud Très bonne maîtrise de GCP (GKE, BigQuery, Cloud Run) Bonne pratique de Kubernetes, Docker et Terraform Expérience sur GitHub et les workflows CI/CD Sensibilité aux bonnes pratiques Data Engineering Anglais courant dans un contexte international Des connaissances Azure, Azure DevOps, DBT ou Dataflow seront appréciées 🚀 Les plus de la mission : Tu rejoins une équipe Cloud & DevOps au sein d'un environnement international Tu interviens sur des sujets mêlant Cloud, automatisation, Data et DevOps Tu participes à l'évolution de plateformes utilisées à grande échelle Démarrage ASAP 📍 IDF: 2 jours de TT 🏡 Une belle fin de journée 🌞

MissionsLe rôle vise à apporter l'expertise nécessaire pour soutenir les projets data et l'écosystème Databricks au sein du groupe. L'équipe met à disposition des environnements d'évaluation et de test, définit les standards et bonnes pratiques d'usage, et accompagne les entités ayant des besoins spécifiques sur des périodes dédiées. Les interlocuteurs sont principalement des Data Specialists et Data Citizens. Les environnements techniques s'appuient sur Databricks AWS et Azure. Les activités se structurent autour de trois axes : Data Engineering : développement et opérations data DevOps / DataOps : déploiement, automatisation, Infrastructure-as-Code, administration des plateformes Expertise : veille technologique, anticipation des évolutions, test et validation des nouvelles fonctionnalités Dans ce contexte, les responsabilités confiées sont les suivantes : Administrer, surveiller et maintenir les espaces de travail Databricks du COE. Élaborer, documenter et faire évoluer les standards, bonnes pratiques et blueprints groupe. Garantir la qualité et la conformité des services fournis aux entités. Accompagner les équipes métiers et data dans l'adoption de l'écosystème Databricks et leur transition vers les normes groupe. Tester, évaluer et recommander les nouvelles fonctionnalités de l'éditeur ou d'outils complémentaires pour améliorer l'expérience globale. Veiller au respect des politiques groupe et accompagner leur mise en œuvre. Contribuer à la conception et à la réalisation des use cases stratégiques portés par les entités.

Mission de l'équipe : Au sein de l'équipe Stress Testing and Data Analytics, la mission consiste à renforcer les capacités de développement et d'industrialisation des traitements de données utilisés dans les exercices de stress testing réglementaires. L'équipe est responsable de la collecte, de la structuration, de la transformation et de la mise à disposition des données nécessaires aux projections réglementaires, aux exercices de stress testing et aux productions associées. Dans le cadre de la préparation de l'EBA Stress Test 2027, le consultant interviendra sur le périmètre Credit Risk afin de contribuer à la fiabilisation des données, à l'automatisation des traitements et à la sécurisation des livrables réglementaires dans un environnement Big Data. La mission s'inscrit dans un contexte international impliquant une collaboration étroite avec les équipes Data, IT, Finance, Risque et Modèles. 1. Développement et industrialisation des traitements de données_ _L'équipe est responsable du développement, de l'évolution et de la maintenance des pipelines de données nécessaires aux exercices réglementaires. Elle conçoit des traitements robustes et industrialisés sous Dataiku DSS v14, en s'appuyant sur Python, PySpark et SQL, afin d'assurer la production de données fiables, reproductibles et auditables. Les traitements développés doivent répondre à des exigences élevées de qualité, de performance et de traçabilité conformément aux principes BCBS 239. 2. Intégration et contrôle de la qualité des données_ _L'équipe assure l'intégration de données provenant de différentes sources réglementaires et internes. Elle est responsable de la transformation des données, de la mise en œuvre des contrôles de qualité, des contrôles de cohérence ainsi que des rapprochements entre les différentes sources. Les écarts détectés doivent être analysés puis faire l'objet d'actions de remédiation afin de garantir la fiabilité des livrables réglementaires. 3. Contribution aux exercices réglementaires_ _L'équipe contribue directement à la construction du Credit Starting Point dans le cadre de l'EBA Stress Test 2027. Elle participe à la préparation des datasets réglementaires, à l'alimentation des templates attendus ainsi qu'à la sécurisation des différentes phases de production jusqu'aux livraisons. Une forte implication est attendue durant les périodes critiques de préparation, de validation, de re-run et de remédiation. 4. Documentation et traçabilité_ _L'équipe est responsable de la documentation technique et fonctionnelle des traitements développés. Elle garantit la traçabilité complète des données, des règles de transformation et des contrôles mis en œuvre afin de répondre aux exigences d'audit et de conformité réglementaire. Prestations demandées : La mission interviendra principalement sur les activités suivantes : Développer et maintenir les pipelines de données sous Dataiku DSS v14. Concevoir, optimiser et exécuter des traitements en Python, PySpark et SQL. Contribuer à la construction du Credit Starting Point dans le cadre de l'EBA Stress Test 2027. Intégrer, transformer et contrôler des données réglementaires et internes. Automatiser les contrôles de qualité et les contrôles de cohérence des données. Réaliser les analyses d'écarts et participer aux actions de remédiation. Produire une documentation technique et fonctionnelle des traitements développés. Garantir la traçabilité et l'auditabilité des données conformément aux principes BCBS 239. Collaborer avec les équipes Data, IT, Finance, Risque, Modèles et les différentes parties prenantes du programme. Participer aux phases de recette, validation, re-run et sécurisation des livrables réglementaires. Expertises : Data Engineering Dataiku DSS v14 Développement de pipelines de données Python PySpark SQL Big Data Data Quality Data Lineage Data Transformation Data Remediation Stress Testing BCBS 239

Dans le cadre d'un programme stratégique de transformation Data, notre client renforce son équipe avec un(e) Lead Data Engineer spécialisé(e) sur l'écosystème Databricks. L'objectif est d'accompagner la mise en place d'une nouvelle plateforme de données moderne, capable de répondre aux enjeux de performance, de gouvernance, de qualité et de valorisation de la donnée. Vous interviendrez sur des projets structurants autour de l'industrialisation des flux de données, de la modélisation des référentiels analytiques et de la diffusion des données vers les outils décisionnels. Vos missions: Concevoir, développer et industrialiser des pipelines de données sur Databricks et Spark. Participer à la définition et à la mise en œuvre du modèle de données cible. Structurer les flux de données afin de garantir leur qualité, leur cohérence et leur performance. Contribuer à l'exposition et à la valorisation des données auprès des équipes BI et des utilisateurs métiers. Définir et mettre en place les standards de développement, de qualité et d'industrialisation. Mettre en œuvre les pratiques de tests automatisés et les processus CI/CD. Participer aux travaux de migration et de transformation de la plateforme Data. Accompagner les équipes sur les sujets techniques liés à Databricks et aux architectures Lakehouse. Contribuer à l'amélioration continue des solutions et des méthodes de travail. Assurer un rôle de référent technique sur les problématiques Data Engineering.

Dans le cadre du renforcement d'une équipe Data européenne, nous recherchons un(e) Data Engineer Senior pour concevoir, développer et maintenir des plateformes et produits de données évolutifs, destinés à répondre aux besoins métiers en matière de pilotage, de reporting et d'analyse. Vous interviendrez sur l'ensemble de la chaîne de valeur Data, de l'ingestion des données jusqu'à leur mise à disposition pour les équipes métiers et BI. Vos principales responsabilitésArchitecture & Plateforme Data Concevoir et mettre en œuvre des architectures de données robustes et évolutives (Raw / Curated / Consumption). Développer des solutions alignées avec les standards d'architecture Data modernes. Garantir la maintenabilité, la réutilisabilité et la scalabilité des développements. Data Engineering Concevoir, développer et optimiser des pipelines ETL/ELT. Mettre en place des traitements de données performants et industrialisés. Développer des modèles de transformation avec dbt. Orchestrer les traitements via Apache Airflow. Modélisation des données Concevoir des modèles dimensionnels (Star Schema, Data Marts). Produire des jeux de données fiables et prêts à l'exploitation (KPI-ready datasets). Qualité, Gouvernance & Sécurité Garantir la qualité, la fiabilité et l'intégrité des données. Mettre en œuvre les règles de gouvernance, de sécurité et de gestion des accès (RBAC). Participer à la documentation du lineage et des standards de développement. Performance & Industrialisation Optimiser les performances des pipelines et des traitements Snowflake. Améliorer les coûts d'exécution et de stockage. Mettre en place le monitoring, la supervision et les alertes. Collaboration Collaborer avec les équipes métiers, les Business Analysts, Product Owners et équipes BI. Participer aux ateliers fonctionnels et techniques. Assurer le transfert de connaissances et la documentation des solutions. Environnement techniqueSnowflake AWS dbt Apache Airflow SQL Git CI/CD Jira Confluence Lucid