Participer à la conception des architectures Data et aux choix techniques. Assurer l'orchestration des flux de données et l'industrialisation des traitements. Mettre en œuvre les pratiques CI/CD et les processus de déploiement. Réaliser les tests unitaires, garantir la qualité du code et contribuer aux mises en production. Participer à l'optimisation des performances et à la fiabilisation des traitements. Collaborer avec les équipes techniques et métiers dans un environnement Agile. Contribuer à la résolution des incidents et à l'amélioration continue des pipelines de données. Environnement techniqueCompétences indispensables : Scala Apache Spark Hadoop Databricks Compétences complémentaires : PySpark et Python AWS Apache NiFi Shell Unix Git / GitHub CI/CD et industrialisation des traitements Data
Dans le cadre d'un projet Data pour le client au sein du marché NTIC et de la DTNum – Data, le consultant interviendra sur la plateforme sécurisée des données. Il sera responsable de l'administration technique et du maintien en conditions opérationnelles des outils de cartographie des données, ainsi que de l'alimentation et de l'enrichissement des cartographies fonctionnelles et techniques. La mission s'inscrit dans un environnement intégrant notamment le dictionnaire de données OpenMetadata, le catalogue métier Istya et les produits de la plateforme sécurisée des données : Datalake, requêteur sécurisé Odylac et écosystème de datavisualisation. L'objectif est de garantir la fiabilité, la sécurité, la documentation et l'exploitabilité des solutions, en vue de leur transfert vers un centre d'exploitation dédié. 2. Missions principalesAdministration technique et exploitation (OPS) Maintenir et déployer les configurations d'infrastructure et des outils à l'aide de Terraform et Ansible. Assurer le maintien en conditions opérationnelles des instances Apache NiFi et des connecteurs OpenMetadata. Superviser les pipelines d'ingestion et diagnostiquer les incidents techniques. Mettre en œuvre les actions correctives nécessaires et fiabiliser les traitements. Rédiger et maintenir la documentation technique et les fiches d'exploitation. Alimentation et enrichissement du catalogue de données Développer et maintenir les flux Apache NiFi d'ingestion des métadonnées techniques et fonctionnelles vers OpenMetadata et Istya. Mettre en œuvre les contrôles qualité, les transformations et les mécanismes de validation des données entrantes. Garantir la cohérence, la fiabilité et la traçabilité des métadonnées collectées. Connectivité des produits Data Améliorer l'interconnexion entre le Datalake existant et OpenMetadata. Mettre en œuvre l'extraction des schémas et le profilage des données. Étendre la couverture de la cartographie automatique aux autres services Data de la plateforme sécurisée. Contribuer à l'amélioration continue des outils de catalogage et de gouvernance des données
Notre client, acteur reconnu dans l'aéronautique, est à la recherche de son futur Développeur Python & Intégration ETL Senior (H/F) pour son site de Blagnac, dans le cadre du renforcement de ses équipes dédiées aux échanges de données, à l'intégration applicative et à l'évolution de son système d'information. Vos missions Intégré à une équipe regroupant développeurs, experts applicatifs et référents techniques, vous devrez : Concevoir et développer des flux d'intégration et de transformation de données. Participer à la mise en œuvre et à l'évolution des processus ETL. Développer des composants et outils en Python répondant aux besoins métiers. Assurer l'interconnexion des applications du système d'information. Contribuer à l'amélioration de la qualité, de la fiabilité et de la performance des échanges de données. Participer aux études techniques et aux choix de conception. Collaborer avec les équipes projets pour accompagner les évolutions du SI. Apporter votre expertise sur les bonnes pratiques d'intégration et d'architecture applicative. Compétences techniques attendues Développement Python confirmé. Conception et développement de flux d'intégration. ETL et traitement de données. API REST et échanges de données. SQL et bases de données relationnelles. Intégration applicative et interopérabilité. Architecture applicative (notions solides ou expérience de terrain). Middleware et outils d'intégration. Apache NiFi apprécié mais non obligatoire. Environnements Linux et outils de versionning (Git).
Data Engineering Lead 4 days onsite in London 6 Months initial contract Key Responsibilities: Data engineering and product delivery -Design, build and deliver new data products in response to operational needs -Develop, maintain and improve data pipelines. -Use predominantly open-source technologies to create practical data solutions. -Build solutions from the ground up within short and potentially changing delivery timescales. -Contribute to data cataloguing and the effective organisation of data assets. -Adapt designs and engineering priorities when operational requirements change. Platforms and engineering practices -Contribute to the platform and infrastructure supporting data products. -Work in Linux or Unix environments. -Apply continuous integration and continuous delivery practices. -Use containerisation and orchestration technologies when developing and deploying solutions. -Support engineering within an Azure Stack Hub environment. -Evaluate or work with emerging technologies where relevant, including pipeline orchestration and graph database tools. Essential -Python -Open-source data engineering technologies -Data pipeline development -Linux or Unix -Continuous integration and continuous delivery -Containerisation -Kubernetes Preferred -Apache Airflow -OpenSearch -Azure -Azure Stack Hub -Apache Kafka -Data cataloguing tools and practices -Apache NiFi -Graph databases Due to the nature and urgency of this post, candidates holding or who have held high level security clearance in the past are most welcome to apply. Please note successful applicants will be required to be security cleared prior to appointment which can take a minimum 18 weeks. LA International is an award-winning partner of choice for many of the world's most influential companies and government organisations. Holding Enhanced Government Security Accreditation, we are recognised as the European market leader in the delivery of Security Cleared talent to organisations that demand the very highest levels of security, compliance and assurance. An award-winning organisation, having secured the prestigious Queens Award for Enterprise: International Trade over multiple years. We are committed to fostering an inclusive, equitable and accessible workplace where everyone feels valued and supported. We welcome applications from all individuals, regardless of background or identity, and we encourage candidates who may not meet every listed requirement to still apply. If you require any adjustments or support during the recruitment process, please let us know and we will work with you to ensure a fair and accessible experience. Please Note: If a high volume of applications is received, only candidates shortlisted will be contacted.
Notre client, acteur reconnu de son secteur, est à la recherche de son futur Architecte Applicatif & Intégration Senior (H/F) pour son site de Blagnac, dans le cadre du renforcement de sa gouvernance technique autour des sujets d'intégration et d'architecture applicative. Vos missions Intégré à une équipe regroupant experts applicatifs, architectes et développeurs, vous devrez : Définir et faire évoluer l'architecture applicative du SI. Concevoir et structurer les flux d'échanges entre applications. Accompagner les projets d'urbanisation et de transformation du système d'information. Garantir la cohérence des mécanismes d'intégration entre les différentes plateformes. Participer aux choix techniques et aux orientations d'architecture. Accompagner les équipes de la Digital Factory dans leurs projets. Contribuer à l'amélioration des plateformes middleware et d'API management. Apporter une vision transverse du SI et de ses interactions. Compétences techniques attendues Architecture applicative. Intégration de systèmes. Urbanisation du SI et des flux. Middleware et plateformes d'échanges. ESB (Enterprise Service Bus). API et architecture orientée services. Apache NiFi ou forte expertise intégration avec capacité à monter rapidement sur l'outil. Modélisation des flux et interopérabilité des applications. Gouvernance et standards d'architecture.
