Find your next tech and IT Job or contract Apache Spark

Contexte Au sein de la DSI Corporate d'un grand groupe bancaire, l'équipe intervient sur le projet stratégique « Risques Climatiques & Physiques ». L'objectif est de mettre en place une solution pour ingérer, agréger et exposer des données multi-sources afin de produire les rapports métiers liés à la surveillance du risque de crédit. Rattaché(e) au domaine Data & Risques, vous participerez au développement de la plateforme sur Google Cloud Platform (GCP) au sein d'une équipe experte sur un projet à forte visibilité. Missions Développer et intégrer des solutions Python / Spark en s'appuyant sur les services Data et Compute de GCP. Automatiser le déploiement et l'intégration continue via la chaîne DevOps en place. Garantir la qualité, la fiabilité et le traitement massif des données de risques.

Contexte de la mission ASAP Technologies recherche deux Data Engineers seniors aux profils complémentaires pour accompagner un acteur majeur du secteur des transports et de la mobilité dans la conception, l'industrialisation et l'évolution de ses solutions data. Au sein du pôle Data Services, vous contribuerez à la stratégie Lakehouse et interviendrez sur des enjeux d'architecture, de modélisation et d'optimisation des pipelines à grande échelle. Vos missions Concevoir, développer et optimiser des pipelines de données batch, streaming et d'ingestion via API. Structurer les transformations selon une architecture Médaillon : Bronze, Silver et Gold. Développer et industrialiser les traitements avec DBT, Spark et Apache Iceberg. Contribuer aux choix techniques et à l'évolution de l'architecture Lakehouse. Déployer et maintenir les pipelines sur AWS, notamment avec S3, Glue et EMR. Orchestrer les workflows ETL/ELT avec Airflow. Mettre en œuvre l'Infrastructure as Code avec Terraform et exécuter les traitements dans des environnements Docker/Kubernetes. Garantir la disponibilité, la supervision et l'observabilité des traitements. Participer à la résolution des incidents et à l'amélioration continue. Automatiser les contrôles de qualité des données et documenter les architectures, pipelines et règles métier. Veiller à la conformité des flux, notamment en matière de RGPD.

Secteur : transport aéronautique Au sein de l'équipe PCS, vous participerez activement au développement, à l'optimisation et à la mise en œuvre de la plateforme de données temps réel. Vos responsabilités principales : Conception & Traitement Real-Time : Développer et déployer des pipelines de données à haute performance et à faible latence pour le traitement de flux. Mise en œuvre Cloud GCP : Construire et optimiser les flux de données sur Google Cloud Platform (ingestion, stockage, requêtage et orchestration). Qualité & Bonnes Pratiques : Participer aux choix d'implémentation technique, appliquer les standards de code (CI/CD, tests) et veiller à la qualité des livrables. Collaboration : Travailler en étroite collaboration avec les équipes projet et d'architecture.

Vous serez directement en contrat avec notre société de prestation intellectuelle Actual Talent Services, implantée à La Défense et rattaché hiérarchiquement à votre business manager. Vous interviendrez dans un environnement backend Java/Data exigeant, avec un fort niveau d'attention porté à la qualité du code, aux bonnes pratiques de développement, aux tests et à la documentation technique. Vous évoluerez notamment dans un environnement Java / Spring Boot et Data. Vos missions principales / responsabilités seront les suivantes (liste non exhaustive) : Productions de code de qualité respectant les bonnes pratiques, conventions et standards de développement ainsi que les tests associés Productions de documentations techniques. Référentiel sous Confluence

Description et livrables de la prestation Le Data Engineer est un développeur au sein de l'équipe Engineering Open Big Data du Département Guilde Data, qui regroupe l'ensemble des expertises technologiques liées à l'ingénierie de la donnée, de l'automatisation et à l'exploitation des modèles de Machine Learning. Votre rôle et vos missions : Vous aurez pour missions principales de développer les projets Big Data demandés par le métier, et notamment : • Passer de la donnée brute à de la donnée exploitable, exposée sous forme de tables requêtables dans le Datalake • Consolider ces données au fur et à mesure de leur alimentation récurrente dans le Datalake • Les exploiter pour atteindre la finalité business (exposition de Business View, réintégration des résultats dans le SI, service de scoring, …) • De mettre en place et de garantir le respect dans la durée d'un processus qualité sur l'ensemble du cycle de DEV (documents, tests unitaires / intégration / fonctionnels, commentaires, versionning, etc.) • Accompagner les Data Engineers sur son périmètre pour garantir la qualité des livrables

Au sein d'une équipe Agile dédiée à des produits innovants pour le réseau électrique, vous intervenez en tant que Lead Tech Java / Angular. Vous assurez le rôle de référent technique sur des applications web et des sujets data liés notamment à la maintenance prédictive, à la mobilité électrique et aux charges réseau. Vous concevez, développez et maintenez des applications Java Spring Boot et Angular. Vous participez au cadrage fonctionnel et technique, accompagnez les Product Owners, réalisez les revues de code et garantissez la qualité, la sécurité et la maintenabilité des solutions. Vous intervenez sur l'ensemble du cycle de vie des projets, du POC à la mise en production, tout en accompagnant techniquement les équipes.

Missions : Être la référence technique Data Engineering : définir les standards d'architecture, challenger les choix techniques, industrialiser les pipelines, garantir performance/qualité/sécurité et accompagner les équipes. Profils recherchés : Senior / Expert – Lead Data Engineer / Data Architect / Data Engineering Design Authority Compétences : Architecture Data, batch/streaming, Kafka, Spark, Airflow, Databricks, Snowflake, Cloud, DataOps, gouvernance/sécurité. Anglais B2+

Localisation : Toulouse (2 jours/semaine obligatoire sur site) Démarrage : ASAP Durée : Mission longue Séniorité : Minimum 7 ans d'expérience 1. Description de la missionAu sein de l'équipe Customer BI, vous intégrerez une équipe Agile de 6 personnes dédiée aux données BI du programme de fidélité Flying Blue. En tant que Tech Lead, vous accompagnerez des projets à forts enjeux combinant l'environnement BI/Big Data existant et la migration en cours vers le cloud GCP. Vos responsabilités principales : Expertise & Orientations Techniques : Participer activement aux décisions d'architecture et garantir la qualité, la fiabilité et la scalabilité des solutions décisionnelles. Support & Mentoring d'équipe : Encadrer et accompagner l'équipe de 6 personnes sur l'application des meilleures pratiques de développement et d'ingénierie Data. Migration Cloud GCP : Participer à la transition progressive de l'écosystème BI traditionnel / Big Data vers Google Cloud Platform (BigQuery, etc.). Conception & Développement : Concevoir les modèles de données, optimiser les requêtes SQL complexes et sécuriser la livraison des flux de données.

VOS MISSIONS • Concevoir et développer les composants d'ingestion, de traitement, de normalisation et de distribution des données. • Construire et améliorer le framework commun, notamment le monitoring, la CI/CD, les tests, la performance, la résilience et la qualité du code. • Recueillir, comprendre, challenger et affiner les besoins métiers. • Concevoir des solutions conformes aux directives d'architecture et aux standards internes du Groupe. • Piloter les activités de développement et contribuer en qualité de profil senior / expert. • Identifier les goulots d'étranglement et les anomalies, puis proposer des solutions d'amélioration continue. • Livrer des services prêts pour la production, avec les outils de supervision et d'alerte associés. • Rédiger et maintenir la documentation technique en anglais, et accompagner les déploiements dans différents pays.