Find your next tech and IT Job or contract Apache

En tant que Data Engineer, vous intégrerez une équipe pluridisciplinaire composée de de développeurs, de DevOps, de Scrum masters et de Product Owners, travaillant en méthodologie Agile : o Nos défis : Fiabiliser et industrialiser les flux de données du catalogue de contenus : métadonnées éditoriales, programmes, saisons, droits et disponibilités. Construire des pipelines performants, rejouables et scalables pour fournir des données fraîches et cohérentes. Méthode de travail : Agile / Scrum, intégration et déploiements continus, revue de code. o Environnement technique : Apache Spark, Apache Iceberg, Amazon S3, AWS, Python et/ou Scala, SQL, Git, CI/CD, monitoring et alerting.

Contexte de la missionDans le cadre du renforcement de son équipe Data Platform, notre client recherche un Lead Data Orchestration Engineer, expert Apache Airflow et AWS MWAA. La plateforme actuelle orchestre des pipelines de données bancaires dans 9 pays européens. Après une première phase de stabilisation, l'objectif est désormais d'optimiser son architecture, de renforcer sa résilience et d'étudier une éventuelle migration vers une infrastructure plus adaptée. Missions et responsabilités1. Optimisation de l'architecture Airflow Faire évoluer et optimiser la DAG Factory existante. Migrer les dépendances inter-DAGs vers les mécanismes natifs Airflow (Datasets). Améliorer les performances et la scalabilité de la plateforme. Automatiser la validation des DAGs dans les pipelines CI/CD. 2. Sécurisation et résilience Renforcer l'observabilité : monitoring, dashboards, alerting. Implémenter une politique de rotation des secrets. Optimiser le capacity planning, le scaling et la gestion des ressources. Améliorer l'isolation réseau et les mécanismes de reprise automatique. Formaliser les procédures de gestion des incidents (runbooks). 3. Étude et migration d'infrastructure Réaliser un benchmark des alternatives à AWS MWAA (ECS/EKS, Astronomer, Dagster, Prefect). Évaluer les coûts, les performances et les risques associés. Définir une architecture cible et un plan de migration. Piloter les POC et la migration progressive si une nouvelle solution est retenue. Garantir la continuité de service pendant la transition. 4. Accompagnement et montée en compétences Former et accompagner les équipes Dev et Ops (environ 10 personnes). Définir et faire appliquer les standards techniques. Structurer une organisation Data Platform favorisant l'autonomie des équipes. Assurer le transfert de connaissances et le mentorat. Compétences techniques indispensablesApache Airflow : expertise avancée (scheduler, executor, pools, triggers, deferrable operators, Datasets). AWS : MWAA, SQS, SNS, Secrets Manager, CloudWatch, IAM. Python avancé : développement de plugins, operators et sensors personnalisés. Optimisation Airflow : expérience sur des plateformes de grande envergure (200+ DAGs en production). DAG Factory : conception et optimisation de génération dynamique de DAGs. Résilience et observabilité : monitoring, alerting, retry strategies, Dead Letter Queues, circuit breakers. Architecture Cloud : capacité à évaluer et concevoir des solutions d'orchestration évolutives. Compétences appréciéesExpérience d'une migration d'orchestrateur ou d'infrastructure Airflow. Connaissance d'Airflow sur ECS/EKS, Astronomer, Dagster ou Prefect. Maîtrise de Terraform (Infrastructure as Code). Expérience en environnement bancaire, international ou multi-pays. Compétences / Qualités indispensables : Apache Airflow, AWS MWAA ou Google Cloud Composer, Data Orchestration, Lead Data Engineer, Python, DAG Factory, AWS, ECS, EKS, Astronomer, Dagster, Prefect, DataOps, Terraform, CI/CD, CloudWatch

Dans le cadre d'un projet stratégique, nous recherchons un Développeur Java Senior / Expert pour participer à la conception, au développement et à l'hébergement de plusieurs composants d'une plateforme de gestion, notamment son composant de règlement. Vous interviendrez sur des systèmes distribués exigeants, avec des enjeux importants de performance, de disponibilité, de résilience et de montée en charge, au sein d'une équipe internationale. Missions principalesParticiper à la conception et au développement des composants de la plateforme, notamment du composant de règlement. Définir et implémenter les tests unitaires des modules sous votre responsabilité. Garantir la qualité du code et respecter les standards de développement du projet. Analyser les indicateurs de qualité et les rapports d'analyse de code via SonarQube. Veiller au respect des exigences non fonctionnelles : performance, scalabilité, intégrité et résilience. Concevoir et réaliser des prototypes techniques. Participer aux revues de code et contribuer à l'amélioration continue des pratiques de développement. Collaborer avec les équipes projet dans un environnement international. Rédiger la documentation technique en anglais. Environnement techniqueJava 17+ Apache Kafka et Kafka Connect Spring Bases de données relationnelles et/ou NoSQL Architectures distribuées SonarQube Méthodologies Agile (SAFe) et DevOps Atouts supplémentairesExpérience sur des plateformes de paiement ou de règlement. Une expérience dans un projet de dématérialisation monétaire serait appréciée. Conditions de la missionMission longue durée de 12 mois. Temps plein. Présence sur site à Paris 3 jours par semaine.

Dans le cadre d'un projet stratégique, vous contribuez à la conception, au développement et à l'hébergement de composants d'une plateforme de gestion, notamment son composant de règlement. Vos missions : - Concevoir et développer les composants. - Définir et implémenter les tests unitaires. - Respecter les standards de développement et exploiter les indicateurs Sonar. - Garantir la performance, la montée en charge et la résilience. - Proposer et réaliser des prototypes. - Réaliser les revues de code. - Collaborer avec une équipe internationale. - Rédiger la documentation technique en anglais. Environnement technique : Apache Kafka, Apache Flink, Apache Druid, Sonar.

Vos missions Concevoir et faire évoluer une architecture de streaming pour la collecte, le traitement et l'analyse des données Développer des pipelines de traitement temps réel et batch avec Apache Flink, Apache Spark et Apache Iceberg Déployer les pipelines d'ingestion et de traitement en CI/CD et Infrastructure as Code, pour les environnements batch et streaming Participer à la migration et au refactoring de l'architecture historique vers AWS (Move to Cloud, ETL/ELT, batch et streaming) Contribuer à l'implémentation d'algorithmes de maintenance prédictive et de routage Industrialiser et exposer des modèles de Machine Learning sous forme d'API, en lien avec les équipes data science Assurer le monitoring, la fiabilité et la performance des traitements en production Environnement technique Streaming et traitement : Apache Flink, Apache Kafka (MSK), Kinesis, Apache Spark, Apache Iceberg Orchestration : Apache Airflow (MWAA) Cloud AWS : S3, Lambda, EKS, ECS, EC2, ECR, IAM, IoT Core IoT : MQTT, données capteurs remontées par satellite Data warehouse : Snowflake DevOps / IaC : Terraform, Docker, CI/CD Langages : Python, SQL Profil recherché Formation Bac+5 (école d'ingénieur ou master) en informatique, data ou télécommunications Au moins 5 ans d'expérience en data engineering, dont une part significative sur AWS Expérience solide des architectures streaming à forte volumétrie (Flink, Kafka ou Kinesis) Maîtrise de Terraform et des pratiques CI/CD appliquées aux pipelines de données Une expérience d'industrialisation de modèles ML (MLOps, mise en API, monitoring) est un vrai plus Une connaissance des données IoT ou industrielles (maintenance prédictive, capteurs) est appréciée Une certification AWS (Solutions Architect, Data Engineer) est un atout Anglais professionnel Savoir-être Autonomie et sens des responsabilités sur des systèmes critiques en production Capacité à dialoguer avec les équipes métier pour traduire leurs besoins en solutions techniques Rigueur, goût de la performance et de la qualité de la donnée Esprit d'équipe et envie de partager ses pratiques Informations pratiques Contrat : CDI chez Visian Azur Lieu : Marseille, présence régulière sur le site du client Démarrage : à définir ensemble Rémunération : selon profil et expérience

Dans le cadre d'un projet stratégique autour des échanges de données et de la sécurisation des flux applicatifs, nous recherchons un(e) Tech Lead spécialisé(e) en Kafka et Java. Vous contribuerez à la conception d'une solution fiable et sécurisée, capable de fonctionner dans des infrastructures exigeantes, où la maîtrise des accès et des communications est essentielle. Vous interviendrez dans un environnement technique stimulant, avec un rôle central dans les choix d'architecture, la validation des solutions et l'accompagnement de l'équipe de développement. Vos missionsÉtudier et valider une solution technique : concevoir et réaliser un prototype afin de tester plusieurs approches de circulation des données et d'en évaluer les performances, la sécurité et la fiabilité. Orienter les choix d'architecture : comparer différentes solutions de transfert et de réplication des messages, puis formuler des recommandations argumentées. Piloter les développements : apporter votre expertise technique à une équipe projet et contribuer à la conception d'un composant logiciel robuste et évolutif. Garantir la sécurité des échanges : mettre en œuvre les mécanismes d'authentification, de chiffrement et de contrôle des accès, en collaboration avec les équipes spécialisées. Fiabiliser les traitements : anticiper les interruptions de service, gérer les reprises après incident et limiter les risques de perte ou de duplication des messages. Industrialiser la solution : structurer le code, mettre en place les tests automatisés et contribuer à l'intégration continue. Assurer la transmission des connaissances : produire une documentation technique claire, formaliser les procédures d'exploitation et accompagner les futurs mainteneurs.

Nous recherchons pour une mission longue chez notre client secteur banque/finance en région parisienne un Data Engineer expert. Vous rejoignez une plateforme de données dédiée aux activités de marché, au cœur de use cases d'intelligence artificielle. Vous travaillez au quotidien avec des équipes Data Science et ML sur des sujets à fort enjeu. Vos missions : - Concevoir, développer et maintenir des pipelines de données scalables qui alimentent des use cases d'IA. - Architecturer des flux batch et streaming fiables, traçables et conformes. - Accompagner les équipes Data Science/ML dans la mise en production des modèles (MLOps). - Optimiser les performances des bases et entrepôts de données (SQL, NoSQL, Data Lake). - Mettre en place l'observabilité : monitoring, alerting, logging et métriques. - Veiller à la sécurité des flux et à la gouvernance de la donnée (catalogue, lineage). Vous êtes recruté en CDI cadre chez Ingéniance et vous rejoignez une communauté d'experts de la data et de la finance de marché. Ref : O-LWDVQ

Nous recherchons pour une mission longue chez notre client secteur banque/finance en région parisienne un Data Engineer confirmé, pour rejoindre une équipe qui construit les socles de données au service de l'intelligence artificielle. Vous participerez à la mise en production de cas d'usage IA à forte valeur ajoutée, en lien étroit avec les équipes Data Science. Vos missions : - Concevoir, développer et maintenir des pipelines de données scalables pour alimenter les cas d'usage d'IA. - Architecturer des flux batch et streaming fiables, traçables et conformes. - Collaborer avec les équipes Data Science / ML pour transformer les modèles en services de production (MLOps). - Optimiser les performances des bases et entrepôts de données (SQL, NoSQL, data lake). - Mettre en place l'observabilité : monitoring, alerting, logging et métriques. - Garantir la sécurité des flux et la gouvernance de la donnée (catalogue, lineage). Environnement : Python, PySpark, Scala/Java, Spark, Kafka, Oracle, Clickhouse, S3, Airflow, Dagster, Docker, CI/CD. Vous êtes recruté en CDI cadre chez Ingéniance, au sein d'une communauté d'experts de la data et de la finance. Ref : O-RPIRS

Bonjour A tous , L'un de mes clients a Marseille recherche un profil Talend : c'est urgent! Talend Cloud / TMC : développement et planification des traitements d'intégration de données. Java, Apache Kafka et Kafka Streams : production, consommation et routage des messages. n8n : automatisation des workflows et intégration avec Cardex et Salesforce. SQL Server, Oracle et PostgreSQL : manipulation des données, suivi des traitements et gestion des reprises. API REST, JSON et Schema Registry : échanges entre applications et validation des formats de données. OAuth2, Vault et TLS : authentification, gestion des secrets et sécurisation des connexions. Futurs projets : Apache Airflow et Python pour orchestrer les pipelines et développer des traitements de données.

Nous recherchons un(e) Tech Lead Cloudera - freelance pour rejoindre une entreprise d'envergure internationale dans le cadre de l'amélioration de ses environnements Big Data. Basé(e) à Toulouse, vous interviendrez en tant que référent technique sur le socle Big Data afin de garantir son bon fonctionnement et d'accompagner ses évolutions. Vos responsabilités : Veiller à la disponibilité, à la fiabilité et à la performance du socle Big Data. Assurer le support de niveau 2 et garantir l'efficacité des procédures de reprise. Analyser les demandes d'évolution et rédiger les dossiers techniques : analyses d'impact, procédures de mise en production, recettes. Concevoir des solutions techniques complexes, ou y contribuer, et accompagner les phases de pilote, l'industrialisation et la montée en compétences. Réaliser les tests d'assemblage, les recettes d'exploitabilité et les intégrations. Industrialiser les solutions et définir les règles d'exploitation. Jouer un rôle de référent auprès des équipes internes et externes, et animer la communication en amont et en aval avec les architectes et les exploitants. Veiller au respect des normes, standards et bonnes pratiques. Assurer une veille technologique régulière et participer à l'amélioration continue.

MISSION 100% PRÉSENTIEL / démarrage ASAP / longue durée Les développements sont réalisés en France en mode full agentique, et le programme est actuellement en phase de non-régression. L'équipe compte déjà deux automaticiens et vise la suppression totale des tests manuels. Toute la chaîne de test est générée par l'IA : scripts, jeux de test et exécution. Le consultant intervient sur les tests applicatifs, API et flux, ainsi que sur les tests avec le matériel des caisses. Le client recherche un profil fonctionnel technique, déjà automaticien ou avec un bon niveau technique et l'envie d'évoluer vers l'automatisation, à l'aise avec l'usage des agents IA.

Nous recherchons un Analytics Engineer confirmé pour renforcer une équipe Data et intervenir sur des projets de transformation et d'industrialisation des données. Vous contribuerez à la conception de pipelines performants, à la modélisation des données et à l'évolution d'une plateforme Data moderne. Missions principalesConcevoir, développer et industrialiser des pipelines de transformation de données. Développer et optimiser les modèles de données avec dbt. Construire et faire évoluer la couche sémantique. Orchestrer les traitements avec Apache Airflow. Maintenir et optimiser les pipelines et datasets existants. Garantir la qualité, la fiabilité et la performance des données. Participer aux choix d'architecture et aux bonnes pratiques de développement. Collaborer avec les équipes Data Engineering et les équipes métiers. Environnement techniqueStack principale : Databricks / PySpark dbt Apache Airflow Python / SQL AWS (S3, Glue) Git / GitHub / CI/CD Compétences complémentaires : Scala / Spark Great Expectations Modélisation dimensionnelle (Kimball, Data Vault, OBT) Data Lineage / Data Governance

Notre client recherche un Développeur Full Stack confirmé pour intervenir sur une plateforme applicative stratégique au sein d'une équipe Agile. La mission est à dominante Back-End (Java, Spring Boot, Kafka), avec une contribution au Front-End (React), dans un environnement moderne axé sur la qualité logicielle, les architectures distribuées et l'amélioration continue. Missions : Développement Back-End Concevoir, développer et maintenir des APIs REST robustes avec Java et Spring Boot. Implémenter et faire évoluer des flux événementiels Kafka pour traiter les statuts de livraison en temps réel. Assurer l'intégration de nouveaux partenaires transporteurs et la fiabilité des échanges de données. Concevoir des solutions performantes, évolutives et maintenables. Contribution Front-End Participer au développement de nouvelles fonctionnalités sur une interface React existante. Faire évoluer les composants UI et respecter les standards de développement de l'équipe. Collaborer avec les développeurs Front-End pour améliorer progressivement la qualité et l'ergonomie de l'application. Qualité logicielle et pratiques de développement Appliquer les principes du Clean Code et du Software Craftsmanship. Concevoir et maintenir des tests unitaires, d'intégration et end-to-end. Participer aux revues de code, au développement en binôme et à l'amélioration continue. Utiliser les outils d'IA générative pour accélérer le développement et renforcer la qualité du code et des tests. DevOps et observabilité Participer au déploiement des microservices sur Kubernetes. Contribuer à l'automatisation des pipelines CI/CD avec GitHub Actions. Superviser les applications et les flux de données via Datadog. Participer à l'amélioration de la fiabilité et de l'observabilité de la plateforme.

Qui sommes-nous ?Anafi Consulting est un cabinet de conseil spécialisé dans les transformations technologiques et organisationnelles. Nous accompagnons nos clients grands comptes dans leurs projets stratégiques autour de la Finance, de la Data, du Cloud, du DevOps et du développement applicatif, en combinant expertise technique, compréhension métier et qualité du delivery. Votre rôleDans le cadre de projets stratégiques de transformation Data au sein d'un environnement bancaire international, nous recherchons un(e) Data Engineer Senior / Lead spécialisé(e) dans les technologies Apache Spark, Scala et Azure Databricks. Vous interviendrez sur la conception, le développement et l'optimisation de plateformes de traitement de données à grande échelle, notamment autour des données de marché et des reportings financiers réglementaires. Votre rôle couvrira l'ensemble du cycle de vie des traitements Data : ingestion, transformation, contrôle qualité, optimisation des performances, industrialisation et mise en production. Vous contribuerez également aux choix d'architecture et à l'accompagnement technique des équipes. Vos missions principales Data Engineering & Traitement de donnéesConcevoir et développer des pipelines de traitement de données avec Apache Spark et Scala. Collecter, transformer et consolider des données issues de sources multiples. Développer des traitements distribués pour des volumes importants de données financières. Mettre en œuvre des contrôles de qualité et de cohérence des données. Automatiser les traitements de rapprochement et les calculs financiers. Garantir la fiabilité et la traçabilité des données produites. Architecture Data Lake & AzureParticiper à la conception et à l'évolution d'architectures Data Lake sur Microsoft Azure. Mettre en œuvre des solutions Delta Lake selon une architecture médaillon Bronze / Silver / Gold. Développer et maintenir des traitements sur Azure Databricks. Contribuer à l'optimisation du stockage et de l'exploitation des données sur Azure Data Lake Storage Gen2. Participer aux projets de modernisation et de migration des plateformes Data. Performance & Optimisation SparkOptimiser les performances des traitements Spark. Analyser les plans d'exécution et améliorer les stratégies de partitionnement. Réduire les temps de traitement grâce à l'optimisation des opérations de shuffle et des agrégations. Participer aux migrations et montées de version des environnements Spark. Identifier les axes d'amélioration de la performance, de la stabilité et de la maintenabilité des pipelines. Données financières & Reporting réglementaireDévelopper des traitements de calcul et d'agrégation de données financières. Contribuer à la production de reportings réglementaires tels que NSFR et COREP. Participer à la fiabilisation des données de marché et des référentiels financiers. Développer des mécanismes de rapprochement entre différentes sources de données. Garantir la qualité et la non-régression des calculs. Industrialisation & DevOpsIndustrialiser les traitements Data à travers des pipelines CI/CD. Automatiser les tests unitaires et d'intégration. Participer au déploiement des applications sur Kubernetes / AKS. Utiliser Helm pour la gestion des déploiements. Contribuer à l'amélioration continue des pratiques de développement et de livraison. Expertise technique & AccompagnementParticiper aux choix d'architecture et aux orientations techniques. Accompagner les ingénieurs Data dans leur montée en compétence. Réaliser des revues de code et promouvoir les bonnes pratiques de développement. Collaborer avec les équipes métiers, Data Analysts et équipes IT. Animer des ateliers techniques dans le cadre des évolutions et migrations technologiques. Environnement techniqueData Engineering & Big Data Scala Apache Spark Azure Databricks Delta Lake SQL Cloud & Stockage Microsoft Azure Azure Data Lake Storage Gen2 (ADLS) Architecture Data Lake Architecture médaillon Bronze / Silver / Gold Bases de données & Restitution ClickHouse OpenSee DevOps & Industrialisation Jenkins GitHub Kubernetes / Azure AKS Helm Oozie CI/CD Développement Java Spring Boot Angular Qualité & Performance Tests unitaires et d'intégration Optimisation Spark Partitionnement et shuffle Monitoring des traitements Qualité et fiabilité des données

Dans le cadre du projet réglementaire Bâle IV, vous interviendrez sur des applications bancaires dédiées au calcul des risques et à la production de reportings réglementaires. La mission portera principalement sur la maintenance et la stabilisation du périmètre de calcul P2, ainsi que sur les évolutions du périmètre. Missions principales Assurer le leadership technique des développements Java / Spark. Réaliser la maintenance corrective et évolutive des applications. Garantir la stabilité, la performance et la fiabilité des traitements de calcul. Contribuer aux évolutions des traitements de génération et de distribution des reportings réglementaires. Analyser les problématiques techniques complexes et proposer des solutions adaptées. Garantir la qualité du code et le respect des bonnes pratiques de développement. Accompagner les développeurs et participer aux choix d'architecture. Collaborer avec les équipes IT et métier dans un environnement bancaire exigeant.