Trouvez votre prochaine offre d’emploi ou de mission freelance Apache

En tant que Data Engineer, vous intervenez sur la conception, le développement et l’optimisation de pipelines de données robustes et scalables. Vous travaillez au cœur des plateformes Data afin de garantir la qualité, la disponibilité et la performance des données utilisées par les équipes métiers, BI et Data Science. Expérience attendue : 3 à 8+ ans en ingénierie Data. Vous correspondez au/à la Data Engineer que nous recherchons si : Vous évoluez efficacement au sein d’équipes agiles et pluridisciplinaires , en collaboration étroite avec les équipes Data, IT et métiers Vous faites preuve d’un fort esprit analytique et d’une grande rigueur Vous êtes autonome , proactif et doté d’un solide sens des responsabilités Vous êtes capable de communiquer clairement avec des interlocuteurs techniques comme non techniques Vous savez prioriser vos tâches , gérer les contraintes et respecter vos engagements Vous disposez d’un bon esprit de synthèse et êtes orienté résultats et valeur métier Vous avez une bonne connaissance des environnements Business Intelligence , Big Data et des architectures Lakehouse Vous avez déjà travaillé sur des plateformes Data modernes (Cloud) Vous maîtrisez SQL comme langage d’interrogation des données et avez des notions de modélisation de données (architecture médaillon, modèle en étoile …) Vous disposez d’un bagage en software engineering , vous permettant d’écrire un code robuste, lisible, maintenable et testable, notamment en Python Vous appliquez les bonnes pratiques de développement : structuration du code, modularité, gestion des dépendances, conventions de nommage Vous êtes sensibilisé aux principes de qualité logicielle (tests unitaires, tests d’intégration, revue de code) Vous êtes à l’aise avec les outils de versioning ( Git ) et les workflows collaboratifs associés Vous savez concevoir des pipelines Data comme de véritables produits logiciels, en tenant compte de la maintenabilité, de l’évolutivité et de l’observabilité

Au sein du Pôle de notre client de la DSI d’un grand acteur du secteur de l’énergie, ce dernier a en charge l’ensemble des chaînes communicantes, à savoir : • CCMA : chaîne communicante du marché grand public (compteurs communicants) • CCMA : chaîne communicante du marché professionnel (compteurs communicants pour les industriels) • IoT : ensemble de capteurs communicants donnant des informations clés sur le réseau de distribution (exemple : capteur de niveau des réservoirs des groupes électrogènes d’établissements sensibles) • I3C : systèmes de supervision des infrastructures critiques Système d’information permettant de superviser et monitorer la chaîne communicante des compteurs intelligents à travers 4 grandes fonctionnalités : • Monitoring de la chaîne communicante • Télédistribution des logiciels et des paramètres • Gestion des dysfonctionnements du parc • Gestion du référentiel Le Groupe Actifs Réseau et Maintenance du Pôle SI Chaînes Communicantes réalise des études et des produits data innovants sur des sujets tels que la maintenance prédictive, la mobilité électrique et les charges sur le réseau. La durée de la prestation sera de six (6) mois fermes à compter de la date de commande. Elle pourra être reconduite par périodes optionnelles de six (6) mois maximum jusqu’à la fin du marché. Activités principales : • Participation à des ateliers avec des experts métiers pour collecter le besoin et comprendre les données • Conception et développement de traitements de données • Réalisation d’études statistiques • Présentation de résultats sous forme de rapports d’étude ou tableaux de bord • Développement d’outils de visualisation pour faciliter les analyses • Diffusion et vulgarisation des résultats Le consultant sera également attendu sur : • Le lien entre métier et data science • La conception fonctionnelle du besoin métier au sein d’un SI • La préparation et animation d’ateliers utilisateurs • L’appui au pilotage des réalisations et au suivi d’avancement Activités secondaires : • Veille technologique sur les outils du projet • Partage de connaissances et formation aux bonnes pratiques

Dans le cadre d’une mission d’assistance technique, nous recherchons un développeur confirmé pour intervenir sur un périmètre applicatif stratégique au sein d’un programme agile à l’échelle. Vous interviendrez sur l’ensemble du cycle de vie applicatif avec une forte orientation DevSecOps , qualité logicielle et excellence opérationnelle. Vos principales missions seront : Garantir la bonne couverture des besoins métiers dans les engagements de l’équipe Veiller à la conformité des livrables avec la cible technique définie Développer dans un cadre DevSecOps et promouvoir ces bonnes pratiques au sein de l’équipe Prendre en charge les correctifs et les évolutions applicatives Réaliser les tests unitaires, automatisés et End-to-End Participer aux revues des User Stories et aux chiffrages Assurer le suivi de production et la correction des anomalies Mettre en place et maintenir les pipelines CI/CD (Jenkins, DevSecOps) Automatiser les tests dans les processus de déploiement Créer et maintenir les Jenkinsfiles et pipelines DevSecOps Utiliser des outils de supervision applicative Participer activement aux cérémonies agiles (cadre SAFe) Mettre en pratique l’usage de l’IA générative dans les activités de développement

Le rôle du Data Engineer dans ce projet consistera à : • Concevoir et implémenter les composants/pipelines d’ingestion de données en scala spark (glue jobs, sans utilisation de solutions managées type Databricks) • Traiter et normaliser les données • Refactoriser des imports existants pour être compliant avec l'architecture medaillon (silver + gold layers) et notre modèle uniformisé/harmonisé à toutes les plateformes (aggrégateurs, market exchanges) • Appliquer/challenger les règles métier pour générer la couche gold tout en garantissant les performances, la scalabilité et les coûts cloud • Distribuer les données aux différents consommateurs/Métiers • Implémenter les règles de Data Quality (DataQuality framework : great expectation) et gérer le data calatog • Développer et améliorer les frameworks communs (monitoring, CI/CD, tests, performance, résilience, standards de développement, qualité du code) • Rédiger et maintenir la documentation technique des développements réalisés : schéma d'architecture, Infra, Flux, … • Garantir le respect des standards du Groupe en matière de qualité, sécurité, partage, usage et architecture des données • Participer au développement et à la maintenance du calculateur en Scala Spark avec l'objectif : - d'optimiser le temps de calculs, - d'optimiser les performances, - de garantir la scalabilité au regard d'un accroissement annuel important du volume des market operations, - de maîtriser et d'optimiser les coûts cloud. • Être force de proposition pour améliorer les processus et les performances des systèmes.

Développeur Java / Kafka Dans le cadre d’un renfort stratégique au sein d’une squad digitale , nous recherchons un(e) Développeur(se) Backend Java / Kafka pour contribuer à un projet de refonte d’un dispositif d’ envoi et de structuration des données . Vous interviendrez au cœur d’un environnement Java moderne , orienté microservices , avec une approche exigeante sur la qualité logicielle , la robustesse des flux et la fiabilité des échanges . Environnement technique Java Spring Boot Kafka Microservices Architecture Backend / API Profil recherché Solide maîtrise du développement backend Java Expérience ou forte appétence pour les architectures Kafka / event-driven Capacité à travailler en équipe Agile avec une posture rigoureuse et proactive Sens du delivery : qualité , autonomie , communication fluide avec les profils techniques et produit

Almatek recherche pour l'un de ses clients Un Data Engineer Spark/Scala sur Bordeaux. Afin de renforcer l'équipe de développement, on recherche un Data Engineer expérimenté et connaissant les technos suivantes : Solutions utilisées : -Socle Big Data (OI1) : *Compute : Yarn *Storage: HDFS (avec chiffrement pour C3), Hive *Sécurité des données: Ranger, Ranger KMS, Ldap, Kerberos Frameworks/langage/outils utilisés : -MoveNAStoHDFS -Moteur d'ingestion v2 -Spark Scala -Dictionnaire de données -Socle Data Science : *DataiKu Automation Frameworks/langage/outils utilisés: -Spark 3 -HQL Localisation : Bordeaux + 2 à 3 jours de présence sur site requise

Dans le cadre de projets informatiques à forts enjeux métiers, nous recherchons un Développeur Java Confirmé pour une mission d’assistance technique au sein d’équipes agiles en charge d’applications critiques du système d’information. La mission s’effectuera au sein d’une équipe projet dédiée à un périmètre Assurance-crédit, avec une possible évolution vers d’autres équipes ou sujets connexes selon les besoins. Le consultant interviendra dans un environnement Agile / SAFe et participera activement à la qualité, à la sécurité et à la performance des solutions développées, dans une logique DevSecOps. Le consultant aura pour responsabilités : Garantir la couverture des besoins métiers dans les engagements de l’équipe Veiller à la conformité des livrables avec la cible technique définie Développer dans une démarche DevSecOps et en promouvoir les bonnes pratiques Prendre en charge les correctifs et la maintenance évolutive Réaliser les tests unitaires, automatisés et End-to-End Participer au suivi des indicateurs d’excellence opérationnelle Contribuer aux revues de User Stories et aux estimations de charge Corriger les anomalies et assurer le suivi de production Vérifier la mise en place et la conformité des pipelines CI/CD Automatiser les tests dans les processus de déploiement Créer et maintenir les pipelines DevSecOps (Jenkinsfile) Utiliser des outils de supervision applicative Participer aux cérémonies Agile / SAFe Mettre en pratique l’usage de l’IA générative dans les activités de développement

Solide expérience en développement avec des langages comme Scala et/ou Java, et une compréhension approfondie des concepts de programmation fonctionnelle. Compétences avérées dans l'utilisation de plateformes de streaming de données comme Apache Kafka, et de frameworks de traitement de données distribuées comme Apache Spark. Expérience significative dans le domaine de la Data et du Cloud (GCP ou AWS), en particulier les services tels que Cloud Storage, BigQuery, Dataproc, Kubernetes, et d'autres outils pertinents pour la gestion et le traitement de données à grande échelle Bonne maîtrise de BigQuery et du SQL avancé, avec une expérience sur des traitements de gros volumes de données. Maîtrise des outils de CI/CD, en particulier via GitLab CI/CD et Docker Compose, pour l’automatisation des workflows data. Bonne connaissance de l’environnement Linux et des outils de ligne de commande. Connaissance approfondie des concepts d'architecture microservices et des bonnes pratiques de développement. Expérience dans l'écriture de tests unitaires et d'intégration pour garantir la qualité du code. Connaissance sur Kafka-stream, spring boot, Travail en méthodologie agile (Scrum), avec une capacité à collaborer efficacement dans des équipes pluridisciplinaires.

Nous recherchons une personne avec expérience et qui souhaite toucher à tout et sait s’adapter aux différents contextes, une personne passionnée par le développement et sa qualité SA MISSION : À la demande du Métier, il analyse, paramètre et code les composants logiciels applicatifs dans le respect des évolutions souhaitées, des normes et des procédures. De plus, il veille à ce que les produits développés suivent les règles de sécurité requises par l’entreprise. Il est également sensible aux problèmes de production, apporte des solutions et forme les autres développeurs suite aux problèmes rencontrés SON ACTIVITE : ANALYSE : - Contribue à la définition des spécifications générales - Réalise l'analyse technique et l'étude détaillée - Adapte et paramètre les progiciels applicatifs (ERP) - Réalise le prototypage - S’assure du respect des règles de sécurité définies par ADEO - Participe à la rédaction des Post Mortems, et assure le suivi des actions d’amélioration continue identifiées lors de ces PM QUALIFICATION : - Élabore les jeux d'essais pour les tests unitaires d'intégration - Effectue les tests unitaires - Identifie et traite les dysfonctionnements

Dans le cadre du renforcement d’un socle data stratégique, l’équipe recherche un Data Engineer pour intervenir sur la conception et l’industrialisation de pipelines de données au sein d’une architecture orientée Datalake / MDM, basée sur le modèle Bronze / Silver / Gold. Le poste s’inscrit dans un environnement à forte exigence métier, avec des enjeux de qualité, de sécurité et de gouvernance des données. Missions principales : Concevoir et développer des pipelines de données robustes et évolutifs Implémenter et maintenir des workflows Apache NiFi (ingestion, orchestration, monitoring) Intégrer des données multi-sources (fichiers, API REST) Réaliser les transformations et contribuer à la modélisation des données Mettre en place les contrôles de qualité, la traçabilité et le monitoring Optimiser les performances et garantir la sécurité des flux Documenter les processus et bonnes pratiques

Expert Middleware : ORLEANS Le poste est en full présentiel avec deux jours de télétravail par semaine par la suite. Plateforme : Ansible Automation Platform, - Serveurs d’applications : Tomcat, JBoss EAP, - Systèmes d'exploitation : Linux, Windows, - Autres : ElasticSearch, IBM MQ, ACE, Datapower, APIC, Keycloak, - Environnements : développement, intégration, recette et production. Description de la mission : - Mise en œuvre, industrialisation et administration des serveurs d’applications (Tomcat, JBoss EAP), - Industrialisation et automatisation des tâches récurrentes via Ansible Automation Platform, - Préconisation et traitement des besoins liés à la supervision et à l’automatisation, - Contrôle et maintien des dispositifs de sauvegarde et de restauration, en garantissant la continuité de service, - Qualification et mise en œuvre des évolutions techniques du périmètre Middleware, - Adaptation et maintien des outils d’exploitation. Liste des tâches et des livrables : - Rédaction, mise à jour et maintien de la documentation (notes, procédures, comptes-rendus...), - Contrôle de la bonne application des procédures et des règles. Compétences requises : - Plateforme : Ansible Automation Platform, - Serveurs d’applications : Tomcat, JBoss EAP, - Systèmes d'exploitation : Linux, Windows, - Autres : ElasticSearch, IBM MQ, ACE, Datapower, APIC, Keycloak, - Environnements : développement, intégration, recette et production. Compétences souhaitables : - Environnement d’infrastructure middleware, - Expérience solide en administration système, - Bonnes pratiques du fonctionnement d’une exploitation.

Dans le cadre d’une mission d’assistance technique, nous recherchons un développeur confirmé pour intervenir sur un périmètre applicatif stratégique au sein d’un programme agile à l’échelle. Vous interviendrez sur l’ensemble du cycle de vie applicatif avec une forte orientation DevSecOps , qualité logicielle et excellence opérationnelle. Vos principales missions seront : Garantir la bonne couverture des besoins métiers dans les engagements de l’équipe Veiller à la conformité des livrables avec la cible technique définie Développer dans un cadre DevSecOps et promouvoir ces bonnes pratiques au sein de l’équipe Prendre en charge les correctifs et les évolutions applicatives Réaliser les tests unitaires, automatisés et End-to-End Participer aux revues des User Stories et aux chiffrages Assurer le suivi de production et la correction des anomalies Mettre en place et maintenir les pipelines CI/CD (Jenkins, DevSecOps) Automatiser les tests dans les processus de déploiement Créer et maintenir les Jenkinsfiles et pipelines DevSecOps Utiliser des outils de supervision applicative Participer activement aux cérémonies agiles (cadre SAFe) Mettre en pratique l’usage de l’IA générative dans les activités de développement

Administrateur Middleware Tomcat, JBoss EAP, ORLEANS Le poste est en full présentiel avec deux jours de télétravail par semaine par la suite Compétences requises : - Serveurs d’applications : Tomcat, JBoss EAP, - Systèmes d'exploitation : Linux, Windows, - Autres : ElasticSearch, IBM MQ, ACE, Datapower, IBM API Connect, Keycloak, - Environnements : développement à production. Description de la mission : - Assurer le support et le conseil aux équipes de la Direction DSI, - Jouer un rôle de conseil et d’expertise technique auprès des équipes projets, - Mettre en œuvre, industrialiser et administrer des serveurs d’applications (Tomcat, JBoss EAP), - Préconiser et traiter les besoins de supervision et d’automatisation, - Industrialiser les tâches récurrentes, - Analyser les problèmes de performance et participer aux campagnes de benchmark, - Contrôler et maintenir les dispositifs de sauvegarde et de restauration pour assurer la continuité de service, - Traiter les incidents et les problèmes, - Qualifier et mettre en œuvre toute évolution technique du périmètre Middleware, - Adapter et maintenir les outils d’exploitation. Liste des tâches et des livrables : - Rédiger et actualiser les notes, procédures et comptes-rendus, - Contrôler la bonne application des procédures et des règles. Compétences requises : - Serveurs d’applications : Tomcat, JBoss EAP, - Systèmes d'exploitation : Linux, Windows, - Autres : ElasticSearch, IBM MQ, ACE, Datapower, IBM API Connect, Keycloak, - Environnements : développement à production. Compétences souhaitables : - Environnement d’infrastructure middleware, - Expérience solide en administration système, - Bonnes pratiques du fonctionnement d’une exploitation

Nous recherchons un Data Engineer pour intervenir sur la fabrication de cas d’usages Data et le développement des produits associés. L’environnement est transverse, multi-sites, avec des enjeux forts de cohérence, de qualité et d’industrialisation des solutions Data à l’échelle de l’entreprise, en lien avec les équipes métiers et techniques. ➕ Les + de la mission Environnement technique structuré Enjeux Data à forte valeur métier Collaboration avec des équipes techniques expérimentées Mission longue durée 📍 Localisation Vannes / Nantes (1 jour par semaine sur site à Vannes requis) Mission longue

Expert en systèmes distribués, votre mission est de concevoir, déployer et administrer les clusters Apache Kafka au cœur de l'échange de données en temps réel de la banque. Vous intervenez sur la configuration fine des brokers, la gestion des topics, des schémas (Schema Registry) et des partitions pour garantir une haute disponibilité et une tolérance aux pannes maximale. Vous accompagnez les équipes de développement dans l'implémentation des producteurs et consommateurs, ainsi que dans l'utilisation de Kafka Streams ou ksqlDB pour le traitement de flux. Vous assurez le monitoring proactif des performances (latence, débit), la sécurité des flux (SSL/SASL/ACLs) et le troubleshooting complexe en environnement de production critique. Vous êtes le référent sur les stratégies d'archivage et de réplication inter-sites.

Consultant / Ingénieur Kafka & Cloud, vous intervenez sur un projet stratégique de migration d’une plateforme Event Driven d’une infrastructure Kafka on-premise vers une offre Cloud managée PaaS. Vous êtes responsable du pilotage des fournisseurs de services Kafka et Kafka Connect, de la définition et de la mise en œuvre de la stratégie de migration, ainsi que du déploiement de l’infrastructure Cloud (Kubernetes, Docker). Vous réalisez des POC, assurez le troubleshooting, automatisez les processus (Shell, Python, CI/CD), documentez l’architecture et garantissez la résilience, la sécurité et la performance de la plateforme cible. Vous accompagnez les équipes applicatives lors des mises en production, assurez le support et la stabilisation post-migration, et mettez en place le monitoring et l’alerting. Ce rôle requiert une forte expertise Kafka, Cloud et intégration Event Driven, une maîtrise des environnements Cloud et DevOps, une expérience significative en projets de migration Cloud, ainsi qu’un anglais technique courant.