Trouvez votre prochaine offre d’emploi ou de mission freelance Apache

Almatek recherche pour l'un de ses clients Un Expert / Lead Dev Kafka Stream sur Grenoble. Contexte : Plateforme de data streaming dédiée à la collecte et au traitement de données énergétiques issues d’équipements terrain (capteurs IoT, automates, systèmes de gestion technique de bâtiments). Technologie : Expertise : Java, Spring Boot, Spring Data, Kafka, Kafka Stream Idéalement : InfluxDB, Spring Cloud, Kafka Connect, Oracle Database, PL/SQL, AWS Lambda, SQS, SNS, Ansible, Docker, Spark Profil attendu : Expert technique Kafka Stream ou Lead dev Data Streaming pouvant traiter : des problématiques de streaming (partitionnement Kafka, gestion du throughput, optimisation de la latence, tolérance aux pannes, reprise sur incident, cohérence des données et supervision de pipelines critiques.) des sujets avancés liés aux architectures event-driven et aux systèmes distribués. Localisation : Grenoble + TT

Dans le cadre d’un programme d’expérimentation et de modernisation des infrastructures data, nous recherchons un DBA / Ingénieur Data spécialisé ElasticSearch et Apache Iceberg afin de réaliser plusieurs Proof of Concept autour des technologies de stockage et de traitement de données. Le consultant interviendra sur la mise en place et le paramétrage d’environnements ElasticSearch ou OpenSearch déployés sur Kubernetes avec stockage objet S3, ainsi que sur la réalisation d’un POC Apache Iceberg. La mission inclut également l’automatisation des déploiements via Ansible et AWX, ainsi que la participation aux choix techniques et à la structuration des bonnes pratiques autour des infrastructures data et des environnements cloud natifs.

Nous développons une plateforme ayant pour objectif de centraliser l’ensemble des opérations de différents émetteurs (monétiques, prélèvements, virements, facturation, etc), de les traiter, puis de les restituer de manière fiable et sécurisée aux canaux de distributions (application mobile, site web et portail collaborateur). Dans ce cadre, nous recherchons une personne spécialisée dans le développement back_end pour renforcer notre équipe. Les principales missions sont les suivantes : - Concevoir, développer et maintenir des applications back-end en Java (Springboot, KAFKA, java 25, elasticsearch, API rest) - Test et support des développements - Mise en place et maintenance de la documentation technique - Garantir la qualité du code (tests unitaires, code review) - Affinage des récits avec l'équipe Attendu: - Etre capable de livrer des fonctionnalités complétes et fonctionnelles en respectant les délais. - Prendre en charge un besoin métier de bout en bout (analyse --> dev--> test--> Mise en production). -Qualité du code : Ecrire un code propre lisible et maintenable. -Mettre en place des tests unitaires. -Respecter les bonnes pratiques et communiquer avec les équipes (APPOS, PO/BA etc). -Participer activement aux cérémonies agiles : Daily, Sprint planning, rétros , affinages

Nous recherchons pour l’un de nos clients, un grand groupe du secteur de l’énergie , un profil Data Engineer / AI Engineer confirmé à senior afin d’intervenir sur un projet interne de Data Marketplace . Contexte de la mission La plateforme est une Data Marketplace interne destinée aux collaborateurs du groupe. Elle centralise plusieurs usages autour de la data : Data Discovery, Data Quality, Data Governance, Data Transformation, Pipelines Monitoring, BI Hub , ainsi que des fonctionnalités avancées liées à l’intelligence artificielle. La plateforme a déjà été déployée auprès d’une centaine d’utilisateurs en 2025. L’objectif est désormais d’améliorer l’expérience utilisateur, d’enrichir les fonctionnalités existantes et d’accompagner le déploiement progressif de la solution auprès d’environ 8 000 collaborateurs dans 19 pays entre 2026 et 2028. Le consultant rejoindra l’équipe Produit afin de renforcer l’excellence technique de la marketplace et contribuer au développement de flux de données robustes, scalables et performants. Mission principale Le Data Engineer / AI Engineer aura pour mission de concevoir, développer, industrialiser et maintenir des flux de données basés principalement sur des composants AWS , avec une dimension importante autour de la qualité des données , de la performance applicative et de l’industrialisation. Il interviendra sur des problématiques de développement data, d’architecture back-end modulaire, d’intégration de données, de data quality et d’automatisation des traitements. Responsabilités Le consultant sera notamment chargé de : Développer et maintenir des fonctionnalités complexes en Python et Scala . Concevoir et faire évoluer une architecture back-end modulaire, scalable et réutilisable. Développer des workflows data intégrant plusieurs couches de traitement et des contrôles qualité. Mettre en place et optimiser des flux de données complexes. Améliorer la performance des ingestions : temps de chargement, qualité, retry, fiabilité. Travailler sur des composants AWS tels que Lambda, Glue, Redshift, Step Functions, DynamoDB . Intervenir également sur certains services Azure comme Azure Functions ou Cosmos DB . Consommer, intégrer et challenger des API REST complexes . Participer aux revues de code, aux rituels agiles et aux choix d’architecture. Garantir la qualité, la maintenabilité et la documentation des développements. Collaborer avec le Product Owner, les équipes data, produit, sécurité et techniques. Compétences techniques attendues Data Engineering : Python Scala SQL Spark Kafka Kinesis EventHub Event Grid Workflows data multi-couches Data Quality API REST Cloud : AWS avancé : Lambda, Glue, Redshift, Step Functions, DynamoDB Azure : Azure Functions, Cosmos DB Environnements cloud ou hybrides DevOps / Industrialisation : Git CI/CD Tests automatisés Bonnes pratiques de Clean Code Documentation technique IA / Frameworks appréciés : LangChain LangGraph Frameworks AI

Contexte de la mission Cette équipe en cours de construction est aujourd'hui constituée d'un chef de projet. Elle est accompagnée par diverses ressources du pôle, du département ou des équipes applicatives ( managers, coodinateurs, référent techniques, pilote de système applicatifs...). La mission du projet : Accompagner la migration et l’industrialisation d’une plateforme data cible autour de Databricks / Spark / Power BI​ Description du profil: Nous recherchons un Lead Data Engineer / Expert Databricks pour accompagner la migration et l’industrialisation d’une nouvelle plateforme data. Le profil interviendra sur la conception de pipelines Databricks / Spark, la structuration du modèle de données cible et la mise en place de standards de développement robustes, maintenables et industrialisés. Le profil devra accompagner les équipes de développement pour assurer le respect des bonnes pratiques établies pendant la migration. Une capacité à prendre du recul, à proposer des choix techniques structurants et à travailler avec des équipes Data, BI et métier est attendue. Une connaissance de Power BI est appréciée pour faciliter l’exposition des données vers les usages analytiques. Objectifs et livrables Activité principale : Concevoir, développer et maintenir des pipelines data sous Databricks / Spark Développer les traitements en Python, PySpark et SQL Contribuer à la définition et à la mise en œuvre du modèle de données cible Industrialiser les pipelines : standards de développement, tests, CI/CD, déploiement Mettre en place des traitements robustes, maintenables et scalables Orchestrer les traitements via Databricks Workflows / Lakeflow Jobs Contribuer à la qualité, à l’observabilité et à la fiabilité des traitements Participer au run : suivi de production, analyse d’incidents, amélioration continue Prendre en compte les enjeux de performance et de maîtrise des coûts Activité secondaire : Participer au cadrage des besoins avec le Product Owner et les équipes utilisatrices Contribuer aux choix techniques liés à la nouvelle plateforme data Participer à la mise en place des pratiques de développement Databricks Contribuer à l’interfaçage avec Power BI ou à des processus intégrés Databricks / Power BI Participer à l’intégration de sources d’alimentation du datalake, Kafka apprécié Contribuer à la documentation technique et aux standards d’équipe Participer aux rituels agiles et à l’amélioration continue de la feature team Stack technique de l'équipe: Obligatoires : Databricks, Spark, PySpark, Python, SQL Obligatoires : Modélisation data, Delta Lake, Unity Catalog Obligatoires : CI/CD, tests, industrialisation des pipelines Demandées : Certification Databricks, cloud public, Terraform Demandées : Databricks Workflows, observabilité Appréciées : Kafka, Lakeflow / DLT, Power BI Appréciées : Certification cloud

Missions principales 1. Administration Kafka On-Premise Administration avancée de clusters Kafka Activités Build & Run Support technique expert Automatisation des opérations via Ansible et Bash 2. Maintien Kafka PaaS (en fin de vie – IBM Cloud) Contribution au développement (Java / microservices Kafka) Maintien en conditions opérationnelles Accompagnement de la phase de décommissionnement 3. Déploiement Kafka as Code (offre stratégique) Automatisation du provisioning Kafka sur Cloud Développement de pipelines internes Mise en place de pratiques CI/CD et GitOps Industrialisation via outils d’infrastructure as code ⚠️ Exploitation Participation aux astreintes Gestion des incidents de production Support transverse sur les différentes offres Kafka 🛠️ Environnement techniqueCompétences indispensables Apache Kafka (administration avancée) Python Linux (RedHat) Git / GitLab Bash / scripting Ansible Compétences appréciées GitOps (ArgoCD) Apache Airflow Terraform Docker / Kubernetes Java & microservices Kafka Helm / Kustomize 🌍 Langues Anglais professionnel requis

Les missions seront les suivantes : - Etudier et analyser les besoins métiers et techniques en relation avec le business analyst et chef de projet - Réaliser les développements et les tests unitaires et contribuer à la réalisation des phases de recettes. - Rédiger la documentation technique - Participer aux cérémonies agiles et aux mises en production autour des outils et principes DevOps (XLR, XLD). Maitrise : angular et python Maitrise : Fast API/API Rest - java connaissance sur les outils de dévops : Git, xdeploy, xrelease et Openshift seraient un plus : connaissances en NoSql, Hadoop, base Solr Très important : Une personne débrouillarde qui aime chercher, demander, qui sait alerter ...

Nous recherchons un(e) Ingénieur Data Senior expert Python pour concevoir, développer et maintenir une plateforme de données robuste et performante dans un environnement entièrement on-premise. Vous interviendrez sur la mise en place de pipelines batch et temps réel à grande échelle en vous appuyant sur des technologies telles qu’Apache Kafka, Flink, Airflow et la stack ELK. Vous serez responsable de la fiabilité, de la qualité et de la résilience des traitements de données, tout en collaborant étroitement avec les équipes Data et DevOps sur les sujets d’architecture, d’industrialisation et d’exploitation des infrastructures. Le poste requiert une forte expertise en développement Python en production, ainsi qu’une solide maîtrise des environnements distribués, du streaming et des problématiques de performance et d’observabilité.

Dans le cadre du renforcement de nos équipes, nous recherchons un développeur Backend Java Senior pour intervenir sur des projets techniques à forte valeur ajoutée au sein d’environnements modernes et exigeants. 📍 Localisation : Montpellier 📅 Démarrage : ASAP 💼 Expérience : profil senior attendu 🔎 Stack technique : • Java 21 • Spring Boot / Microservices • Kafka • MongoDB • Kubernetes • Docker • CI/CD (GitLab CI, Jenkins ou équivalent) • API REST • Architecture distribuée & bonnes pratiques de développement 🎯 Missions : • Concevoir et développer des services backend robustes et performants • Participer aux choix d’architecture et aux évolutions techniques • Mettre en place et améliorer les pipelines CI/CD • Participer aux déploiements et à l’industrialisation via Kubernetes • Garantir la qualité, la performance et la maintenabilité du code • Collaborer avec les équipes produit, DevOps et frontend dans un environnement Agile 👥 Environnement : • Équipe technique senior et dynamique • Projets innovants et challengeants • Forte culture engineering et qualité

Contexte de la mission Description du besoin : La mission consiste à assurer le maintien en conditions opérationnelles des socles Hadoop Cloudera Hors-Prod et Prod et la participation aux projets d’évolution technique de ces socles. Activités principales : Administration et exploitation des socles Hadoop : supervision, optimisation, gestion des incidents et des performances ; Capacity planning : suivi et mise en place d’outils et procédures ; Maintenance proactive : application des correctifs, mises à jour, suivi des évolutions technologiques ; Rédaction de procédures d'administration et d’exploitation ; Intégration avec l'outillage de l'écosysteme DSI pour l'exploitation du SI Support expertise aux équipes Etudes et exploitation Projets d’évolution des architectures techniques (évolutions logicielles et matérielles, sécurité, amélioration de l’existant, évolution des fonctionnalités techniques ou fonctionnelles) : la participation attendue peut se situer sur le pilotage, la définition d’architecture et la rédaction des dossiers, la mise en œuvre. Hadoop est le périmètre technique principal d’exécution de la mission ; cependant des compétences supplémentaires sur d’autres solutions Data seront très appréciées. La mission nécessite à la fois une totale autonomie et une capacité de travail en équipe et de communication. Des astreintes ou interventions ponctuelles en HNO pourront être ponctuellement demandées.

Almatek recherche pour l'un de ses clients, Un Concepteur – Développeur Java Kafka Île-de-France Profil développeur avec une forte expertise Java / Kafka pour un client bancaire. Almatek recherche pour l'un de ses clients, Un Concepteur – Développeur Java Kafka Île-de-France Profil développeur avec une forte expertise Java / Kafka pour un client bancaire. Almatek recherche pour l'un de ses clients, Un Concepteur – Développeur Java Kafka Île-de-France Profil développeur avec une forte expertise Java / Kafka pour un client bancaire. Almatek recherche pour l'un de ses clients, Un Concepteur – Développeur Java Kafka Île-de-France Profil développeur avec une forte expertise Java / Kafka pour un client bancaire.

CONTEXTE Le domaine C2DP – Référentiels d'un grand groupe de protection sociale et d'assurance gère les référentiels centraux du groupe (personnes, géographique) ainsi que les produits data hébergés au sein du DataHub. Le projet RPG vise à mettre en place un nouveau référentiel personnes (clients & assurés) reposant sur la solution IDMC d'Informatica. Ce référentiel est interfacé avec le CRM Salesforce et propage les données clients vers l'ensemble des systèmes contrats du SI. Le périmètre technique couvre la solution IDMC (modules CAI & CDI), les API, Kafka et Kstream-Java. Le projet est conduit en mode agile, au sein d'une équipe Scrum intégrée à un train SAFe. RÔLE ET RESPONSABILITÉS PRINCIPALES Réalisation des analyses fonctionnelles et techniques dans le périmètre RPG Conception des solutions IDMC (modules CAI et CDI) Développement et paramétrage autour de la plateforme Informatica IDMC Implémentation et intégration des flux via API et Kafka / Kstream-Java Rédaction et exécution des tests unitaires Participation active aux cérémonies agile (Sprint, PI Planning…) Déplacements ponctuels à Paris pour réunions de travail et PI Planning LIVRABLES ATTENDUS Analyses fonctionnelles et techniques documentées Développements IDMC (CAI / CDI) livrés et testés Flux API et Kafka intégrés et validés Tests unitaires exécutés et résultats consignés

Monitoring et Observabilité : • Mise en place de solutions de monitoring (Datadog) • Surveillance de l’état de santé du périmètre SIRH, KPI Intégration et API : • Utilisation d’API REST / SOAP. • Utilisation de Oracle Integration Cloud (OIC) pour l’échange de données et l'automatisation de processus. • Evolution vers une Architecture orientée événements (EDA) : publication dans des topics Kafka. Automatisation et Ordonnancement : • Planification et gestion de jobs d'ordonnancement dans BMC Software Control-M. • Analyse et résolution en cas de dysfonctionnement • Automatisation de tâches diverses, notamment les tests et les flux de données Rédaction de Scripts : • Création et maintenance de scripts en cmd, PowerShell, Python. • Automatisation de tâches répétitives via ces scripts

Responsabilités principales : • Administrer les environnements Databricks et Dataiku : gestion des clusters, sécurité et gouvernance (Databricks Azure, Dataiku on prem) • Déployer et maintenir les pipelines de données (ETL/ELT) en production (MCO) • Automatiser le déploiement et la configuration IaC • Administrer des environnements Airflow, Starburst … • Assurer la fiabilité, l’intégrité et la qualité de la plateforme en production. • Définir et suivre les SLO/SLI ; rétablir le service en cas d’incident. • Participer à la conception d’architectures data end-to-end (ingestion, stockage, transformation, exposition) et anticiper les impacts sur la production. Compétences clés : - Techniques : • Linux (RHEL), Docker, Kubernetes / OpenShift • Databricks, Dataiku (connaissances avancées) • Airflow, Starburst, Domino AI (un plus) • Automatisation & IaC Git, Ansible, Terraform, Helm, DigitalAI, ArgoCD • Scripting : Python, SQL, Shell, YAML • Observabilité & Monitoring: ELK, SysDig, Dynatrace, Grafana • Cloud : IBM Cloud (Cloud Principal), Azure (pour la solution Databricks) - Métier & Soft skills : • Analyse, diagnostic, résolution de problèmes et définir des indicateurs pertinents (SLI/SLO) • Orientation fiabilité, performance et expérience utilisateur • Autonomie, sens des priorités et proactivité • Capacité à anticiper les besoins futurs en matière de Data & AI et à proposer des solutions innovantes pour améliorer la fiabilité et la performance des services. Profil recherché : • Expérience en DataOps, DevOps/IAOps/Architecture Data ou exploitation en production. • Maîtrise opérationnelle de Databricks et Dataiku sur des projets réels en production • Communication fluide et maitrise de l’anglais obligatoire pour un usage quotidien

Missions : Développement des pipelines ETL des entités productrices IT locales : - accompagnement client pour la collecte des besoins - co-rédaction des spécifications fonctionnelles et techniques des sources de données à récupérer - ingestion et processing des sources de données IT primaires pour alimenter leur local data cleansing systems - push des données goldenisées vers le MDM IT Group - MCO et optimisation des pipelines - PV recette des pipelines Opérationnellement, les outils de travail : - PostGreSQL / Oracle ExaCC - Apache Kafka / PostgreSQL / S3 storage - Talend Real Time Big Data / ESB, ETL, EAI - Talend Data Catalogue - Grafana / Prometheus / Dynatrace - ServiceNow ITSM (change, incident, problem, request) - Jira / confluence Nice to have: - Tableau server / Tableau Desktop / PowerBI / Dataikku

Bonjour, Nous recherchons pour notre client un Data Engineer BI / Big Data disposant d’une solide expérience sur les environnements GCP, Spark Java et Teradata, pour intervenir au sein d’un programme data d’envergure dans le secteur du transport aérien. Localisation Toulouse – présence sur site requise 2 jours par semaine Budget 400€/jour selon expérience Démarrage 08/06/2026 Fin de mission 12/03/2027 Contexte de la mission Vous intégrerez une équipe Agile SAFe d’une dizaine de personnes dédiée aux sujets BI et gestion de la donnée client. L’environnement technique combine à la fois des architectures BI traditionnelles et des plateformes Big Data, avec une migration progressive vers GCP actuellement en cours. La mission s’articule autour de deux volets : participation aux évolutions et projets de transformation data, maintien et amélioration des solutions existantes. Vous travaillerez en proximité avec le Product Owner, les Business Analysts ainsi que les différentes équipes métiers impliquées dans la gestion des données clients. Compétences requises Java / Spark SQL GCP (BigQuery) Terraform ➕ Compétences appréciées Kafka Spotfire Power BI Control-M Jira