Trouvez votre prochaine offre d’emploi ou de mission freelance Apache

En tant que Data Engineer, vous intégrerez une équipe pluridisciplinaire composée de de développeurs, de DevOps, de Scrum masters et de Product Owners, travaillant en méthodologie Agile : o Nos défis : Fiabiliser et industrialiser les flux de données du catalogue de contenus : métadonnées éditoriales, programmes, saisons, droits et disponibilités. Construire des pipelines performants, rejouables et scalables pour fournir des données fraîches et cohérentes. Méthode de travail : Agile / Scrum, intégration et déploiements continus, revue de code. o Environnement technique : Apache Spark, Apache Iceberg, Amazon S3, AWS, Python et/ou Scala, SQL, Git, CI/CD, monitoring et alerting.

Notre client, acteur majeur de son secteur, est à la recherche de son futur Ingénieur DevOps Kafka (H/F) pour son site de la région toulousaine, dans le cadre d'un programme stratégique de modernisation des échanges et de renforcement de l'interopérabilité du système d'information. ### Vos missions Intégré à une équipe en charge des plateformes d'échanges et d'intégration, vous devrez : * Participer à la finalisation et à l'industrialisation de la plateforme Kafka. * Accompagner la migration progressive des flux historiques vers une architecture moderne orientée événements. * Contribuer au désengagement des solutions de messagerie existantes telles que HornetQ. * Assurer la performance, la disponibilité et la montée en charge des plateformes d'échanges. * Automatiser les processus d'exploitation et de déploiement dans une démarche DevOps. * Accompagner les équipes projets dans l'intégration de nouveaux flux. * Mettre en place les outils de supervision, de monitoring et d'observabilité. * Participer aux travaux d'amélioration continue et de sécurisation des plateformes. Les compétences techniques * Apache Kafka * DevOps * Floware * Middleware et solutions de messaging * HornetQ * Architecture de flux et interopérabilité SI * CI/CD * Monitoring et observabilité * Docker et/ou Kubernetes (apprécié) * Git et outils d'automatisation

Au sein d'une équipe Agile dédiée à des produits innovants pour le réseau électrique, vous intervenez en tant que Lead Tech Java / Angular. Vous assurez le rôle de référent technique sur des applications web et des sujets data liés notamment à la maintenance prédictive, à la mobilité électrique et aux charges réseau. Vous concevez, développez et maintenez des applications Java Spring Boot et Angular. Vous participez au cadrage fonctionnel et technique, accompagnez les Product Owners, réalisez les revues de code et garantissez la qualité, la sécurité et la maintenabilité des solutions. Vous intervenez sur l'ensemble du cycle de vie des projets, du POC à la mise en production, tout en accompagnant techniquement les équipes.

Dans le cadres des applications à maintenir sur le périmètre finance, réglementaire et comptabilité, vous serez en charge de: Accompagner les équipes dans le traitement et le suivi de la production, Mise en place des évolutions, Suivre les Run des production, Gérer les incidents dans le respect des délais demandés, Traiter les tickets JIRA pour la maintenance des applications. Ces applications porteront sur les domaines suivants: IFRS9/ BCR. Crédit Reporting, Outil d'expertise Réseau, Calcul de provision IFRS9, Anadefi, Outil de reporting réglementaire, Outil de lutte contre le blanchiment et le financement de terrorisme, Les livrables attendus sont les suivants: Rédaction des procédures de suivi de production, Suivi du Run de Production, Traitement des incidents, Mise en oeuvre des demandes d'évolution liées à la maintenance corrective,

Dans le cadre de projets de modernisation technique et de renforcement des équipes de développement, nous recherchons un(e) Consultant(e) Développeur(euse) Back-End Java / Spring – Kafka & Qualité. Rattaché(e) à l'équipe technique, vous interviendrez sur la conception et le développement d'une application back-end à forte exigence de robustesse, de performance et de qualité logicielle. Missions : Conception & Développement Back-End : Participer à la conception ainsi qu'à la mise en œuvre des développements back à partir des spécifications fonctionnelles. Développer en respectant les bonnes pratiques définies, de manière robuste et performante. Connaître et appliquer les choix d'architecture faits au préalable. Qualité, Tests & Performance : Mettre en place des tests unitaires, d'intégration et de non-régression (Cypress, TDD). Optimiser les performances applicatives et SQL (plans d'exécution). Participer aux revues de code et challenger le besoin vis-à-vis des bonnes pratiques et contraintes techniques. Intégration & Flux de Données : Concevoir et intégrer des flux de données via Kafka pour les besoins de communication inter-services. Assurer la correction des anomalies fonctionnelles et/ou techniques. Communication & Accompagnement : Communiquer et remonter les alertes ou points de blocage au lead dev. Participer aux différentes réunions/ateliers de l'équipe et donner de la visibilité sur l'avancée des chantiers. Rédiger et actualiser les documents techniques, apporter du support aux équipes fonctionnelles.

Dans le cadre d'un projet de replatforming de la stack ELK vers OpenSearch, une migration de la plateforme actuelle est en cours, incluant un passage d'une architecture single-tier vers une architecture multi-tier. Cette évolution repose notamment sur : - La mise en place d'une infrastructure OpenSearch, dimensionnée pour supporter la volumétrie actuelle et les besoins futurs, - L'adaptation de la chaîne d'ingestion basée sur Kafka et Logstash, - La migration des composants existants (index, mappings, templates et dashboards) vers OpenSearch, - L'automatisation et l'industrialisation des déploiements via Ansible / AWX. Dans ce contexte, un renfort expert est recherché pour accompagner la mise en œuvre, l'optimisation de cette architecture, et disposant d'un retour d'expérience concret sur ce type de transformation. Une attention particulière est attendue sur Kafka, afin d'accompagner son administration, son optimisation et ses évolutions. - Audit de l'architecture existante. - Analyse des choix techniques mis en œuvre et identification des axes d'amélioration. - Apport d'expertise sur l'optimisation de la plateforme OpenSearch (performance, résilience, maintenabilité). - Expertise sur les environnements Kafka (administration des clusters, optimisation des flux, gestion des performances et accompagnement des évolutions) - Expertise Logstash (compatible OpenSearch) (pipelines, parsing, optimisation) - Contribution à la migration ELK vers OpenSearch (index, mappings, pipelines). - Industrialisation via Ansible / AWX. - Documentation et accompagnement des équipes. Profil recherché : La ressource devra être immédiatement opérationnelle, autonome, et capable d'évoluer dans un environnement technique complexe. Compétences attendues : - Expertise confirmée sur OpenSearch (architecture, optimisation des performances, gestion de clusters). - Expertise confirmée de Kafka : - Administration et exploitation de clusters, - Optimisation des performances et des flux, - Capacité à accompagner les évolutions d'architecture. - Bonne expertise sur Logstash (compatible OpenSearch) (conception et optimisation des pipelines). - Expérience dans des contextes de migration ELK vers OpenSearch - Maîtrise d'Ansible / AWX. - Capacité à formuler des recommandations claires et réalisable. - Bon niveau de communication et capacité à accompagner des équipes techniques.

Nous recherchons pour un de nos clients basé en IDF, un Analyste/Ingénieur Big Data Scala - Spark pour une mission freelance (longue visibilité) ContexteDans le cadre d'un appel d'offres , notre client recherche un Analyste / Ingénieur Big Data Scala - Spark pour renforcer une équipe en charge de la gestion et de l'exploitation d'une plateforme Big Data. Démarrage : Début novembre 2026 Missions :Au sein de l'équipe, vous interviendrez principalement sur : Le maintien en condition opérationnelle des traitements Big Data. Le suivi de production et l'exploitation quotidienne des flux de données. L'analyse et la correction des incidents. La fiabilisation et l'amélioration de la qualité des données. L'analyse technique de traitements existants. La compréhension et la reprise de développements conçus par d'autres équipes afin d'en assurer les corrections et évolutions.

Concevoir, développer et maintenir des applications robustes et scalables avec Java, Spring Boot, Kafka et RabbitMQ. Architecturer des solutions microservices et event-driven. Traiter, agréger et transformer les données avec des outils orientés Data. Gérer les bases de données relationnelles et orientées document. Appliquer les principes DevOps notamment CI/CD. Utiliser le versionning avec Git. Intégrer les principes de craftsmanship et les bonnes pratiques telles que SOLID, YAGNI et la couverture de tests avec Sonar. Utilisation des outils Générative AI de manière régulière. Contribuer à l'amélioration continue de la qualité du produit et des pratiques de développement. Participer à toutes les phases du cycle logiciel de la conception à la mise en production et au run. Assurer la maintenance et l'évolution des applications existantes. Adopter les méthodes agiles notamment Scrum.

Rejoignez l'équipe de la plateforme d'IA et d'apprentissage automatique en tant que développeur backend senior pour concevoir et développer des microservices évolutifs à l'aide de Golang et de Python. Ce poste s'inscrit dans un environnement Agile et nécessite une collaboration avec des équipes pluridisciplinaires afin de fournir des solutions backend hautement performantes qui alimentent des systèmes financiers basés sur l'IA, notamment des capacités de traitement du langage naturel (NLP), d'IA agentique et de MLOps. Responsabilités principales Développer des microservices en Golang/Python à l'aide de Docker et Kubernetes. Concevoir et maintenir des API REST et des systèmes événementiels basés sur Kafka. Optimiser les bases de données SQL et rédiger des tests automatisés (Cucumber). Utiliser BitBucket, Jenkins et Artifactory pour la CI/CD. Dépanner et optimiser les performances du système. Contribuer aux initiatives en matière d'IA et d'apprentissage automatique, notamment le traitement du langage naturel (NLP), l'IA agentique et le MLOps.

Cherry Pick est à la recherche d'un Expert Airflow (H/F) pour l'un de ses clients qui opère dans le secteur de l'automobile. Description🎯 Contexte de missionDans le cadre de la stabilisation d'une plateforme Amazon Managed Workflows for Apache Airflow (MWAA) rencontrant des dysfonctionnements récurrents, la mission consiste à intervenir en Task Force afin d'identifier les causes racines, rétablir rapidement la stabilité de la plateforme et sécuriser durablement son fonctionnement. L'intervention nécessite un véritable expert Airflow / MWAA, capable d'aller au-delà du développement de DAGs pour intervenir sur l'architecture, le paramétrage, les performances et les mécanismes internes d'Airflow. 📋 Missions principales et rôleRéaliser un diagnostic flash des incidents, dysfonctionnements et goulots d'étranglement. Identifier les causes racines des problèmes rencontrés. Mettre en œuvre des correctifs immédiats afin de restaurer la stabilité de la plateforme. Reprendre et analyser les conclusions des expertises précédentes. Auditer l'architecture, la configuration et le paramétrage de l'environnement MWAA. Analyser les problématiques liées aux Schedulers, Executors, Celery et à la base de métadonnées Airflow. Investiguer les problématiques de parallélisme, mémoire, ressources et dimensionnement. Analyser les logs et métriques afin d'identifier les problèmes de performance. Investiguer notamment les fuites mémoire, locks BDD, problèmes de capacité et d'auto-scaling MWAA. Construire une feuille de route corrective priorisée. Piloter la mise en œuvre des actions de remédiation. Mesurer l'efficacité des corrections via des KPIs de performance et de stabilité. Accompagner les équipes internes dans l'application des bonnes pratiques Airflow / MWAA. Contribuer à la pérennisation de la plateforme et à l'amélioration de son architecture. 🎯 ObjectifsCourt terme : rétablir rapidement la stabilité et la disponibilité de la plateforme MWAA. Moyen terme : identifier précisément les causes structurelles des dysfonctionnements. Long terme : mettre en place une architecture et une configuration robustes, performantes et maintenables. Réduire durablement le taux d'incidents et les problèmes de performance. Transférer l'expertise aux équipes en place.

Nous recherchons un Expert Data Informatica / DBT, capable d'intervenir à la fois comme référent technique, architecte de solution Data et chef d'orchestre des travaux de transformation, afin d'accompagner l'évolution de notre patrimoine de flux et de plateformes Data vers les nouvelles cibles technologiques. La société devra fournir les prestations suivantes: Assurer un rôle de référent technologique sur le socle Data. Accompagner les projets de transformation et de modernisation du patrimoine décisionnel et data. Réaliser les études techniques et produire les dossiers d'architecture. Contribuer aux choix d'architecture et aux trajectoires de transformation. Coordonner les échanges avec les architectes, experts techniques, équipes infrastructure et observabilité. Préparer et présenter les dossiers dans les différentes instances de gouvernance et comités d'architecture. Identifier les risques, proposer des solutions et accompagner leur mise en œuvre. Participer à la définition des bonnes pratiques de développement, d'industrialisation et d'exploitation. Compétences attendues Architecture applicative et architecture de données. Conception et mise en œuvre de chaînes de traitement ETL/ELT. Connaissance des architectures Data Cloud et des modèles de diffusion événementielle (Event Streaming). Pilotage et coordination de projets techniques. Animation d'ateliers et de groupes de travail pluridisciplinaires. Production de dossiers d'architecture et de documentation technique. Mise en œuvre et accompagnement des pratiques CI/CD. Maîtrise des environnements Unix/Linux. Connaissance des ordonnanceurs et de l'exploitation des flux de données. Interaction avec les équipes d'infrastructure, d'observabilité et de sécurité.

Data Engineer SENIOR AWS / SPARK/PYTHON 500 e par jour Data Engineer Senior – Data Services Profil très orienté AWS / Spark / Python / DBT / Iceberg / Airflow, avec une bonne maîtrise des architectures Big Data / Lakehouse et de la modélisation Médaillon. REcherchent quelqu'un de t senior, avec 8 ans d'expérience minimum. Mission à temps plein, avec 3 jours de remote par semaine. AWS, Python, Spark et modélisation Médaillon. Terraform et Datadog sont également appréciés. Mission Asap 500 e par jour

Contexte Profil : Ingénieur de développement ou analyse programmation en environnement Big Data Niveau : Niveau 3 – plus de 6 ans d'expérience La mission porte sur la contribution au développement des évolutions de l'application Datalake, dans le cadre des projets en cours. 1 profil est recherché : Ingénieur de développement ou analyse programmation en environnement Big Data. Missions Contribution à la conception : Analyser les spécifications fonctionnelles fournies par la maîtrise d'ouvrage ; Analyser et formaliser les impacts applicatifs. Prise en charge des développements : Rédiger les spécifications techniques ; Collaborer avec les autres développeurs de l'équipe ; Réaliser les développements en Spark / Scala et/ou Java ; Réaliser les tests et les livraisons. Le consultant assurera également : Le suivi des anomalies ; Le support en cas d'incidents ; La coordination avec la direction technique Compétences comportementales Esprit d'équipe, compte tenu des nombreuses interactions avec les différentes entités de l'hébergeur et les équipes ; Engagement important, les projets Data étant soumis à de fortes attentes des clients .