Trouvez votre prochaine offre d’emploi ou de mission freelance Apache

Bonjour ☺️ Nous recherchons un DATA ENGINEER orienté sur les technologies SPARK / SCALA / PYTHON/ AWS pour le compte de notre client ! Mission : Maintenir la plateforme en conditions opérationnelles : Garantir la disponibilité des données et des services de la plateforme, Assurer la communication avec les utilisateurs de la plateforme, Répondre aux demandes de données (données ad hoc, analyses d’anomalies), Développer les correctifs et évolutions nécessaires, Contribuer à la qualité des données et à l’industrialisation de leur exploitation. Concevoir et développer des services et pipelines de données fiables et performants : Mettre en place des flux de données (acquisition, transformation, export), Concevoir et modéliser les données, Développer et optimiser les pipelines de transformation, Réaliser les tests unitaires et d’intégration, Garantir la qualité des développements via les revues de code, Ordonnancer et gérer les dépendances entre traitements, Déployer sur l’ensemble des environnements, Enrichir et maintenir la documentation de la plateforme. Profil recherché : Minimum 5 ans d'expériences dans un contexte de grande volumétrie de données, Capacité à collaborer avec une pluralité d'interlocuteurs en même temps, Excellent esprit d’équipe, Capacité d'adaptation, Maitrise impérative de : Spark Scala, Python et SQL, Expérience significative sur AWS. Apprécié : Connaissance de Dataiku, Méthodologie Scrum/Safe, Airflow N'hésitez pas à envoyer votre CV !

Client final : secteur paiement – mission longue – environnement Cloudera CDP Nous recherchons un Administrateur Lakehouse / Administrateur Cloudera confirmé ou senior pour accompagner l’un de nos clients grands comptes dans la gestion et l’exploitation de son écosystème Big Data. 🎯 Compétences OBLIGATOIRES (critères majeurs) 👉 Maîtrise parfaite des composants Lakehouse suivants : Apache Ranger (Data Security) Apache Atlas (Gouvernance & Lineage) Spark + Apache Zeppelin (Processing) NiFi (Ingestion) Apache Impala (Analytics) Hadoop (HDFS) + Apache Kudu (Data Lake) Hue (Serving / SQL UI) ➡️ Ces compétences sont indispensables : seuls les profils maîtrisant ces briques seront retenus. 🧩 Vos responsabilités Administrer et maintenir l’écosystème Cloudera / CDP (Cloudera Manager, HDFS, Yarn, Zookeeper…). Assurer le MCO/MCS : disponibilité, performances, sécurité, supervision. Documenter les procédures d’exploitation & rédiger des rapports synthétiques. Respecter les SLA et intervenir en cas d’incident. Travailler en environnement ITIL (gestion incidents, problèmes, changements). Automatiser les déploiements via Ansible (certificats, keystores, configurations). Utiliser les outils DevOps : GitHub , Jenkins . Exploiter les environnements Linux (analyse de logs, diagnostic). Participer aux réunions d’équipe, aux projets et aux comités. Être force de proposition sur l’amélioration continue et la supervision. 🌍 Environnement technique Cloudera CDP • Cloudera Manager • HDFS • Yarn • Zookeeper Apache Ranger • Apache Atlas • Spark • Zeppelin • NiFi • Impala Hadoop • Kudu • Hue Ansible • GitHub • Jenkins • Linux 📌 Profil recherché 5 à 7+ ans en administration Big Data / Hadoop / Cloudera impératif. Très forte expertise sur les briques Lakehouse listées ci-dessus. À l’aise en production, ITIL, sécurité, automatisation. Bon niveau d’anglais (échanges éditeurs Cloudera & fournisseurs). Consultant autonome, structuré, capable de rendre compte et d’améliorer l’existant. 🚀 Disponibilité immédiate ou rapide Si vous maîtrisez Cloudera + Ranger + Atlas + Spark + NiFi + Impala + Kudu , contactez-moi directement.

🔍 Nous recherchons un(e) Lead Data Engineer Azure Databricks avec une forte posture de transmission, coaching et mise en place des standards, pour accompagner une équipe en montée de maturité sur Databricks. 📅 Démarrage ASAP 📍 Île-de-France 🎯 Missions clés : ✅ Optimisation & fiabilisation des jobs Databricks (PySpark / Spark) ✅ Mise en place des standards & bonnes pratiques Data Engineering ✅ Coaching, mentoring, animation de la communauté Tech Lead ✅ Contribution aux migrations & à la modernisation du DataLake ✅ Travail sur l’industrialisation (CI/CD – Azure DevOps)

En tant que Business Analyst expérimenté, vous êtes responsable du cycle de vie complet de l'intégration des flux de paiement : Coordination et Pilotage des Flux : Animer et coordonner les différentes équipes impliquées : Équipes M3 (ERP), Spark (Middle Office), Équipes de Développement (Front/Back) et le Partenaire PSP. Garantir l'alignement des parties prenantes sur les objectifs du projet et les spécifications techniques et fonctionnelles. Analyse et Spécification Fonctionnelle : Recueillir, analyser et formaliser les besoins métier en lien avec l'outil de paiement (processus de commande, annulation, remboursement, gestion des fraudes, etc.). Rédiger les Spécifications Fonctionnelles Détaillées (SFD) et les user stories claires et exploitables pour les équipes de développement. Suivi et Validation des Développements : Assurer la transmission et l'interprétation des spécifications aux équipes de développement. Réceptionner et valider les livrables techniques en vous assurant de leur conformité avec les spécifications initiales. Tests et Recette (E2E/UAT) : Concevoir et exécuter les tests de bout en bout ( End-to-End Tests ) pour valider l'intégralité de la chaîne de paiement. Coordonner et piloter les tests d'Acceptation Utilisateur ( User Acceptance Tests - UAT ) avec les équipes métier.

Contexte du projet : Nous recherchons un expert technique back-end pour rejoindre une équipe agile responsable d’un composant stratégique de notre plateforme digitale. Ce module centralise et expose des millions d’offres produits et services pour alimenter l’ensemble de l’écosystème SI (web, omnicanal, encaissement, etc.). Environnement à forte volumétrie et performance critique : 20 milliards d’appels API/mois Big Data : plusieurs centaines de millions d’offres Scalabilité : architecture conçue pour absorber des pics de charge et garantir une haute disponibilité Vos missions : Concevoir et développer des fonctionnalités back-end robustes et performantes Appliquer les principes Software Craftsmanship : TDD, BDD, Clean Code Participer à la définition et à l’évolution de l’architecture (Hexagonale, Event-Driven) Intégrer et optimiser les flux de données (Kafka, MongoDB) Garantir la qualité et la maintenabilité du code dans un contexte critique Collaborer avec une équipe autonome et passionnée par la qualité logicielle Stack technique & compétences : Langages & Frameworks : TypeScript, Node.js, NestJS (expertise confirmée) Architecture : Hexagonale, Onion, Event-Driven, DDD Messaging & Data : Kafka, MongoDB Pratiques : TDD, BDD, Clean Code Observabilité : Datadog (monitoring de performance) CI/CD & Cloud : GitLab, Docker, Kubernetes (bonus)

Description : - De coordonner ces travaux avec le responsable du chantiers API et interfaces de la solution ainsi qu’avec les responsables des applications et chantiers en adhérence, - D’assurer régulièrement le bon niveau de reporting associé à son chantier - D’assurer le suivi budgétaire des opérations sous sa direction. A ce titre, le/la Chef de Projet Intégration et Flux devra assurer la/le : - Validation de la pertinence et du contenu des interfaces en charges avec les interlocuteurs techniques et métier, - Modification et validation des pattern d’intégration des flux en lien avec l’architecture, - Mise en place de la supervision des flux, - Coordination et le suivi des actions des différents acteurs de son chantier, - Pilotage de l’avancement des travaux et des engagements (coûts, délai, périmètre), - Préparation et animation des comités de son chantier, - Reporting précis et régulier au comité de projet NEMO aux standards du Groupement, - Respect des plannings, des cahiers des charges, et des budgets. - Appui à la rédaction des cahiers des charges fonctionnels et techniques, - Validation des dossiers de conception, - Appui à la préparation et suivi des mises en production/déploiement - Anglais professionnel

En quelques mots Cherry Pick est à la recherche d'un "Architecte Data IoT" pour un client dans le secteur du retail. Description La Data est centrale dans notre écosystème IoT : elle alimente la BI, la maintenance prédictive, la détection d'accidents et la conception intelligente de nos futurs produits. 🎯 Votre Mission : Architecturer la Data de l'IoT du Groupe Au sein de l'équipe "Cloud IoT Platform - Data Solution", vous agissez en tant que Data Architect / Lead Engineer . Vous êtes le garant des choix techniques et de l'architecture permettant d'ingérer, stocker et exposer les données venant du Cloud, des "Devices" et du Mobile. Vos responsabilités clés : Architecture & Stratégie : Imaginer et concevoir l'architecture Data pour collecter les données IoT (directement des appareils ou via mobile). Définir la stratégie des stacks techniques et garantir les standards d'architecture. Assurer l'alignement entre la vision technique, les priorités business et les besoins utilisateurs. Engineering & Pipelines : Construire des pipelines de données (structurées et non structurées) robustes et scalables. Maintenir et redesigner les pipelines existants pour servir de nouveaux cas d'usage (Analytics, IA, etc.). Garantir l'industrialisation des processus de transformation et le CI/CD. Qualité & Gouvernance : Assurer la scalabilité, l'élasticité et la fiabilité des infrastructures. Garantir la qualité de la donnée, son accessibilité, ainsi que le respect des normes de Privacy et Data Governance (Lineage). Leadership Technique : Contribuer activement à la communauté des Data Engineers. Assurer une veille technologique constante pour orienter la sélection des nouveaux outils. 🛠 Environnement Technique Langages : Python, Scala, Java. Big Data & Streaming : Kafka, Spark. Cloud & Infrastructure : AWS (Lambda, Redshift, S3), Microservices. Concepts : Systèmes distribués, Data Modeling, Real-time data exchanges.

Dans le cadre d’un programme stratégique de pilotage financier, nous recherchons un Ingénieur Logiciel Data Cloud AWS confirmé (+7 ans d’expérience) pour rejoindre une équipe de développement et d’ingénierie orientée données et services cloud. Vous interviendrez sur la conception, l’implémentation et l’amélioration continue des services AWS nécessaires au traitement, à l’analyse et à la planification financière. Le contexte est exigeant : réglementaire, sécurité, performance, optimisation des coûts et démarche DevOps/DORA. Vous intégrerez une équipe de 9 personnes, dont un pôle cloud/data AWS déjà en place. Vos missions : Concevoir, développer et faire évoluer les services applicatifs AWS (Glue Spark, Lambda, Step Functions, Athena, S3, IAM). Intégrer les services aux différents écosystèmes techniques (plateforme Data, MDM, ZDP, Data Link, Anaplan). Proposer des optimisations, améliorer les architectures existantes, renforcer la robustesse et la performance. Prendre en compte les exigences métiers, réglementaires, sécuritaires et environnementales. Participer à une démarche d’amélioration continue (Lean, DevOps, DORA). Documenter les architectures, formaliser les conceptions, assurer un bon niveau de qualité. Implémenter les bonnes pratiques TDD / BDD. Collaborer en équipe dans un environnement cloud industriel avancé.

Objectif global : Développer DEV pour implémenter produit digital Contrainte forte du projet - Anglais Le livrable est - Compétences techniques Java/Spring - Confirmé - Important Vue - Confirmé - Important Kafka - Confirmé - Important Connaissances linguistiques Anglais Lu, écrit (Impératif) Description détaillée Nous recherchons un développeur fullstack Java/Vue (H/F). Il/Elle interviendra principalement sur une nouvelle brique applicative à destination de plusieurs pays et participera ponctuellement sur d'autres applications gérées dans l'équipe. Le nouveau produit digital est dédié à fournir une nouvelle expérience de validation des changements de prix de vente auprès de nos équipes de pricing. Vos missions sont les suivantes : Conception et développement des différentes briques logicielles Mise en place des tests unitaires et des tests d'intégration Intervenir dans la mise en place de l'outillage logiciel pour l'automatisation des tests et l'intégration continue Assurer le suivi des tâches JIRA Participer à la revue de code Rédaction et actualisation des documentations techniques. Etre force de proposition, et challenger le besoin vis-à-vis des bonnes pratiques et contraintes techniques Participer aux différents rituels agiles projet Environnement technique: - Java/spring - Vue - MongoDB - Kafka - GCP

Au sein de la DSI-PDV, rattaché(e) au pôle Encaissement et Promotion du domaine Encaissement et Monétique , le/la Chef(fe) de Projet Intégration et Flux intervient dans le cadre du programme NEMO (Nouvel Encaissement Mousquetaires Omnicanal). Il/elle pilote le chantier d’intégration de la nouvelle solution d’encaissement au sein du SI du Groupement, en s’appuyant sur des interfaces temps réel et différées conformes aux patterns d’échange définis. Responsable de la conception, de la validation et de la mise en œuvre des flux (incluant la supervision), il/elle coordonne l’ensemble des acteurs techniques et métiers impliqués, assure le suivi budgétaire, le respect des délais et du périmètre, ainsi que le reporting auprès des instances de gouvernance du programme. À ce titre, il/elle contribue à la rédaction et à la validation des contrats d’interfaces, des dossiers de conception et des cahiers des charges, prépare et sécurise les mises en production, et garantit l’application des standards d’architecture, de qualité, de sécurité et de gouvernance du Groupement, dans un environnement technique exigeant reposant notamment sur GoAnywhere MFT, Boomi, Kafka et Solace.

Un grand établissement financier public/private a engagé une modernisation stratégique de son SI . L’objectif : moderniser la gestion des produits financiers et offrir une expérience client améliorée , via la mise en place d’un Core Banking System de nouvelle génération (solution Vault / Thought Machine ou équivalent) et le remplacement des solutions actuelles. En tant que Tech Lead Java / Angular / Kafka , vous serez amené(e) à : Participer à la mise en œuvre de la solution en lien avec le PO, les BA, les équipes techniques et les métiers client . Participer à l’ensemble des cérémonies Agile de la team. Concevoir et développer des applications robustes, évolutives et performantes . Intégrer des flux Kafka dans une architecture orientée événements . Collaborer avec les équipes métier pour traduire les besoins fonctionnels. Garantir la qualité du code, la performance et la maintenabilité des livrables.

Bonjour, Nous recherchons pour l'un de nos clients intégrateurs un Concepteur Technique avec un background .NET REACT. Secteur d'activité du client final : assurance Contenu mission : Revue des US métiers lors d’un point hebdomadaire o Echanger sur la faisabilité technique de la demande (plutôt au niveau micro – le macro est cadrée en amont) et la cohérence par rapport au système existant o S’assurer que la rédaction est compréhensible, complète pour qu’un développeur comprenne la tâche à réaliser Réaliser les analyses d’impacts pour implémentation des fonctionnalités o Quels composants, quelles modifications, identifier les risques de régression sur les composants mutualisés ou les opportunités de refactoriser pour garder la maintenabilité Rédiger des documents de conception qui tracent ces analyses o Page de conception dédiée qui représente le delta à mettre en œuvre § Lister les impacts par composants, avec les arbitrages réalisés § Rédiger les contrats d’interface swagger (yaml) des API o Pages du 'référentiel applicatif’ qui doit représenter le système tel qu’il est/sera en production à la fin du projet. Présenter les conceptions aux développeurs qui prendront la réalisation Présenter les conceptions aux développeurs qui prendront la réalisation · Accompagner les développeurs · Valider les PR du point de vue conception en s’assurant que la réalisation a été faite conformément à l’attendu Le cœur du travail étant surtout sur l’aspect analyse d’impact, où il faut bien étudier le système existant pour voir comment le déformer (ou le réutiliser) au mieux.

Almatek recherche pour l'un de ses clients, un Tech Lead Kafka / Angular sur Paris Gare de Lyon. Projet : Maintenir une solution permettant de prioriser la liste des clients à contacter dans le cadre de la gestion de la relation client. Concevoir et développer des solutions pour les équipes et les Conseillers. Assurer l’assistance fonctionnelle auprès des utilisateurs. Principaux livrables : Assurer la conception, l’intégration et le développement des projets et solutions ainsi que les maintenances correctives et évolutives Préparer la mise en production avec les équipes expertes Gérer et maintenir la documentation fonctionnelle et technique Assurer l’assistance à l’utilisation des applications Assurer le diagnostic et la résolution des dysfonctionnements Compétences requises : Kafka (kafka streams) Java 21 Kubernetes API REST Autres Compétences : Conception technique Conception archi Volontaire Bon relationnel

· Déploiement et administration avancée des applications Spark, Trino ou Jupyter sur Kubernetes. · Tuning et optimisation des performances : ajustement des configurations, analyse des logs, debugging avancé, optimisation des requêtes SQL (Trino), tuning des jobs Spark. · Gestion du RUN et support applicatif : diagnostic et résolution des incidents, amélioration continue des performances, accompagnement des utilisateurs sur l’optimisation des requêtes. · Mise en place de l’approche GitOps : automatisation complète du déploiement et de la gestion des applications avec Terraform, Ansible, Git, ArgoCD/FluxCD. · Sécurisation et monitoring avancé : implémentation de métriques et alertes sur Prometheus, Grafana, Loki, gestion des accès et des logs applicatifs.

Data Engineer Spark/Scala o Expérience dans la mise en œuvre de technologies et frameworks Big Data et NoSQL (Hadoop, Kafka, Spark, Scala, Hive, SolR, HBase, Kerberos) o Spark / Scala : confirmé o A l'aise avec le programmation fonctionnelle (connaissance des librairies ZIO, MONIX, CATS appréciée) o Expérience de travail dans un environnement Agile ; avec outils et méthodologies associés (Confluence, Jira, Scrum, Kanban) Au sein de la DSI Finance de la DSI, le poste recherché porte sur le besoin d’un Data Engineer Spark/Scala confirmé (5-6 ans d’expérience). Objectifs et livrables Objectifs Le prestataire intégrera le projet d’intégration en coordination avec le chantier assiette comptable de référence en tant que Data Engineer. Les développements sur ce chantier s’appuient sur la plateforme Datalake Finance, basée sur la distribution Hadoop HortonWorks qui collecte les données des différents systèmes de synthèse afin de répondre aux nouveaux besoins de reporting Finances & Risques (COREP, calcul RWA, IFRS9, etc.…) Les tâches seront les suivantes : • la mission consistera à prendre part aux développements, au sein du datalake pour acquérir les nouvelles sources de données, les assemblées et les distribuées aux consommateurs, tout en étant garant de la pérennité et la non-régression de l’outillage déjà en place • Vous participerez à la conception et à l’implémentation de ce projet et serez amené, à ce titre, à travailler en méthode Agile avec de nombreux acteurs métiers et les équipes de maintenance Compétences techniques o Expérience dans la mise en œuvre de technologies et frameworks Big Data et NoSQL (Hadoop, Kafka, Spark, Scala, Hive, SolR, HBase, Kerberos) o Spark / Scala : confirmé o A l'aise avec le programmation fonctionnelle (connaissance des librairies ZIO, MONIX, CATS appréciée) o Expérience de travail dans un environnement Agile ; avec outils et méthodologies associés (Confluence, Jira, Scrum, Kanban) Compétences demandéesCompétences Niveau de compétence Apache Kafka Avancé Apache Hadoop Confirmé Apache Hive Avancé SCALA Confirmé Spark Confirmé

🚀 𝗠𝗶𝘀𝘀𝗶𝗼𝗻𝘀 𝗹𝗼𝗻𝗴𝘂𝗲𝘀 𝗖# / .𝗡𝗘𝗧 - 𝗖𝗹𝗲𝗿𝗺𝗼𝗻𝘁 𝗙𝗲𝗿𝗿𝗮𝗻𝗱 - 𝗝𝗮𝗻𝘃𝗶𝗲𝗿 📍 𝗖𝗹𝗲𝗿𝗺𝗼𝗻𝘁-𝗙𝗲𝗿𝗿𝗮𝗻𝗱 | 🏢 𝟯𝗷 𝗼𝗻𝘀𝗶𝘁𝗲 / 𝟮𝗷 𝗿𝗲𝗺𝗼𝘁𝗲 🗓 𝗗𝗲́𝗺𝗮𝗿𝗿𝗮𝗴𝗲 : 𝗷𝗮𝗻𝘃𝗶𝗲𝗿 | 𝗖𝗼𝗻𝘁𝗿𝗮𝘁𝘀 𝗱𝗲 𝟭𝟮 𝗺𝗼𝗶𝘀 𝗿𝗲𝗻𝗼𝘂𝘃𝗲𝗹𝗮𝗯𝗹𝗲𝘀. 𝟮/𝟯 𝗮𝗻𝘀 𝗱𝗲 𝗽𝗿𝗼𝗷𝗲𝘁𝘀. 𝗙𝗿𝗲𝗲𝗹𝗮𝗻𝗰𝗲𝘀, 𝗮̀ 𝘀𝗼𝗻 𝗰𝗼𝗺𝗽𝘁𝗲, 𝗢𝗡𝗟𝗬. 𝗣𝗮𝘀 𝗱𝗲 𝘀𝘁𝗮𝘁𝘂𝘁 𝗲𝗺𝗽𝗹𝗼𝘆𝗲́ 𝗻𝗶 𝗽𝗼𝗿𝘁𝗮𝗴𝗲 𝘀𝗮𝗹𝗮𝗿𝗶𝗮𝗹 Nous recherchons 2 développeurs C# / .NET freelances pour des projets industriels à forte exigence technique. 🔹 𝗗𝗲𝘃 𝗖# / .𝗡𝗘𝗧 / 𝗪𝗣𝗙 C# / .NET / WPF Architecture N-Layers, SQL Git, JIRA Expérience projet industriel appréciée Sensibilité aux contraintes de performance (informatique industrielle / process) 🔹 𝗟𝗲𝗮𝗱 𝗗𝗲𝘃 𝗖# / .𝗡𝗘𝗧 C# / .NET, Kafka CI/CD, DevSecOps Appétence Kubernetes Forte capacité d’analyse & delivery Forte capacité à traduire le besoin métier en solution technique Force de proposition, dynamisme, culture produit 📩 Intéressé(e) ? #Freelance #DotNet #CSharp #WPF #Microsoft