Trouvez votre prochaine offre d’emploi ou de mission freelance Apache

Description du poste Dans le cadre du renforcement de nos activités Data Engineering pour un leader international basé dans le Nord, nous recherchons un Développeur flux Stambia / Semarchy xDI confirmé . Kafka, Springboot & MongoDB appréciés. Ce que nous allons accomplir ensemble : Au sein d'une équipe expérimentée, vous interviendrez sur des enjeux variés de BUILD (conception, création) et de RUN (exploitation, optimisation) sur des flux de données opérationnels stratégiques. Vos missions au quotidien : Analyse & Conception : Analyser les besoins d'intégration de données et concevoir des flux complexes via Stambia / Semarchy xDI. Développement : Développer les flux en appliquant les meilleures pratiques et produire des scripts (Python, Shell, etc.) pour personnaliser les traitements. Qualité & Tests : Garantir la robustesse et la non-régression des développements (tests de performance, fiabilité). Documentation : Réaliser les spécifications techniques et partager vos connaissances via Confluence. Maintenance & Run : Assurer le monitoring, le support et participer aux astreintes pour garantir la disponibilité des flux en production. Qualifications Ce poste est fait pour vous si : Vous justifiez d'une expérience confirmée (3 à 5 ans) en développement de flux avec Stambia / Semarchy xDI . Vous maîtrisez les concepts ETL/ELT, le langage SQL et la modélisation de données. Vous avez une expérience pratique en scripting (Python, Beanshell, Shell ou équivalent). Vous êtes familier avec les environnements collaboratifs : Git/Gitlab, CI/CD, Jira . Vous avez une bonne connaissance des architectures d'échange (API REST, Batch, Streaming/Kafka). Votre sens du service, votre capacité à travailler en équipe et votre communication claire sont vos atouts majeurs.

Almatek recherche pour l'un de ses clients Un Data Engineer Sénior / Big Data / Spark / Cloudera sur Paris. Contexte de la mission Le projet HALO est un programme stratégique de digitalisation des parcours bancaires (vente en ligne, souscription, IA). La Direction Data met en place une plateforme Big Data pour alimenter les cas d’usage métiers à forte valeur ajoutée. Il s’agit d’un nouveau projet (build) avec des enjeux de performance, d’intégration IA et de montée en charge. L’environnement technique est centré sur un écosystème Hadoop/Cloudera on-premise. Missions principales • Participer à la définition de l’architecture Data en lien avec les architectes et la squad • Affiner les User Stories avec le PO/BA, concevoir et développer les pipelines de collecte et de stockage des données • Orchestrer les flux batch et temps réel (Spark batch + Spark Streaming) • Mettre en œuvre les tests unitaires et automatisés • Déployer le produit dans les différents environnements (CI/CD) • Garantir le bon fonctionnement en production : monitoring, gestion des incidents, optimisation • Accompagner l’équipe dans une logique d’amélioration continue de la qualité du code Environnement technique Catégorie Technologies Framework Big Data Hadoop Cloudera (requis) Traitement Spark, PySpark, Spark Streaming (requis) — Scala (apprécié) Messaging Kafka, Kafka Connect, Kafka Streams (apprécié) Langages SQL (requis), Scala, Java, Shell, Python Bases de données SQL : Hive, Phoenix — NoSQL : HBase, MongoDB DevOps / CI-CD Git, Jenkins, Artifactory, XL Deploy, XL Release Monitoring ELK Stack (Elasticsearch, Logstash, Kibana), Grafana Gouvernance RGPD, Data Lineage, Catalogage

Profil Data Analyst pour un projet logistique, chargé de réaliser les spécifications et analyses de données. Exploitation et transformation des données avec Talend dans un environnement Big Data. Maîtrise des technologies Hadoop, Spark et Cloudera pour le traitement volumineux de données. Création de tableaux de bord et visualisations avancées avec Power BI pour le suivi opérationnel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

MISSIONS PRINCIPALES Supervision & Disponibilité Production Assurer le monitoring 24/7 des systèmes de production via Grafana, Prometheus, Datadog et Stackdriver — détection proactive des anomalies avant impact utilisateur Créer et maintenir les dashboards et les alertes, corréler les événements pour le diagnostic d'incidents Participer à l'astreinte on-call (PagerDuty) sur les systèmes critiques Gestion des Incidents Prendre en charge les incidents de production, mener le troubleshooting et produire les RCA (Root Cause Analysis) Définir et mettre en œuvre les actions correctives et préventives pour éviter la récurrence Communiquer de façon claire avec les équipes et le management en situation de crise Automatisation & Infrastructure as Code Écrire et maintenir les configurations Terraform en production (modules, state management, workspaces) Automatiser les opérations répétitives via Python et Bash — déploiements, inventaire, vérification, reporting Gérer la configuration via Ansible et maintenir les pipelines GitLab CI Exploitation des Environnements Conteneurisés & Plateformes Opérer Kubernetes en production : déploiements, services, scaling HPA, troubleshooting pods/nodes, gestion des namespaces et RBAC Opérer Kafka en production : monitoring du lag consumer, gestion des topics et partitions, diagnostic des incidents de streaming Assurer le support opérationnel sur les bases de données : PostgreSQL, Elasticsearch, Couchbase (performances, sauvegardes, restaurations) Réseau & Sécurité Cloud Gérer les VPN, NAT, routage IP, proxy et load balancing en environnement cloud AWS et GCP Appliquer les bonnes pratiques de sécurité et de gestion des accès (IAM, VPC)

Dans le cadre de ses projets clients, Visian est à la recherche d'un Data Engineer Big data/Teradata Vous contribuerez à la construction des solutions Datalab et Datamart sous technologie Teradata, en étroite collaboration avec les autres membres de la Tribu • vous aurez en charge le développement des solutions de collecte des données, de leur stockage et traitement (constitution d’agrégats ou scores), et de leur mise à disposition des DataScientists : une expérience des environnements Unix, du sql et des SGDB relationnels est indispensable ainsi que des bonnes pratiques de développement et modélisation sous technologie Teradata BTEQ. • vous serez amenés à développer sur notre plateforme Big Data. Une forte connaissance de Spark, HDFS, Python, Hadoop est demandée. Les compétences suivantes devront être maîtrisées : • Mode de chargement dans l’entrepôt (ETL) : BTEQ Teradata CONTROL-M Environnement UNIX ( répertoires principaux, Usage & Entrepôt ) SQL sur SGBD relationel (Teradata) TPT Outils collaboratifs et documentaires : GIT, Jira, Confluence, MEGA, Zeenea Spark HDFS Python Hadoop

Nous recrutons pour notre client, un acteur majeur du secteur de la distribution évoluant dans un contexte international, un Développeur Back-End Expert pour rejoindre une feature team dédiée au développement des applications OMS, plus particulièrement sur la partie simulation. La mission se déroule à Lezennes, avec deux jours de présence sur site par semaine. Le démarrage est prévu le 7 avril 2026, pour une durée allant jusqu’au 31 décembre 2026, soit 186 jours au total. Aucune astreinte ni déplacement n’est requis. Le consultant interviendra au sein d’une équipe Agile composée d’un Product Owner, d’un Tech Lead, d’un QA et de quatre développeurs. Il sera en charge du développement back-end sur les produits OMS, dans un environnement orienté microservices, API et architectures distribuées. Les compétences attendues incluent une maîtrise confirmée de Spring Boot et MongoDB, ainsi qu’une bonne connaissance de Kafka. Un anglais professionnel est indispensable pour collaborer avec les équipes internationales. Cette mission s’adresse à un développeur expérimenté, autonome et à l’aise dans un contexte technique exigeant. Si vous êtes intéressé par cette opportunité, merci de me transmettre votre CV ainsi que votre date de disponibilité.

Nous recherchons un Ingénieur OPS DATA pour accompagner les équipes projets dans la mise en place de solutions sur notre plateforme data GCP . Missions principales: Accompagner le choix de la solution de stockage adaptée selon les besoins projets (NoSQL, relationnel, document) Optimiser les performances des solutions déployées sur Google Cloud Platform Déployer et configurer les environnements de bases de données : MongoDB, PostgreSQL , Firestore et Cloud SQL Assurer le support technique lors des phases de mise en production Surveiller l'état de santé de la base via Cloud Monitoring Gérer la restauration en cas d'incident Assurer la continuité de service Gérer les alertes et notifications Résoudre les incidents et problèmes de performance Surveiller les métriques de performance (latence, débit, coûts) Gérer l'authentification et l'autorisation des utilisateurs

Dans le cadre d’un programme stratégique au sein d’une direction informatique, nous recherchons un Tech Lead Data expérimenté pour intervenir sur un périmètre lié à la gestion de solutions data critiques. Intégré à une équipe Agile organisée en train SAFe, vous participerez à la conception, au développement et à la maintenance d’applications du système d’information. Vous interviendrez en tant que référent technique de l’équipe data, avec un rôle clé dans l’accompagnement des développeurs et l’amélioration continue des pratiques. Vos principales responsabilités : Assurer le leadership technique de l’équipe data Promouvoir et mettre en œuvre de nouvelles pratiques (architecture événementielle, APIsation, modernisation technologique) Participer activement aux choix d’architecture et aux décisions techniques Collaborer avec les autres équipes data pour assurer la cohérence globale Être force de proposition sur les outils et innovations du marché, notamment autour de la data et de l’IA

Dans le cadre du développement et de l'industrialisation d'une plateforme de streaming de données, nous recherchons pour notre client, un(e) Expert Kafka capable d'accompagner les équipes techniques dans la mise en place, l'automatisation et l'optimisation de la plateforme. Le consultant interviendra au sein d'une squad en collaboration étroite avec les équipes internes afin d'améliorer les pratiques d'exploitation, d'industrialisation et de supervision de l'environnement. A ce titre, vos principales missions seront les suivantes : -Accompagner les équipes dans le choix et l'utilisation des solutions techniques -Participer à l'industrialisation et l'automatisation de la plateforme Kafka -Contribuer aux études techniques et développements -Définir et faire appliquer les normes, méthodes et outils -Assurer une veille technologique et informer sur les évolutions Livrables attendus -Production de dossiers d'expertise -Mise à jour des dossiers d'architecture -Mise à jour des éléments de suivi dans JIRA -Production de livrables techniques et référentiels d'expertise

Le Groupe Téléconduite Automatisation des Réseaux (GTAR) est un service rattaché au département Conduite de la Direction Technique de notre partenaire. En tant que maitrise d’œuvre, notre partenaire gère l’ensemble des phases des projets qui nous sont confiés à savoir : la définition de l’architecture, les développements, les tests et le déploiement en production. De plus, notre partenaire a la responsabilité des évolutions et du maintien en conditions opérationnelles des SI industriels du domaine exploitation. Missions : Accompagner les technical-leaders dans les choix techniques Participer à la sélection d’outils & réalisations de POC Maintenir et faire évoluer le Référentiel d’architecture (documentation) Présentation / support aux comités d’architectures Design du code C++ Identification des besoins (évolutions et refacto) Diagrammes UML Respect des principes de conception Participation à l’organisation du planning de développement Jalon à moyen et long terme Étape intermédiaire du code Participation et justification aux choix technologiques Organisation de l’environnement de développement, système de build, gestion des dépendances, qualité, CI/CD Mise en place des bonnes pratiques (travail, codage, design) Diffusion du savoir, Formation des équipes Participation et contribution aux Comité d’Architecture Travailler en respectant les besoins/exigences de cybersecurité Maintenance et évolution des dépendances externes

nous sommes à la recherche d'un Expert Intégration ETL / Data Streaming pour piloter et faire évoluer les services d’intégration autour de Talend Cloud / Hybride et Kafka Confluent Cloud . Vos missions : Assurer le support, la maintenance et le suivi des projets existants (CRM, annuaire, PIM…) Accompagner la création de nouveaux projets : recueil du besoin, challenge métier, cadrage technique, définition d’architecture et conception des flux Piloter une équipe offshore (développement, tests, déploiement) Gérer le plan de charge et les plannings Administrer et superviser la plateforme Talend ainsi que les composants On-Premise (upgrade, monitoring, résolution d’incidents) Assurer l’administration et le suivi opérationnel de Kafka Confluent Cloud Suivre la facturation des deux plateformes Définir et diffuser les bonnes pratiques techniques et de développement

Dans le cadre du renforcement d’une équipe dédiée à la détection et au traitement des fraudes dans le secteur bancaire, nous recherchons un Lead Tech Java. Vous interviendrez au sein d’une équipe agile d’une dizaine de collaborateurs, organisée autour de plusieurs applications critiques liées à la sécurisation des transactions. Vos missions En tant que Lead Tech, vous jouerez un rôle central dans la réussite des projets : Conception & expertise technique Définir et concevoir des architectures applicatives robustes et évolutives Être le référent technique sur les choix technologiques et les bonnes pratiques Garantir la performance, la sécurité et la maintenabilité des solutions Accompagnement de l’équipe Soutenir les développeurs dans la résolution de problématiques techniques Favoriser la montée en compétences collective Participer activement aux rituels agiles Pilotage & delivery Contribuer au respect des délais, des coûts et de la qualité des livrables Identifier et anticiper les risques techniques Assurer la documentation des systèmes et des architectures Vision & innovation Participer à la définition de la feuille de route technique Proposer des axes d’amélioration et d’innovation Veiller à l’alignement entre les solutions IT et les enjeux métier

Le datalake est utilisé comme une data plateforme pour les équipes IT et métiers. L'objectif de la mission est d'assurer le rôle de Data Engineer de ce datalake : Gestion de la production Gestion de la dette technique Revoir l'architecture actuelle et proposer des évolutions Développements liés aux projets Description : Mettre en place la collecte et la mise à disposition des données au sein de l’entreprise Industrialiser et mettre en production des traitements sur les données (par exemple : mise à disposition de tableaux de bords, intégration de modèles statistiques) en lien avec les équipes métiers et les équipes qui les analysent Activités et tâches : Acheminement de la donnée Mise à disposition de la donnée aux équipes utilisatrices Mise en production de modèles statistiques Suivi de projet de développement Développement job spark Traitement et ingestion de plusieurs formats des données Développement des scripts Développement et Implémentation des collectes de données, des jobs de traitement et Mapping de données Développement des moyens de restitution via génération de fichier et ou API & Dashboarding Collecter toutes les données et les fournir aux clients en tant qu'API ou fichiers Développer de pipelines d'ingestion à partir de différentes sources (streaming et batch) ainsi que des spark jobs le prétraitement des données et calcul des indicateurs de performance (KPI) Développer des API génériques d’ingestion et de traitement de données dans un environnement HDP Participer à la conception, mise en place et administration de solutions Big Data Participation à l’installation, administration et configuration des Hadoop clusters. Mise en place en Spring Boot des services d'extraction de data du système legacy (tera data), la data sera par la suite envoyée au data lake via des topics Kafka Normalisation et agrégation des données afin de produire les rapports sous forme de Business View

Dans le cadre d’un programme de transformation data, nous recherchons un Architecte Big Data pour définir et piloter l’évolution des plateformes de données à grande échelle. Vous analyserez les architectures existantes, identifierez les limites techniques et proposerez des trajectoires cibles adaptées aux enjeux métiers, techniques et opérationnels. Vous guiderez la conception de nouvelles architectures distribuées en intégrant des technologies telles que Hadoop, Spark, Kafka, Iceberg/Delta Lake ou équivalents, ainsi que des principes modernes de lakehouse et de data mesh lorsque pertinent. Vous serez responsable des choix structurants en matière de stockage, de traitement, de gouvernance et de sécurité des données, en veillant à la performance, à la scalabilité et à la résilience des plateformes. Vous travaillerez étroitement avec les équipes Data Engineering, Cloud et DevOps pour garantir une mise en œuvre industrialisée, alignée avec les standards d’entreprise et les contraintes d’exploitation. Vous aurez également un rôle clé dans l’animation d’ateliers techniques, la formalisation de patterns d’architecture et l’accompagnement des équipes dans l’adoption des meilleures pratiques Big Data et data engineering.

CONTEXTE Constitution d'une squad dédiée de concepteurs développeurs Java / Angular pour le compte des équipes Solutions SI Assurantielles d'un acteur du secteur de l'assurance. La mission vise à améliorer la qualité et la maintenabilité du patrimoine applicatif existant tout en le préparant aux transformations structurelles à venir : migration vers un cloud hybride et APIsation des services. Le périmètre applicatif concerne quatre composants techniques : CoveUse (Angular + Java Spring Boot), CoveSI (Java Spring Boot), CoveSI Batch (Java Spring Batch) et CoveoTP (Java Apache Camel). Les prestations attendues couvrent les montées de version techniques, l'outillage des processus de livraison, la mise en place de tests automatisés, l'amélioration des performances SI et des contributions à de petits projets métiers IARD / Sinistres. RÔLE ET RESPONSABILITÉS PRINCIPALES Réaliser les montées de version techniques sur CoveUse, CoveSI et CoveoTP Mettre en place et outiller les processus de livraison et les cycles courts Concevoir et implémenter des tests automatisés sur le périmètre applicatif Analyser et améliorer les performances des services SI ciblés Contribuer à des projets métiers de taille limitée (domaines IARD et Sinistres) Travailler en équipe au sein d'une squad pluridisciplinaire S'intégrer dans les pratiques de livraison et de gouvernance en vigueur chez le client LIVRABLES ATTENDUS Outillage opérationnel des processus de livraison et cycles courts Composants applicatifs migrés et validés (CoveUse, CoveSI, CoveoTP) Suite de tests automatisés couvrant le périmètre applicatif Rapports / correctifs d'amélioration des performances SI Contributions fonctionnelles et techniques sur les projets métiers IARD / Sinistres