Find your next tech and IT Job or contract Apache

Contexte Dans le cadre d'un programme stratégique associant Data et intelligence artificielle générative, nous recherchons un Data Engineer AWS pour participer au développement et à l'évolution d'une Data Platform destinée à alimenter des solutions métiers et des cas d'usage IA. La plateforme est déjà en production sur AWS. La mission consiste à renforcer son architecture, développer de nouveaux pipelines et industrialiser la gestion des données selon une approche moderne de type Data Lakehouse. Missions Participer à la définition et à l'évolution de l'architecture de la Data Platform et du Lakehouse. Concevoir, développer et optimiser des pipelines d'ingestion et de transformation de données. Développer des jobs Data avec AWS Glue, Spark et PySpark. Intégrer les services AWS dédiés au Data Management. Développer et maintenir des API en Java 17/21 avec Spring Boot. Traiter des données internes et provenant de fournisseurs externes. Traduire les besoins fonctionnels en solutions techniques fiables et évolutives. Participer à la mise en place d'un environnement Data Lab. Industrialiser les développements et les déploiements avec des pipelines CI/CD. Mettre en place les tests automatisés et les contrôles de qualité du code. Garantir la sécurité, la performance et la maintenabilité des solutions. Participer aux mises en production. Assurer le support de production en cas d'incident majeur. Produire et maintenir la documentation technique. Compétences techniquesAWS : S3, Glue et services Data associés Data Engineering : Spark, PySpark et Hadoop Lakehouse : Apache Iceberg et Trino Développement : Java 17/21 et Spring Boot Bases de données : PostgreSQL et Oracle Tests : JUnit 5 et Mockito CI/CD : GitLab CI Qualité et gestion des dépendances : SonarQube, Maven et Artifactory Conteneurisation : Docker et Kubernetes GitOps et déploiement : Argo CD Formats : JSON, YAML et XML Outils : GitHub, GitHub Copilot, IntelliJ IDEA, Jira et SharePoint

Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par le développement et le traitement des données, capable de s'adapter à un environnement dynamique et en constante évolution, le candidat doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. Les tâches suivantes seront confiées au consultant : Mettre en œuvre de nouvelles ingestions de données, data prep/transformation Maintenir et faire évoluer nos outils de gestion des pipelines de données (Pyspark + shell scripting) Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme

- Analyser les besoins fonctionnels et contribuer aux choix de conception technique. - Développer et maintenir des traitements distribués en Java avec Apache Spark. - Concevoir des pipelines de transformation et d'agrégation de données volumineuses. - Optimiser les performances des traitements : partitionnement, jointures, gestion de la mémoire et utilisation des ressources. - Développer les tests et garantir la qualité du code à travers les revues et les bonnes pratiques. - Participer à l'industrialisation des développements et aux déploiements via les pipelines CI/CD. - Diagnostiquer les anomalies et contribuer au maintien en conditions opérationnelles des applications. - Rédiger la documentation technique et collaborer avec les équipes métiers, Data et infrastructure. ENVIRONNEMENT TECHNIQUE : Java, Apache Spark, Spark SQL, SQL, Git, Maven ou Gradle, CI/CD, Linux.

Gamme Solutions recrute un Développeur Java Senior pour une mission auprès de la Banque européenne d'investissement (BEI) au Luxembourg. Localisation : Luxembourg – Présentiel Démarrage : ASAP Expérience : 7 ans minimum Formation : Bac+3 minimum en informatique ou domaine pertinent Durée : À confirmer Disponibilité : Dès que possible Vos missions - Concevoir, développer et maintenir des applications web en Java et React, ainsi que des applications mobiles avec React Native. - Développer un code propre, performant, maintenable et documenté. - Concevoir et intégrer des API REST, des services tiers et des systèmes externes. - Participer aux choix d'architecture et à la définition de la stack technique. - Garantir la sécurité, la robustesse, la scalabilité et les performances des applications. - Collaborer avec les équipes UI/UX pour intégrer les maquettes et les interfaces. - Optimiser les performances applicatives et les échanges avec les bases de données. - Contribuer aux pipelines CI/CD et aux processus de livraison. Compétences techniques requises Backend : - Java J2SE / Java EE - Spring Boot - API REST et API Gateway - Kafka - JBoss - Oracle Database Frontend & Mobile : - JavaScript - React - React Native Outils & DevOps : - GitHub - Nexus - CI/CD Architecture : - Design patterns et frameworks d'architecture - Conception d'applications sécurisées, robustes et évolutives

Delivery data engineering en proximité métier Concevoir, développer et maintenir des pipelines de données batch, event-driven ou streaming selon les besoins des produits data. Traduire les exigences fonctionnelles et contraintes techniques en solutions data simples, robustes, scalables et maintenables. Contribuer aux cérémonies de delivery, au chiffrage, à la planification, à la gestion des dépendances et à la sécurisation des engagements des squads. Assurer une collaboration fluide avec les Delivery Managers pour rendre visibles les risques, dépendances, arbitrages et points de blocage. Industrialisation, qualité et fiabilité Mettre en œuvre les « quality gates » : tests unitaires et d'intégration, tests de données, contrôle de schéma, idempotence, stratégies de reprise et validation de la qualité. Appliquer les standards de développement Python, PySpark et SQL, ainsi que les bonnes pratiques Git, CI/CD, revue de code et documentation. Contribuer à l'observabilité des flux : logs, métriques, alerting, lineage, suivi des SLA/SLO et analyse des incidents de run. Participer au diagnostic et à la résolution des incidents ou problèmes de production en lien avec les équipes plateformes, CloudOps et SecOps. Architecture data, Lakehouse et performance Implémenter les patterns d'architecture validés : ingestion, modélisation Lakehouse, architecture médaillon, data products, APIs de données et intégrations réutilisables. Optimiser les traitements Spark/Databricks, les requêtes SQL, les stratégies de stockage et l'utilisation du compute afin d'améliorer performance et coûts. Documenter les choix techniques structurants et contribuer aux ADR lorsque les décisions impactent les standards ou la trajectoire cible. Veiller à la cohérence des solutions avec l'architecture One B2C, les standards Data Engineering & Platforms et les exigences entreprise. Sécurité, gouvernance et conformité Intégrer les exigences de sécurité by design : gestion des secrets, IAM, droits d'accès, chiffrement, durcissement, scans et séparation des environnements. Appliquer les règles de protection des données, d'anonymisation, de minimisation, de traçabilité et de conformité RGPD. Contribuer à la gouvernance opérationnelle des datasets, métadonnées, contrats de données, contrôles d'accès et règles de qualité. Travailler avec les équipes Cybersecurity, Infrastructure, Data Office et Architecture pour garantir l'alignement avec les standards ENGIE. AI-assisted engineering et amélioration continue Utiliser de manière responsable les outils d'ingénierie assistée par IA, tels que Copilot, agents, génération de code, SQL, tests, documentation et aide au debugging. Identifier et proposer des opportunités d'automatisation pour accélérer le delivery, réduire les erreurs et standardiser les pratiques d'ingénierie.

Dans le cadre du développement continu de notre centre de services, nous constituons une nouvelle squad dédiée à un grand compte international, acteur majeur du retail. Au sein de cette équipe à taille humaine de 5 personnes, tes missions quotidiennes seront les suivantes : Te consacrer pleinement au développement et au code (une activité estimée à 80 % de ton temps de travail). Utiliser les outils d'Intelligence Artificielle pour t'accompagner et t'appuyer efficacement dans l'écriture de ton code. Assurer la rédaction claire et le maintien de la documentation liée aux divers processus. Collaborer activement avec le reste de l'équipe lors de sessions régulières de peer programming. Mener à bien toutes les phases de tests nécessaires pour garantir une qualité technique optimale. Diagnostiquer et résoudre les problèmes simples inhérents à la gestion des flux de données.

Dans le cadre du renforcement d'une squad, nous recherchons un Développeur Fullstack Java / Angular Senior. La mission consiste à intervenir à la fois sur la maintenance et l'évolution d'applications existantes ainsi que sur le développement de nouvelles fonctionnalités Fullstack. Principales missions : Développer de nouvelles fonctionnalités en Java et Angular. Assurer la maintenance corrective et évolutive du patrimoine applicatif existant. Concevoir et développer des API et microservices. Participer aux échanges inter-applicatifs via Kafka. Utiliser Docker pour la conteneurisation des applications. Analyser et résoudre les anomalies techniques. Participer à l'amélioration continue et à la modernisation des applications. Collaborer avec les différents membres de la squad dans un environnement Agile.

Participer à l'analyse des besoins fonctionnels et techniques Concevoir et développer de nouvelles fonctionnalités Développer des API REST et microservices Réaliser les développements Back-End en Java / Spring Boot Concevoir les interfaces Front-End en Angular Rédiger les spécifications techniques Réaliser les tests unitaires et garantir la qualité du code Analyser et corriger les incidents de production Participer aux revues de code Collaborer avec les équipes métiers, MOA et équipes internationales Contribuer aux démarches CI/CD et aux bonnes pratiques de développement

Contexte : Je recherche un Développeur Java / Spring Boot Confirmé (2 à 7 ans d'expérience) pour intervenir au sein d'une DSI de grande envergure, sur des applications critiques dédiées à l'information voyageurs et à la diffusion de données de transport en temps réel. La mission s'inscrit dans un environnement technique exigeant, avec de forts enjeux de performance, haute disponibilité, traitement de flux de données et architectures distribuées, au sein d'une équipe Agile Scrum. Description Missions principales : Concevoir et développer des fonctionnalités sur des applications de diffusion d'informations voyageurs en temps réel. Participer à la conception et à l'évolution d'architectures distribuées et d'API REST. Prendre en charge les User Stories, de leur estimation jusqu'à leur livraison. Développer et maintenir les tests unitaires, d'intégration, fonctionnels et de performance. Réaliser les revues de code, les travaux de refactoring et les optimisations techniques. Garantir les performances, la robustesse et la haute disponibilité des applications. Participer aux déploiements, aux mises en production et au maintien en condition opérationnelle. Contribuer à l'amélioration continue des pratiques de développement, notamment à travers l'utilisation encadrée de l'IA générative. Livrables Compétences techniques attendues : Environnement Java / Back-end Java 17 minimum / Spring Boot 3 minimum Architectures distribuées, MVC, Hibernate, Spring Data Conception et développement d'API REST / JSON Optimisation de code, refactoring, design patterns PostgreSQL 14, Redis Cloud / DevOps Kubernetes : expérience significative indispensable Connaissances AWS et environnement OpenShift Git / GitLab, Jenkins, SonarQube, JFrog Artifactory, Ansible Linux RHEL8, scripting Shell Pratiques CI/CD Tests et performance JUnit, Cucumber Tests unitaires, fonctionnels, d'intégration et de performance Connaissance des systèmes temps réel, du multithreading et des contraintes de haute disponibilité Compétences complémentaires : Développement Front-end : React, Angular Connaissances Apache Kafka et architectures de streaming Pratique opérationnelle de l'IA générative dans les développements : génération de tests, documentation, analyse de logs, assistance au code, avec contrôle systématique des productions Expérience en Agile Scrum Une expérience dans les transports et l'information voyageurs serait appréciée. Compétences

Le socle technique repose sur une architecture orientée événements (Event Data Hub), chargée de propager les flux métier en temps réel vers les systèmes de production (Vente, Opérations, Systèmes Clients). La plateforme est d'ores et déjà en production à grande échelle. L'enjeu de la mission est d'étendre son périmètre : connecter de nouveaux systèmes, développer des connecteurs et accélérateurs (enablers), et garantir une fiabilité, une sécurité et une observabilité optimales. Missions principales : Analyse fonctionnelle & mapping : Échanger directement avec les Product Owners et Business Analysts pour comprendre les enjeux métier, définir les règles de transformation de données, les mappings source/cible et les scénarios de gestion d'erreurs (edge cases). Développement Middleware & Connecteurs (Data Bridges) : Concevoir et développer en TypeScript / Node.js des producteurs et consommateurs d'événements, des connecteurs sur-mesure, des API et des workers de traitement. Platform Enablers & Composants Partagés : Développer et enrichir des librairies réutilisables, des SDK et des outils socles pour les autres équipes d'ingénierie. Patterns d'architecture distribuée : Implémenter des solutions événementielles fiables garantissant l'idempotence, la résilience (retries), le respect de l'ordonnancement et la cohérence éventuelle (eventual consistency). Qualité & Exploitation (DevOps/CI-CD) : Rédiger des tests automatisés, assurer les revues de code, déployer via des pipelines CI/CD automatisés (ArgoCD / Kubernetes) et surveiller la santé des flux via les outils d'observabilité.

Contexte :Dans le cadre de plusieurs projets stratégiques autour de la Data et de l'Intelligence Artificielle, notre client recherche un Data Scientist confirmé pour reprendre, faire évoluer et industrialiser des projets et modèles existants. Dans un environnement en pleine transformation, le consultant contribuera également à la construction d'une nouvelle stack technique basée notamment sur MLflow, Airflow et Kubernetes. Missions principales :Reprendre rapidement la compréhension des projets, modèles et codes existants. Concevoir, développer et optimiser des solutions de Machine Learning. Intervenir sur des sujets LLM, IA générative et RAG. Faire évoluer les solutions existantes afin de les intégrer à la nouvelle stack technique. Participer à l'industrialisation et au déploiement des modèles. Contribuer à la mise en place et à l'amélioration des pratiques MLOps / LLMOps. Veiller à la documentation, la maintenabilité et la qualité des solutions livrées. Participer notamment à un projet d'IA visant à générer des pré-réponses aux e-mails des utilisateurs. Livrables attendus :Modèles et solutions ML/LLM développés et optimisés. Solutions industrialisées et déployées sur la nouvelle stack. Pipelines et processus MLOps / LLMOps opérationnels. Documentation technique et fonctionnelle des solutions. Code maintenable et réutilisable. Évolution des projets existants conformément aux besoins du client.

La mission consiste à : - Exposer les données utiles à l'entreprise pour les analyser et les utiliser afin d'améliorer l'expérience utilisateur et la productivité - Transformer des données issues du DataLake afin de les normaliser - Modéliser la sphère de données - Développer les flux - Exposer des données brutes et/ou agrégées au bon niveau de granularité aux différents métiers de l'entreprise - Travailler en lien avec des Data Scientists sur les données qu'il aura exposées - Mettre en place des rapports de Dataviz - Mission basée en métropole lilloise avec présence sur site 3j/semaine obligatoire Compétences demandées : - Première expérience en Data Engineering indispensable - Snowflake, GCP, BigQuery, DBT, SQL, Semarchy, Airflow, Python ... - Data Analyse sur Power BI un + - Excellents savoir-être : rigueur, esprit analytique et de synthèse, communication... - Méthode Agile - Anglais

Contexte :Dans le cadre du renforcement de son équipe Data, notre client recherche un Développeur Data confirmé spécialisé Snowflake / dbt pour participer à la conception et à l'évolution de sa plateforme Data Cloud. Missions :Concevoir et développer des pipelines de données et des traitements ETL/ELT. Développer et maintenir les modèles de données sur Snowflake avec dbt. Développer des traitements Data en Python / PySpark / Spark. Participer à l'ingestion et à la transformation de données issues de différentes sources. Optimiser les traitements SQL et les performances des pipelines. Mettre en place les tests et contrôles de qualité des données. Participer à l'orchestration des pipelines avec Airflow / Azure Data Factory. Contribuer à l'industrialisation des développements via Git et CI/CD. Participer aux évolutions de l'architecture Data et aux bonnes pratiques de développement. Environnement technique :Snowflake, dbt, SQL, Python, PySpark, Apache Spark, Azure, Azure Data Factory, Azure Databricks, ADLS, Airflow, Kafka, Delta Lake, Git, CI/CD, Power BI. Profil recherchéExpérience confirmée en Data Engineering. Très bonne maîtrise de Snowflake, dbt et SQL. Bonne maîtrise de Python et PySpark/Spark. Expérience sur un environnement Cloud Azure. Connaissance des outils d'orchestration et des pratiques CI/CD. Autonomie, rigueur et capacité à travailler dans un environnement Agile

ContexteDans le cadre du renforcement de son équipe Data, notre client recherche un Data Architect / Tech Lead spécialisé sur les technologies Snowflake et DBT. Le consultant interviendra sur des sujets d'architecture Data, Data Engineering et Cloud, avec pour objectif de concevoir et faire évoluer des solutions Data robustes, évolutives et industrialisées. Il sera également amené à jouer un rôle de référent technique auprès des équipes Data et à accompagner les choix d'architecture et les bonnes pratiques de développement. Missions principalesConcevoir et faire évoluer l'architecture Data autour de Snowflake. Participer à la conception de plateformes et solutions Data Cloud. Définir les architectures adaptées aux besoins des projets Data. Concevoir, développer et faire évoluer des pipelines de données ETL/ELT. Mettre en œuvre les transformations de données avec DBT. Accompagner les équipes dans l'utilisation de Snowflake et DBT. Définir et promouvoir les bonnes pratiques d'architecture, de développement et d'industrialisation Data. Intervenir sur des problématiques de Data Engineering et Cloud. Participer à l'intégration et à la transformation des données provenant de différentes sources. Optimiser les traitements et les flux de données. Garantir la qualité, la fiabilité et la disponibilité des données. Participer à la mise en place de solutions Data évolutives et performantes. Assurer un rôle de Tech Lead auprès des équipes techniques. Accompagner les Data Engineers dans leurs choix techniques. Participer aux revues de code et aux revues d'architecture. Identifier les axes d'amélioration et contribuer à l'industrialisation des processus Data. Collaborer avec les équipes Data, Cloud, Analytics et les équipes métier. Participer à la documentation des architectures et des solutions mises en œuvre. Compétences techniques — indispensablesSnowflake — expertise Certification Snowflake — Must Have DBT — expérience concrète Data Architecture Tech Lead / leadership technique Data Engineering ETL / ELT SQL Cloud Data Platform Environnement techniqueData Warehouse / Data Cloud Snowflake DBT SQL Data Engineering / Big Data Apache Spark PySpark Python Pandas Hadoop Impala Cloud / Azure Microsoft Azure Azure Databricks Azure Data Factory Azure Data Lake Storage / ADLS Data Integration / Orchestration Azure Data Factory Informatica Stonebranch Power Automate Analytics / BI Power BI DevOps / Collaboration GitHub Databricks Repo Jira Confluence Méthodologie Agile

Dans le cadre du renforcement d'une équipe de Gestion Courante Décisionnelle / Datalake, notre client recherche un Data Engineer / Développeur Big Data Spark Scala expérimenté, capable d'intervenir sur des traitements critiques en production et de contribuer au maintien de la qualité de service. L'environnement repose sur une architecture Big Data collectant les données de plusieurs back-offices, avec un Datalake et une alimentation d'un Datawarehouse sur environnement Exadata. Vos missionsVous interviendrez principalement sur le RUN et la maintenance applicative des traitements décisionnels : Assurer le suivi quotidien des traitements Spark / Scala Analyser et corriger les incidents applicatifs et fonctionnels Réaliser, lorsque nécessaire, les reprises de données associées aux incidents Développer et mettre en œuvre les évolutions confiées Réaliser les tests des corrections et nouveaux développements Participer aux mises en production Maintenir à jour la documentation technique et fonctionnelle Mettre à jour les outils de suivi de l'équipe Rendre compte de l'avancement et des incidents au chef de projet