Trouvez votre prochaine mission ou futur job IT.

Au sein de la Data Platform, le renfort devra intervenir en tant qu'expert sur les sujets Kafka, KStreams, K8S, Spark, Java de la squad Data Value (connaissance client, collecte des événements digitaux...). Expertise technique confirmé sur Kafka, Kstreams, K8s, streaming de données Développer en Spark/Kafka des traitements de transformation et de production de données Designer des chaines optimisées CI/CD en collaboration avec les équipes, DEVOPS, et CAGIP Assurer et garantir la production d'un code de qualité : robuste, maintenable et évolutif Participer à l'amélioration continue et à la revue de code

Description Grâce à ses compétences alliant développement bigdata, appétences pour les modèles d’IA et architecture applicative, le data engineer participe à la conception d’applications mettant à l’échelle des algorithmes créateurs de valeur pour l’entreprise. Livrables • Définition et analyse des structures de données. • Contribution dans les assets des différentes équipes produits pour interconnecter et collecter les données. • Mise à disposition de la data et des recommandations à des systèmes externes (APIs, exports, injection de données). • Connaître et respecter dans nos propositions de valeur les exigences et problématiques liées aux réglementations en vigueur (RGPD, Data privacy, etc.) et aux standards et tendances du secteur (éco-conception, etc.). • Garant de la production (mise en place de monitoring et alerting et intervention si nécessaire). • Développement et maintien du continuous delivery (participer à l’intégration continue et à l’usine logicielle, déploiements et tests automatisés). • Présentation et explication des réalisations à des publics métiers et techniques.

📝 Fiche de Mission – Data Engineer / Data Scientist 📍 Lieu : Pau (64) – Déplacements ponctuels sur Paris (≈ 5 / an) 📅 Démarrage : 13/10/2025 ⏳ Durée : 12 mois – renouvelable 💶 TJM : Jusqu’à 800 € HT / jour 🕐 Rythme : Plein temps (présentiel majoritaire, possibilité part remote) Contexte de la mission Dans le cadre d’un programme de transformation digitale d’un grand groupe industriel, la mission s’inscrit au sein de l’équipe et vise à renforcer les capacités d’ingénierie de données afin d’améliorer la qualité, l’accessibilité et l’exploitation des données opérationnelles.

En résumé, le bénéficiaire cherche un expert data engineering transverse qui va jouer un rôle de référent technique aussi bien pour les équipes de build (projets, nouveaux services) que pour le RUN (production, exploitation) . Objectif de la mission Garantir la stabilité, performance et disponibilité des services liés au streaming (Kafka, Kafka Connect, Flink, etc.). Être force de proposition et d’amélioration continue (optimisation, industrialisation, automatisation). Accompagner le déploiement de nouveaux services dans le Cloud privée en définissant et validant les bons choix techniques. Servir de point d’appui / Tech Lead pour les équipes projet et production. Participer à une veille technologique et aider à la modernisation de l’écosystème. Tâches attendues RUN Expertise incidents et résolution des problèmes complexes. Participation aux astreintes pour les services existants. Support technique aux clients internes (équipes métiers, projets, prod). BUILD Mise en place de nouveaux services dans le Cloud privée (Kafka Connect, Flink). Garantir l’intégration dans le SI BNPP (sécurité, exploitation, monitoring). Assistance Tech Lead auprès des équipes pour débloquer les difficultés. Transverse Amélioration continue des services existants. Participation aux choix d’architecture. Documentation, bonnes pratiques et standardisation. Périmètre technique Tu retrouves un mix de data engineering, DevOps et production autour de : Streaming : Kafka, Kafka Connect, Flink. Big Data : Hadoop (HDFS, Hive), ElasticSearch. Stockage et conteneurs : Object Storage (API S3), Kubernetes / OpenShift, Helm. Dév & intégration : Java (Spring Boot, Spring Security), Python, CI/CD (Git, Jenkins, etc.). NoSQL / DB : MongoDB, PostgreSQL. Automatisation : Ansible.

Environnement Technique :  Tous composants de la distribution HDP 2.6.5 (Hortonworks)  Tous composants de la distribution HDP 3.1.x (Hortonworks)  Technologie KAFKA  Compétences de développements en Shell, Java, Python  Moteur Elasticsearch incluant les fonctionnalités soumises à licence  Docker, Kubernetes, système distribué sur Kubernetes  Infrastructure as Code  DevOps : Ansible, Git, Nexus, Jenkins, JIRA, etc...  Os Linux, Kerberos, SSL, Ldap, RDBMS, SQL Mandatory :  Tous les composants des distributions Hadoop  Tous les composants de la suite Elasticsearch : Kibana, Logstash, suite beats  Administration de composants big data

En tant que Data Engineer Databricks, nous vous proposons d’intégrer une équipe d’ingénieurs expérimentés et multi-compétentes. Au sein de nos clients issus de différents secteurs d'activité (Industrie, Services, Transport, Logistique, Banque, Assurances, Énergie), vous jouez un rôle clé dans la migration des données et des tâches de l'environnement Cloudera vers Databricks. Vous êtes également chargé d'automatiser le déploiement des jobs via le CI/CD. Pour réussir ces différents challenges, nous vous proposerons des actions de formation, des parrainages, des certifications sur les outils concernés et un dispositif d’évaluation personnel régulier.

1. Environnement technique de la Prestation Les produits s'appuient sur les technologies suivantes : - Nifi pour l'ingestion de données ; - Amazon EMR pour les traitements de données ; - Amazon EKS et Mongo dB pour la mise à disposition des données. Les développements seront réalisés sur les environnements de développement, de pré-production et de production mis en place par le client. 2. Expertises techniques attendues Pour réaliser leurs missions dans de bonnes conditions, les intervenants du prestataire devront mettre en œuvre une expertise technique dans les domaines suivants : - Expertise en services Data sur la Plateforme AWS (Certifications AWS : Data Analytics, Big Data…) : S3, HDFS, RDS, Redshift, EMR, Airflow… - Expertise en solutions Big Data/Analytics : Spark, NoSQL… - Expertise en technologies d'intégration de données de type ETL/EAI : Mulesoft.. - Expertise en chaîne d'automatisation MLOps et CI/CD Spark -> 2.x EMR on EKS -> 5.32.0 MWAA -> 2.4.3 (latest) MongoDB enterprise -> 6.06 Opensearch -> 1.2 NIFI -> 1.16.3 NiFi Registry -> 0.8.0 Lieu : Magny les Hameaux

Contexte : Dans le cadre de sa stratégie data-driven, notre client souhaite renforcer ses équipes avec un profil Data Engineer senior (5+ ans d’expérience). L’objectif est de concevoir, industrialiser et optimiser les pipelines de données afin d’assurer la fiabilité, la scalabilité et la gouvernance des données pour les cas d’usage analytiques, IA et décisionnels. Missions principales Conception et déploiement de pipelines de données batch et temps réel. Industrialisation des traitements data (ETL/ELT). Mise en place de plateformes data sur le cloud. Optimisation des performances et de la qualité des données. Collaboration avec les Data Scientists et Business Analysts. Contribution à la gouvernance et à la sécurité des données. Modalités de mission Localisation : Sur site + télétravail partiel possible. Durée : 12 mois renouvelables. Démarrage : ASAP.

Missions principales Concevoir, développer et maintenir des pipelines d’ingestion et de traitement de données à forte volumétrie . Participer à la migration Scala vers Java/Spring et à l’intégration dans Snowflake/Snowpark . Travailler sur l’ architecture et l’optimisation des solutions data (batch & stream). Garantir la qualité du code : tests unitaires et d’intégration, CI/CD, documentation, monitoring. Collaborer avec le Tech Lead et l’équipe , en agile (daily scrums, code reviews, pair programming). Être un référent technique pour l’équipe et contribuer aux choix technologiques. Participer à des projets transverses et assurer la veille technologique sur les nouvelles solutions data. Architecture & concepts Expérience avec architecture medaillon data : Bronze → Silver → Gold. Compréhension des transformations et de la gestion des données selon cette architecture. Capacité à proposer et mettre en œuvre des améliorations pour la performance et la scalabilité. Stack & compétences recherchées Technologies principales : Java (expert, orienté Spark) Spring Snowflake / Snowpark Connaissances attendues : Databricks (full service managé, migration complète) Airflow, GitLab CI SQL Expérience Cloud (préférence GCP, AWS également possible) Compétences complémentaires : Conception de pipelines de données scalables Tests automatisés, monitoring, CI/CD Autonomie et capacité à driver techniquement l’équipe

Site : Montpellier, 2 jours/ semaine sur site Date de démarrage : 01/10/2025 Mission : Data Engineer sur des activités de run et build Nb années d’expérience : 3 ans Profil : Data Engineer Data Engineer Suite MSBI Attendu : Concevoir et développer des solutions pour la collecte, l'organisation, le stockage et la modélisation des données, Développer un ensemble d'outils d'aide à la décision pour les métiers du client, Enrichissement de données, Production d'indicateurs (KPI), Optimisation et performance, Garantir l'accès aux différentes sources de données et de maintenir la qualité des données, Contribuer à la mise en place d'une politique de données et des règles de bonnes pratiques conformes aux réglementations client en vigueur, Assurer une veille technologique, notamment sur les langages de programmation utilisés afin d’aider à l'avancement des projets. Compétences techniques : ETL SSIS, Cube OLAP SSAS, Requêtage SQL, Connaissance ETL, préparation structuration de données, stockage de fichier (Talend, HDFS, SSIS), Expérience dans la modélisation et dans l’exploitation des bases de données (SQL et NoSQL, Oracle, …), Une connaissance en migration des traitements sous GCP serait un plus (BigQuery)

Bonjour, Dans le cadre de ses projets clients, Visian est à la recherche d'un Data Engineer Pyspark/Dagster Mission: Architecture : Définition de l’organisation du Lakehouse dans le S3 Chargement : Remplacement des pipelines Informatica par des pipelines spark, pyspark et python Ordonnancement : Remplacement du DAC de OBIEE par Dagster Restitution : Création de rapports sur Apache SuperSet sur la base du LakeHouse Les principales missions à mener sont : - Description des fonctionnements existants et des besoins couverts, - Développement d’une solution de collecte de données, - Développement d’un système de stockage de la donnée, - Réalisation de tests unitaires, - Mise en place d’un suivi des traitements, - Assistance à la recette par la MOA / les utilisateurs. Si vous êtes actuellement à l'écoute du marché, n'hésitez pas à m'envoyer votre candidature. Bien à vous, Nadia

🎯 Venez renforcer nos équipes ! Pour accompagner notre croissance, nous recherchons un(e) Data Engineer pour un beau projet chez un acteur majeur de la grande distribution. Dans ce contexte international et exigeant, vous intégrez des équipes dynamiques, vous abordez de nouveaux challenges ! 📍 Ce Qui Vous Attend La mission consiste à préparer les socles de données après validation et transformation, au service des équipes de Data Analyse Contribuer autant au RUN qu’à des actions de BUILD orientée DevOps Assurer le maintien en condition opérationnelle sur l'existant, analyse et traitement des incidents Support à l'usage des données, documentation et assistance

Ton quotidien chez Komeet sera rythmé par : Animation des ateliers afin d’étudier et cadrer les besoins clients Préconisation, conception et mise en œuvre des plateformes Data (datawarehouse, datalake/lakehouse ) Rédaction de dossiers d’architecture et spécifications techniques Mise en œuvre des stratégies d’exploitation de plateformes Data Construction et déploiement des pipelines de données (ETL / ELT) à l’aide de langage de programmation ou d’outils de type Low-Code Mis en œuvre des flux d’intégration (en batch ou streaming) de données structurées/non structurées et volumineuses. Tests, validation et documentation des développements Réalisation d'audits et projets d’optimisation Nos choix technologiques : - Talend - DataBricks - Snowflake - DBT - Starburst - Tableau / Power BI / Looker - AWS, Azure et GCP

Bonjour ☺️ Nous recherchons un DATA ENGINEER orienté sur les technologies SPARK / SCALA / PYTHON/ AWS pour le compte de notre client ! Mission : Maintenir la plateforme en conditions opérationnelles : Garantir la disponibilité des données et des services de la plateforme, Assurer la communication avec les utilisateurs de la plateforme, Répondre aux demandes de données (données ad hoc, analyses d’anomalies), Développer les correctifs et évolutions nécessaires, Contribuer à la qualité des données et à l’industrialisation de leur exploitation. Concevoir et développer des services et pipelines de données fiables et performants : Mettre en place des flux de données (acquisition, transformation, export), Concevoir et modéliser les données, Développer et optimiser les pipelines de transformation, Réaliser les tests unitaires et d’intégration, Garantir la qualité des développements via les revues de code, Ordonnancer et gérer les dépendances entre traitements, Déployer sur l’ensemble des environnements, Enrichir et maintenir la documentation de la plateforme. Profil recherché : Minimum 5 ans d'expériences dans un contexte de grande volumétrie de données, Capacité à collaborer avec une pluralité d'interlocuteurs en même temps, Excellent esprit d’équipe, Capacité d'adaptation, Maitrise impérative de : Spark Scala, Python et SQL, Expérience significative sur AWS. Apprécié : Connaissance de Dataiku, Méthodologie Scrum/Safe, Airflow N'hésitez pas à envoyer votre CV !

Compétences techniques : Framework Big Data & Langage : Spark - spark streaming et batch (requis), SQL (requis) Kafka (apprécié) java (apprécié) scala (apprécié) shell (apprécié) Ecosystème Big Data : Stack Hadoop Cloudera (fortement apprécié) Base de données : (type Hdfs, Hive, Hbase, Phoenix, MongoDB) DEVOPS : GIT, Jenkins, Artifactory, XL Release, ELK, Grafana Scrum (cadre agile entreprise) Apprécié : Outil de Data Visualisation : Microstrategy étant un plus (ou connaissance Power Bi, Tableau) Compétences humaines : Requis : Autonomie, Adaptabilité, Bonne communication / Pédagogue / Vulgarisation Data pour des équipes métiers Force de proposition, Sait challenger les besoins et comprend le sens métier des travaux menés 5 à 10 ans d'exp. Paris 12ème 3 jours sur site

Hoxton Partners recherche pour l’un de ses clients, acteur majeur dans le secteur du retail, un Data Engineer H/F. Dans le cadre d’une mission de pré-embauche (6 mois freelance) avant CDI , vous intégrerez l’équipe data centralisée afin de jouer un rôle clé dans l’optimisation et la fiabilisation des pipelines de données pour accompagner la transformation digitale et soutenir la prise de décision stratégique. Vos missions : Concevoir, construire et maintenir des pipelines de données robustes et scalables (ADF/Airflow, dbt, Snowflake). Intégrer et transformer des données multi-sources (APIs, bases de données, etc.) dans l’entrepôt de données. Collaborer avec les équipes data/analytics pour garantir la qualité et l’accessibilité des données. Mettre en place et promouvoir les bonnes pratiques de développement (DevOps, CI/CD, tests, observabilité, documentation). Être force de proposition pour l’optimisation des processus de traitement, en particulier sur Snowflake et dbt . Stack technique : Data Warehouse : Snowflake Transformation : dbt Orchestration : ADF, Airflow Cloud : Azure Langages : SQL, Python