Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark

ACCROCHE SI TU ADORES CONSTRUIRE DES PIPELINES SOLIDES COMME LE ROC, CETTE ANNONCE EST POUR TOI... CE QUE TU RECHERCHES : Évoluer au sein d’une équipe dynamique Participer à des projets innovants d’envergure Relever des défis liés à l’ingénierie des données, aux flux et aux performances Donner un nouveau souffle à ta carrière Alors nous avons la mission idéale pour toi. Au sein d’un acteur majeur du secteur du retail, tu participeras à la conception, à la mise en place et à l’optimisation d’architectures data robustes et évolutives au service de la valorisation de la donnée : Les pipelines de données, tu développeras La qualité, la fiabilité et la sécurité des données, tu garantiras L’intégration et la transformation des données, tu automatiseras Les architectures data (batch & temps réel), tu concevras La scalabilité et la performance des traitements, tu optimiseras Les outils de monitoring et de gestion des flux, tu mettras en place Ton équipe projet, tu accompagneras Aux rituels agiles et instances data, tu participeras QUI TU ES : Diplômé(e) de la formation qui va bien Surdoué(e) ou doté(e) d’une expérience de 8 ans minimum en ingénierie de la donnée ou en développement data Expert(e) en AZURE, DATABRICKS, SPARK, PYTHON, SQL Habile avec les outils CI/CD, AZURE DEVOPS, AGILE, JIRA AU-DELÀ DES COMPÉTENCES TECHNIQUES, TU ES / AS : Dynamique : tu n’aimes pas rester les deux pieds dans le même sabot Autonome : un guide du Routard te suffira Esprit de synthèse : tu sais aller à l’essentiel Capacité d’adaptation : tu es un vrai caméléon Sens de la communication : les mots n’ont pas de secret pour toi Force de proposition : tu es l’Aladdin de l’informatique Esprit d’équipe : un pour tous et tous pour un !

Dans le cadre de notre besoin, nous recherchons un Data Engineer confirmé / sénior disposant d’une forte expertise sur Azure, Databricks, Spark, SQL et Python. Vous intégrerez l’une de nos squads, responsable de la migration de traitements existants depuis une plateforme on premise vers notre plateforme Data Cloud Azure / Databricks. Le profil recherché devra impérativement démontrer une forte motivation pour intervenir sur des projets de migration et être force de proposition, notamment pour identifier et mettre en œuvre des leviers d’accélération afin d’optimiser le delivery. Mission : • Analyse des traitements existants dans le cadre de projets de migration • Conception et construction de pipelines de données pour transformer, enrichir et traiter les données au sein du Data Lake • Développement de notebooks Databricks pour des traitements avancés de données • Mise en œuvre de solutions de Cloud Data Warehousing (optimisation des traitements et tuning des requêtes SQL) • Rédaction de la documentation technique (Dossiers d’Analyse Technique, release delivery notes, etc.) • Réalisation de revues de code dans une logique de qualité et de bonnes pratiques • Conception et exécution de tests unitaires • Livraison des développements dans un environnement DevOps intégrant des processus CI/CD et les outils associés Compétences techniques requises • Expérience Data minimum 5 ans • Azure minimum 3 ans • Databricks minimum 5 ans • Spark minimum 5 ans • Python minimum 5 ans • SQL minimum 5 ans • Maitrise de CI/CD, Azure DevOps Minimum 3 ans • Connaissance des outils Agile (JIRA) et ayant déjà travaillé en mode Agile minimum 1 an Aptitudes personnelles • Force de proposition, rigueur, réactivité, bon relationnel. Test technique • Un test technique sera réalisé lors de l’entretien

Dans le cadre de notre besoin, nous recherchons un Data Engineer confirmé / sénior disposant d’une forte expertise sur Azure, Databricks, Spark, SQL et Python. Vous intégrerez l’une de nos squads, responsable de la migration de traitements existants depuis une plateforme on premise vers notre plateforme Data Cloud Azure / Databricks. Le profil recherché devra impérativement démontrer une forte motivation pour intervenir sur des projets de migration et être force de proposition, notamment pour identifier et mettre en œuvre des leviers d’accélération afin d’optimiser le delivery. Mission : • Analyse des traitements existants dans le cadre de projets de migration • Conception et construction de pipelines de données pour transformer, enrichir et traiter les données au sein du Data Lake • Développement de notebooks Databricks pour des traitements avancés de données • Mise en œuvre de solutions de Cloud Data Warehousing (optimisation des traitements et tuning des requêtes SQL) • Rédaction de la documentation technique (Dossiers d’Analyse Technique, release delivery notes, etc.) • Réalisation de revues de code dans une logique de qualité et de bonnes pratiques • Conception et exécution de tests unitaires • Livraison des développements dans un environnement DevOps intégrant des processus CI/CD et les outils associés Compétences techniques requises • Expérience Data minimum 5 ans • Azure minimum 3 ans • Databricks minimum 5 ans • Spark minimum 5 ans • Python minimum 5 ans • SQL minimum 5 ans • Maitrise de CI/CD, Azure DevOps Minimum 3 ans • Connaissance des outils Agile (JIRA) et ayant déjà travaillé en mode Agile minimum 1 an Aptitudes personnelles • Force de proposition, rigueur, réactivité, bon relationnel. Test technique • Un test technique sera réalisé lors de l’entretien

🏭 Secteurs stratégiques : Banque d’investissement PAS DE FULL REMOTE NI SOUS TRAITANCE MERCI 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département a lancé un programme stratégique, qui comporte plusieurs projets d'harmonisation des processus et outils. L'un de ces streams a pour vocation de constituer un datalake sur une stack Hadoop, afin de servir les besoins en data et reporting. Ce datalake a également pour vocation de devenir la brique centrale de l'architecture du SI . Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par les données, capable de s’adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. 🤝Principales missions : Les tâches suivantes seront confiés au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme • Eventuellement mettre en œuvre une couche d'APIs afin d'exposer nos données

Dans le cadre du renforcement d’une équipe Data au sein d’un grand groupe du secteur des médias, nous recherchons un Data Engineer confirmé pour intervenir au cœur d’une plateforme data stratégique. Tu rejoindras une équipe en charge de la collecte, la centralisation et la transformation de données issues de sources hétérogènes , avec des enjeux forts de volumétrie, de performance et de qualité. Tes principales missions : Concevoir, développer et maintenir des pipelines data robustes et scalables Assurer l’ ingestion et la transformation de données multi-sources Optimiser les performances des traitements (Spark / SQL) Orchestrer les flux de données via Airflow Structurer et organiser le stockage des données Participer à l’ industrialisation des traitements (CI/CD, infrastructure) Garantir la qualité, la sécurité et la fiabilité des données Contribuer aux échanges techniques et à l’amélioration continue des pratiques

Développement Java back-end Conception de modules de collecte (API calls, fichiers, BDD), intégration OAuth2 / SSO, architecture microservices, API REST/SOAP. Traitement de données Spark Mise en place et optimisation de pipelines Spark 3 (collecte → transformation → distribution) sur l'ensemble de la chaîne de traitement. Gestion Kubernetes Déploiement, gestion et optimisation des applications sur cluster Kubernetes, bonnes pratiques DevOps, sécurité des applications. Tests automatisés Cucumber Écriture et maintien de tests automatisés (BDD), garantie de la qualité du code, approche TDD sur les API. Visualisation PowerBI Conception et développement de dashboards et rapports PowerBI en collaboration directe avec les équipes métier. Interface infrastructure & delivery Collaboration avec le partenaire infra du client, commande de ressources, suivi du delivery et post-production, force de proposition.

Développement des tests unitaires et des tests d'intégration Développement de scripts Unix d'administration et d'exploitation Développement de batch et d'API en java Compétences techniques : Développement Java 21, Spring-boot 2 et 3, Spring Batch, Kafka/Avro, TransactSQL (MySQL) 400 e par j BigData (notions) : Spark 3 / Oozie DevOps (utilisation quotidienne) : GIT, GitLabCI, Ansible, ArgoCD, Docker Travail en équipe Rigueur, autonomie Travailler en mode agile Notions : • Le top 10 de l'OWASP • Le système CVE, CWE • Les principales familles d'attaque : XSS, injection HTML\SQL\CSS\Code\etc., CSRF • Les risques liés à l’IA 400 e par j

Nous recherchons un ML Engineer pour accompagner le déploiement de modèles de machine learning robustes, performants et évolutifs en production. Vous intervenez dans une équipe dont le rôle stratégique est de valoriser la data. Au sein d’un environnement Data structuré, vous interviendrez sur des projets transverses mêlant data science, data engineering et MLOps. Vos principales responsabilités seront les suivantes : Optimiser la collecte et la préparation des données : data processing, feature engineering, industrialisation des pipelines. Améliorer l’exposition des modèles en production : API, endpoints, performance et scalabilité. Collaborer avec les data engineers pour intégrer les modèles dans la Data Platform. Travailler avec les data scientists afin de déployer les meilleures versions des modèles. Mettre en place des pratiques MLOps : qualité des données, suivi du data drift, monitoring, réentraînement. Assurer le suivi du cycle de vie des modèles en production. Documenter les processus, modèles et systèmes déployés.

Pour le compte de l’un de mes clients dans le secteur bancaire, je recherche un(e) Data Domain Owner Senior pour une mission stratégique avec un démarrage ASAP. Vos missions principales : Piloter et faire évoluer les frameworks data Contribuer à la digitalisation des données Assurer le contrôle de la qualité des données Faire le lien entre les équipes métiers et techniques Profil recherché : Expérience confirmée en environnement data Vision transverse métier / IT Capacité à piloter des sujets stratégiques

Nous recherchons un Data Engineer confirmé / sénior disposant d’une forte expertise sur Azure, Databricks, Spark et SQL. - Analyse des traitements existants dans le cadre de projets de migration - Conception et construction de pipelines de données pour transformer, enrichir et traiter les données au sein du Data Lake - Développement de notebooks Databricks pour des traitements avancés de données - Mise en œuvre de solutions de Cloud Data Warehousing (optimisation des traitements et tuning des requêtes SQL) - Rédaction de la documentation technique (Dossiers d’Analyse Technique, release delivery notes, etc.) - Réalisation de revues de code dans une logique de qualité et de bonnes pratiques - Conception et exécution de tests unitaires - Livraison des développements dans un environnement DevOps intégrant des processus CI/CD et les outils associés

En tant que Data Engineer, vous intervenez sur la conception, le développement et l’optimisation de pipelines de données robustes et scalables. Vous travaillez au cœur des plateformes Data afin de garantir la qualité, la disponibilité et la performance des données utilisées par les équipes métiers, BI et Data Science. Expérience attendue : 3 à 8+ ans en ingénierie Data. Vous correspondez au/à la Data Engineer que nous recherchons si : Vous évoluez efficacement au sein d’équipes agiles et pluridisciplinaires , en collaboration étroite avec les équipes Data, IT et métiers Vous faites preuve d’un fort esprit analytique et d’une grande rigueur Vous êtes autonome , proactif et doté d’un solide sens des responsabilités Vous êtes capable de communiquer clairement avec des interlocuteurs techniques comme non techniques Vous savez prioriser vos tâches , gérer les contraintes et respecter vos engagements Vous disposez d’un bon esprit de synthèse et êtes orienté résultats et valeur métier Vous avez une bonne connaissance des environnements Business Intelligence , Big Data et des architectures Lakehouse Vous avez déjà travaillé sur des plateformes Data modernes (Cloud) Vous maîtrisez SQL comme langage d’interrogation des données et avez des notions de modélisation de données (architecture médaillon, modèle en étoile …) Vous disposez d’un bagage en software engineering , vous permettant d’écrire un code robuste, lisible, maintenable et testable, notamment en Python Vous appliquez les bonnes pratiques de développement : structuration du code, modularité, gestion des dépendances, conventions de nommage Vous êtes sensibilisé aux principes de qualité logicielle (tests unitaires, tests d’intégration, revue de code) Vous êtes à l’aise avec les outils de versioning ( Git ) et les workflows collaboratifs associés Vous savez concevoir des pipelines Data comme de véritables produits logiciels, en tenant compte de la maintenabilité, de l’évolutivité et de l’observabilité

📢 Data Engineer Scala Spark – Environnement Cloud (H/F) 🧩 Contexte Dans le cadre du renforcement d’une équipe Data, nous recherchons un(e) Data Engineer expérimenté(e) afin d’intervenir sur des sujets à forte volumétrie, autour de pipelines de données complexes et d’optimisation des traitements. Vous évoluerez dans un environnement technique exigeant, avec des enjeux de performance, scalabilité et qualité de la donnée. 🚀 Missions principales Développement de pipelines data en Scala / Spark (batch principalement) Optimisation des traitements et gestion de volumétries importantes Mise en place et amélioration des bonnes pratiques de développement Participation à l’architecture et aux choix techniques Collaboration avec les équipes métiers et techniques Contribution au mentoring et partage de connaissances 🧰 Stack technique Scala / Spark Maven Environnement Cloud (AWS ou Azure) Databricks (selon contexte) API HTTP Stack ELK (optionnel) ✅ Must have Solide expérience en Scala / Spark (batch) Maîtrise des optimisations Spark Expérience sur fortes volumétries de données Bonnes pratiques de développement (clean code, build, versioning) Expérience en environnement Cloud (AWS ou Azure) Minimum 5 ans d’expérience en Data Engineering ➕ Nice to have Expérience avec Databricks Développement d’ API HTTP Connaissance de la stack ELK Expérience en environnement multi-projets 🤝 Soft skills Esprit d’analyse et rigueur Autonomie et force de proposition Bon relationnel et esprit d’équipe Capacité à comprendre les enjeux métiers Sens des priorités et gestion des délais 🎓 Profil Formation Bac+3 à Bac+5 en informatique Anglais technique requis 8 ans d'expériences MINIMUM ! 📍 Modalités Télétravail partiel (jusqu’à 3 jours / semaine) Mission longue Démarrage : ASAP

Nous recherchons un Data Engineer confirmé / sénior disposant d’une forte expertise sur Azure, Databricks, Spark et SQL. · Analyse des traitements existants dans le cadre de projets de migration · Conception et construction de pipelines de données pour transformer, enrichir et traiter les données au sein du Data Lake · Développement de notebooks Databricks pour des traitements avancés de données · Mise en œuvre de solutions de Cloud Data Warehousing (optimisation des traitements et tuning des requêtes SQL) · Rédaction de la documentation technique (Dossiers d’Analyse Technique, release delivery notes, etc.) · Réalisation de revues de code dans une logique de qualité et de bonnes pratiques · Conception et exécution de tests unitaires · Livraison des développements dans un environnement DevOps intégrant des processus CI/CD et les outils associés 3 - Compétences techniques requises · Expérience Data minimum 5 ans · Azure minimum 3 ans · Databricks minimum 5 ans · Spark minimum 5 ans · Python minimum 5 ans · SQL minimum 5 ans · Maitrise de CI/CD, Azure DevOps minimum 3 ans · Connaissance des outils Agile (JIRA) et ayant déjà travaillé en mode Agile minimum 1 an

En tant que Data Engineer, vous intervenez sur la conception, le développement et l’optimisation de pipelines de données robustes et scalables. Vous travaillez au cœur des plateformes Data afin de garantir la qualité, la disponibilité et la performance des données utilisées par les équipes métiers, BI et Data Science. Expérience attendue : 3 à 8+ ans en ingénierie Data. Vous correspondez au/à la Data Engineer que nous recherchons si : Vous évoluez efficacement au sein d’équipes agiles et pluridisciplinaires , en collaboration étroite avec les équipes Data, IT et métiers Vous faites preuve d’un fort esprit analytique et d’une grande rigueur Vous êtes autonome , proactif et doté d’un solide sens des responsabilités Vous êtes capable de communiquer clairement avec des interlocuteurs techniques comme non techniques Vous savez prioriser vos tâches , gérer les contraintes et respecter vos engagements Vous disposez d’un bon esprit de synthèse et êtes orienté résultats et valeur métier Vous avez une bonne connaissance des environnements Business Intelligence , Big Data et des architectures Lakehouse Vous avez déjà travaillé sur des plateformes Data modernes (Cloud) Vous maîtrisez SQL comme langage d’interrogation des données et avez des notions de modélisation de données (architecture médaillon, modèle en étoile …) Vous disposez d’un bagage en software engineering , vous permettant d’écrire un code robuste, lisible, maintenable et testable, notamment en Python Vous appliquez les bonnes pratiques de développement : structuration du code, modularité, gestion des dépendances, conventions de nommage Vous êtes sensibilisé aux principes de qualité logicielle (tests unitaires, tests d’intégration, revue de code) Vous êtes à l’aise avec les outils de versioning ( Git ) et les workflows collaboratifs associés Vous savez concevoir des pipelines Data comme de véritables produits logiciels, en tenant compte de la maintenabilité, de l’évolutivité et de l’observabilité

Ta mission sera de Garantir la robustesse de la platforme Monitorer et prendre des actions proactive de management de la plateforme de compute Assurer le support et l'accompagnement d'équipes sur Spark, Databricks et EMR Travailler sur les optimisations des traitements Athena/Pyspark Accompagner et former Définir et promouvoir les bonnes pratiques de software engineering et de data engineering sur les technologies proposées au sein de l'équipe participer et conseiller lors de la conception des pipelines de données des équipes Développer le futur Travailler sur le concept d'accessibilité et de gouvernance de la donnée Tester de nouveaux outils / features intéressants à intégrer dans notre stack