Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark

Dans le cadre du développement de nos activités, nous recherchons un(e) Data Engineer pour renforcer l'équipe technique de notre client et intervenir sur des projets à forte valeur ajoutée autour de la data. En tant que Data Engineer, vous serez amené(e) à : Assurer le suivi technique des projets : suivi des développements, réalisation de revues de code et respect des bonnes pratiques Gérer les incidents techniques : analyse, résolution et mise en production des correctifs Proposer des améliorations techniques : identification des axes d’évolution et optimisation des performances et de la stabilité des applications Garantir la qualité du code : mise en place de tests unitaires et gestion de l’intégration continue Assurer la documentation technique : maintien à jour de l’architecture et de la documentation

Au sein du pôle Big Data d'un grand groupe, l'objectif principal de ce poste est de réaliser et de maintenir les développements nécessaires à l'alimentation du Datalake sur une plateforme Cloudera Hadoop, de mettre en place des extractions de données et d'accompagner les utilisateurs. Rattaché(e) au responsable Big Data, vous évoluerez dans un contexte de production à fortes attentes où la tenue des délais de livraison et le pilotage opérationnel sont primordiaux. Vos principales missions seront les suivantes : Développement et intégration : Prendre en charge les évolutions des données à intégrer et reprendre les développements existants pour l'alimentation du Datalake. Vous développerez également des extractions avec un niveau d'expertise en SQL et créerez des scripts Shell avancés pour l'automatisation. Expertise technique et mentorat : Spécifier techniquement les tâches, fournir des requêtes de référence, effectuer des revues de code et accompagner les collaborateurs juniors, stagiaires ou alternants. Support et accompagnement : Assurer le support de niveau 2, faire appliquer les bonnes pratiques et consignes aux utilisateurs, et rédiger la documentation requise (guides, description de processus). Optimisation et maintenance : Garantir la maintenabilité, les performances et l'exploitabilité de la plateforme en respectant l'utilisation des modèles référencés par la Gouvernance de la Donnée. Vous optimiserez les traitements de la plateforme et ceux des utilisateurs, et mènerez des investigations (reverse engineering) dans une architecture héritée complexe

Objectifs de la mission Le bénéficiaire souhaite une prestation d’accompagnement pour assurer le MCO des Infrastructures HDP et CDP, administration des Clusters, Prestations demandées Les missions sont: Les consultants retenus auront pour mission : • Administration et optimisation de clusters HDP/CDP • Installation, configuration et maintenance des clusters. • Gestion des mises à jour et des patchs de sécurité. • Surveillance des performances et optimisation des ressources. • gestion/administration de clusters Kubernetes • Automatisation des déploiements avec Operators…, etc. • Sécurisation et monitoring des environnements conteneurisés. • Orchestration des workflows avec Apache Airflow : • Développement et optimisation des DAGs pour la gestion des pipelines de données. • Gestion des dépendances et optimisation des temps d’exécution. • Intégration avec les autres outils de l’écosystème. • Traitement et analyse des données avec Apache Spark : • Développement et optimisation des jobs Spark (batch et streaming). • Gestion des performances et tuning des jobs. • Intégration avec les systèmes de stockage distribués. • Optimisation des requêtes et accès aux données avec Starburst : • Configuration et administration de Starburst. • Optimisation des requêtes SQL distribuées. • Sécurisation et gestion des accès aux différentes sources de données. Français/Anglais

Missions principales Conception et optimisation de pipelines de données à grande échelle (batch, streaming, API) Structuration des données selon le modèle Médaillon (Bronze / Silver / Gold) Développement et industrialisation via DBT, Spark et Iceberg Orchestration des workflows ETL/ELT via Airflow Déploiement cloud sur AWS et infrastructure as code avec Terraform Conteneurisation des traitements ( Docker, Kubernetes ) Supervision, observabilité, gestion des incidents et qualité des données Documentation et conformité RGPD Accompagnement de profils juniors

Description du poste – Data Engineer Senior Dans le cadre de projets numériques transverses, vous interviendrez au sein d’une équipe data intégrée à une plateforme de traitement et de valorisation des données. Vous collaborerez étroitement avec des profils métiers et techniques afin de garantir la collecte, la structuration et l’exploitation optimale des données. Vos missions incluent notamment : Participer aux phases de conception, planification et réalisation des projets data Construire et maintenir des pipelines de données robustes et scalables Centraliser des sources de données hétérogènes Structurer et organiser les stockages de données Mettre en place des infrastructures évolutives capables de gérer des volumes importants Développer et maintenir les workflows CI/CD Assurer la sécurité, la stabilité et la performance des environnements Accompagner les équipes dans l’exploitation et le requêtage des données Contribuer aux initiatives de gouvernance data Documenter les solutions et diffuser les bonnes pratiques Réaliser une veille technologique active

Dans le cadre du renforcement de l'équipe Data de notre client, nous recherchons un(e) Data Engineer AWS expérimenté(e) (5 à 7 ans d’expérience minimum), capable d’intervenir sur des plateformes data à forte volumétrie et à forts enjeux de performance, de sécurité et de coûts. Missions 1️⃣ Maintien en condition opérationnelle de la plateforme Contrôler et garantir la disponibilité des données et des services Assurer le suivi des traitements et la gestion des incidents Répondre aux demandes de données ad hoc et analyser les anomalies Développer des correctifs et des évolutions si nécessaire Contribuer à la qualité des données et à l’industrialisation de la plateforme Communiquer avec les utilisateurs et accompagner les équipes 2️⃣ Design & construction de services et pipelines data Concevoir et mettre en place des flux de données (acquisition, transformation, exposition) Développer des pipelines robustes et performants (batch et temps réel) Réaliser des modélisations de données adaptées aux usages métiers Mettre en place les traitements sur différents formats (CSV, XML, JSON, Parquet) Ordonnancer les traitements et gérer les dépendances (Airflow) Développer et maintenir des flux temps réel via Kafka (MSK) Réaliser les tests unitaires et d’intégration Participer aux revues de code et veiller au respect des standards Gérer les déploiements sur l’ensemble des environnements Enrichir et maintenir la documentation technique Environnement technique AWS : S3, EMR, EKS, EC2, Lambda, Athena Spark (Scala), Python, SQL Kafka Airflow Dataiku GitLab & GitLab CI Terraform

Ingénieur Big Data expérimenté pour administrer et optimiser des solutions Big Data (Spark, Trino, MinIO) sur un cluster Kubernetes au sein d’un grand groupe. Ce rôle requiert une forte expertise en tuning applicatif, support et approche DevOps/GitOps. · Déploiement et administration avancée des applications Spark, Trino ou MinIO sur Kubernetes. · Tuning et optimisation des performances : ajustement des configurations, analyse des logs, debugging avancé, optimisation des requêtes SQL (Trino), tuning des jobs Spark. · Gestion du RUN et support applicatif : diagnostic et résolution des incidents, amélioration continue des performances, accompagnement des utilisateurs sur l’optimisation des requêtes. · Mise en place de l’approche GitOps : automatisation complète du déploiement et de la gestion des applications avec Terraform, Ansible, Git, ArgoCD/FluxCD. · Sécurisation et monitoring avancé : implémentation de métriques et alertes sur Prometheus, Grafana, Loki, gestion des accès et des logs applicatifs.

Dans le cadre du renforcement d’une équipe projet Data, nous recherchons un chef de projet Data senior pour notre client engagé dans une mise en place d’une Data Platform . L’objectif est de reprendre la maîtrise technique en interne en constituant une équipe d’experts, avec un appui initial de prestataires externes. Dans ce cadre, un projet stratégique autour de la connaissance des usages et de la mobilité est en cours de refonte de réalisation "mode agile" et en lien avec plusieurs équipes techniques et métiers. Missions principales : Pilotage de projet en méthodologie Agile Gestion du backlog et animation des sprints (JIRA) Coordination d’équipes pluridisciplinaires : Data Engineer, Data Viz, UX/UI, OPS/métiers. Animation des rituels Agile (daily, comités, ateliers) Suivi des charges, priorités et budgets Contribution aux choix stratégiques Supervision des tests et du delivery Maintien en condition opérationnelle (MCO) Environnement technique: Cloud & Data : Azure Data Factory, Data Lake Traitement Data : Spark, Databricks Langages : Python, Scala, SQL Data Viz : Power BI CI/CD & outils : Jenkins, Git, Maven, Ansible Gouvernance & communication : Remonter les informations clés aux équipes de pilotage et sponsors Participer aux instances de gouvernance (comités projet, tribu, etc.) Contribuer aux orientations et choix stratégiques Organisation agile : Animer l’ensemble des cérémonies Agile (daily, sprint planning, review, retrospective) Piloter le backlog : priorisation, chiffrage et réestimation du reste à faire Garantir la bonne application des pratiques Agile

Au sein de l'équipe Data, vos fonctions consisteront notamment à : Participer à l'estimation de la complexité des chantiers techniques liés à la montée de version SPARK (3.4) Concevoir et développer les traitements applicatifs en collaboration avec les intervenants internes à l'équipe, ou externes à celle-ci (architectes techniques, architectes data, experts sur des technologies liées...) Rédiger les dossiers de conception et documentations techniques nécessaires Concevoir et exécuter les cas de tests unitaires / d'intégration Faire des revues de code croisées avec les collègues de l'équipe Contribuer à l'installation et au déploiement des composants Participer activement aux rétrospectives afin de garantir le process d’amélioration continue Assurer la qualité et le suivi des développements, en participant à la correction des problèmes de production

Nous recherchons un Data Engineer pour intervenir sur la fabrication de cas d’usages Data et le développement des produits associés. L’environnement est transverse, multi-sites, avec des enjeux forts de cohérence, de qualité et d’industrialisation des solutions Data à l’échelle de l’entreprise, en lien avec les équipes métiers et techniques. 📍 Localisation Si vous etes localisé à Nantes, vous serez rattaché(e) au site de Nantes avec 2 jours de déplacement par mois requis sur le site de Vannes. Si vous etes localisé(e) à Vannes vous serez rattaché (e) au site de Vannes Mission longue Vos missions : Vous interviendrez sur l’ensemble du cycle de vie des produits Data : Participation à la définition de l’architecture Data , en lien avec les architectes et les équipes projet Conception, développement et optimisation des solutions de collecte et de stockage de données (multi-sources) Mise à disposition des données pour les usages métiers Mise en œuvre de tests unitaires et automatisés Déploiement des solutions sur les différents environnements Suivi du bon fonctionnement en production : support, assistance, gestion des incidents Contribution à l’ amélioration continue des pratiques (qualité du code, performance, fiabilité)

Les missions sont : Les consultants retenus auront pour mission : • Administration et optimisation de clusters HDP/CDP • Installation, configuration et maintenance des clusters. • Gestion des mises à jour et des patchs de sécurité. • Surveillance des performances et optimisation des ressources. • gestion/administration de clusters Kubernetes • Automatisation des déploiements avec Operators…, etc. • Sécurisation et monitoring des environnements conteneurisés. • Orchestration des workflows avec Apache Airflow : • Développement et optimisation des DAGs pour la gestion des pipelines de données. • Gestion des dépendances et optimisation des temps d’exécution. • Intégration avec les autres outils de l’écosystème. • Traitement et analyse des données avec Apache Spark : • Développement et optimisation des jobs Spark (batch et streaming). • Gestion des performances et tuning des jobs. • Intégration avec les systèmes de stockage distribués. • Optimisation des requêtes et accès aux données avec Starburst : • Configuration et administration de Starburst. • Optimisation des requêtes SQL distribuées. • Sécurisation et gestion des accès aux différentes sources de données. Français/Anglais

Nous sommes à la recherche d'un Développeur Mobile Senior spécialisé en React Native , possédant une double compétence rare et stratégique en Data Engineering (Databricks, Spark, SQL) . Développement Mobile & Architecture (React Native) : Concevoir l'architecture technique de l'application mobile en utilisant les meilleures pratiques React Native (Bridge, JSI, TurboModules). Développer des interfaces utilisateurs complexes et réactives, impliquant de la visualisation de données (graphiques dynamiques, cartes interactives, tableaux de bord). Gérer l'état de l'application de manière optimisée (Redux, MobX ou Context API) pour minimiser les re-renders. Assurer la compatibilité cross-platform (iOS/Android) et gérer le déploiement sur les stores (App Store, Google Play) ou via des outils de distribution interne (MDM). Ingénierie de Données & Intégration (Databricks / Spark / SQL) : Interagir directement avec l'environnement Databricks pour optimiser les requêtes qui alimentent l'application mobile. Utiliser Apache Spark pour effectuer des transformations de données ou des agrégations nécessaires avant l'envoi vers le mobile, afin d'alléger la charge de traitement côté client. Rédiger et optimiser des requêtes SQL complexes pour extraire des insights précis depuis le Data Lake, en garantissant des temps de réponse compatibles avec une expérience mobile. Participer à la définition des schémas de données pour assurer qu'ils soient "mobile-friendly" (payloads JSON optimisés, pagination efficace). Qualité, Performance et Méthodologie : Mettre en place des tests unitaires, d'intégration et E2E (Jest, Detox) pour sécuriser les livraisons. Diagnostiquer et résoudre les problèmes de performance (fuites de mémoire, lenteurs réseau, goulots d'étranglement SQL). Participer activement aux cérémonies Agile (Scrum/Kanban), aux revues de code et au mentorat technique des développeurs plus juniors. Assurer une veille technologique constante sur l'écosystème React Native et les évolutions de la plateforme Databricks.

En tant que Data Engineer, vous intervenez sur la conception, le développement et l’optimisation de pipelines de données robustes et scalables. Vous travaillez au cœur des plateformes Data afin de garantir la qualité, la disponibilité et la performance des données utilisées par les équipes métiers, BI et Data Science. Expérience attendue : 3 à 8+ ans en ingénierie Data. Vous correspondez au/à la Data Engineer que nous recherchons si : Vous évoluez efficacement au sein d’équipes agiles et pluridisciplinaires , en collaboration étroite avec les équipes Data, IT et métiers Vous faites preuve d’un fort esprit analytique et d’une grande rigueur Vous êtes autonome , proactif et doté d’un solide sens des responsabilités Vous êtes capable de communiquer clairement avec des interlocuteurs techniques comme non techniques Vous savez prioriser vos tâches , gérer les contraintes et respecter vos engagements Vous disposez d’un bon esprit de synthèse et êtes orienté résultats et valeur métier Vous avez une bonne connaissance des environnements Business Intelligence , Big Data et des architectures Lakehouse Vous avez déjà travaillé sur des plateformes Data modernes (Cloud) Vous maîtrisez SQL comme langage d’interrogation des données et avez des notions de modélisation de données (architecture médaillon, modèle en étoile …) Vous disposez d’un bagage en software engineering , vous permettant d’écrire un code robuste, lisible, maintenable et testable, notamment en Python Vous appliquez les bonnes pratiques de développement : structuration du code, modularité, gestion des dépendances, conventions de nommage Vous êtes sensibilisé aux principes de qualité logicielle (tests unitaires, tests d’intégration, revue de code) Vous êtes à l’aise avec les outils de versioning ( Git ) et les workflows collaboratifs associés Vous savez concevoir des pipelines Data comme de véritables produits logiciels, en tenant compte de la maintenabilité, de l’évolutivité et de l’observabilité

En tant que Data Engineer, vous intervenez sur la conception, le développement et l’optimisation de pipelines de données robustes et scalables. Vous travaillez au cœur des plateformes Data afin de garantir la qualité, la disponibilité et la performance des données utilisées par les équipes métiers, BI et Data Science. Expérience attendue : 3 à 8+ ans en ingénierie Data. Vous correspondez au/à la Data Engineer que nous recherchons si : Vous évoluez efficacement au sein d’équipes agiles et pluridisciplinaires , en collaboration étroite avec les équipes Data, IT et métiers Vous faites preuve d’un fort esprit analytique et d’une grande rigueur Vous êtes autonome , proactif et doté d’un solide sens des responsabilités Vous êtes capable de communiquer clairement avec des interlocuteurs techniques comme non techniques Vous savez prioriser vos tâches , gérer les contraintes et respecter vos engagements Vous disposez d’un bon esprit de synthèse et êtes orienté résultats et valeur métier Vous avez une bonne connaissance des environnements Business Intelligence , Big Data et des architectures Lakehouse Vous avez déjà travaillé sur des plateformes Data modernes (Cloud) Vous maîtrisez SQL comme langage d’interrogation des données et avez des notions de modélisation de données (architecture médaillon, modèle en étoile …) Vous disposez d’un bagage en software engineering , vous permettant d’écrire un code robuste, lisible, maintenable et testable, notamment en Python Vous appliquez les bonnes pratiques de développement : structuration du code, modularité, gestion des dépendances, conventions de nommage Vous êtes sensibilisé aux principes de qualité logicielle (tests unitaires, tests d’intégration, revue de code) Vous êtes à l’aise avec les outils de versioning ( Git ) et les workflows collaboratifs associés Vous savez concevoir des pipelines Data comme de véritables produits logiciels, en tenant compte de la maintenabilité, de l’évolutivité et de l’observabilité