Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark

VOS RESPONSABILITES PRINCIPALES : Build – Modernisation & migrations Data Participer au design et à la construction de nouvelles plateformes Data (on-prem Cloudera / Spark / Kafka & cloud AWS/GCP). Configurer, optimiser et sécuriser les environnements Big Data (Spark tuning, Kafka connecteurs…). Travailler avec les architectes et les CloudOps sur les architectures distribuées. Mettre en place des bonnes pratiques : backup, restauration, performance, haute dispo, PCA/PRA . Intégrer pipelines & automatisations (Terraform, GitOps, ArgoCD). Animer ateliers, documentation et transfert de compétences. Run – Support N2/N3 & performance Résolution d’incidents techniques Big Data (HDFS, Spark, Kafka, Flink…). Support aux projets : création de topics Kafka, scheduling Airflow, jobs Spark, optimisation. Montée de version, patching, maintenance préventive. Participation aux astreintes (rotation). Amélioration continue & fiabilisation des environnements critiques. Application stricte du cadre ITIL V4 (incidents / problèmes / demandes).

En quelques mots Cherry Pick est à la recherche d'un "Tech Lead Data IoT – Java & Cloud" pour un client dans le secteur du retail. Description⚡ Le Contexte Au sein d'une plateforme IoT gérant des millions d'objets connectés (Smart Devices, vélos, équipements sportifs), nous recherchons le Référent Technique Data . Il ne s'agit pas d'un poste de Data Engineer classique qui ne fait que des pipelines, mais d'un rôle de Software Engineer / Tech Lead spécialisé dans le traitement de la donnée. Vous êtes le "Tech Lead Data" unique de la plateforme : vous portez la responsabilité technique et architecturale de tout ce qui touche à la donnée au sein de l'écosystème IoT. 🎯 Votre Mission : Architecturer et Construire le Backend Data Votre rôle est central : vous construisez le moteur qui ingère, traite et structure les événements remontés par les objets connectés. Vous êtes garant de la cohérence de la donnée, du capteur jusqu'au stockage. 1. Développement Backend & Traitement IoT (80-90% du poste) Développement Java : Concevoir et développer les briques Backend chargées du traitement des flux (Temps Réel & Événementiel). Gestion de la complexité IoT : Gérer les problématiques de connectivité instable. Exemple concret : Reconstituer une session de sport ("Ride") complète même en cas de perte de réseau, gérer les règles de début/fin de session automatiquement. Privacy by Design : Intégrer les contraintes RGPD et le respect des consentements utilisateurs directement dans l'architecture de collecte (filtrage à la source, anonymisation). 2. Architecture & Lead Data Référent Technique : Vous êtes le point de contact unique pour toutes les décisions impactant la data sur la plateforme. Conseil & Gouvernance : Vous auditez et conseillez les autres équipes Backend. Si une feature touche à la structure de la donnée, vous intervenez pour valider le modèle. Modélisation : Définir les modèles de données pour garantir leur exploitabilité future. 3. Analytics & Maintenance (10% du poste) Maintenir les flux ETL existants et les jobs d'analytics. Intervenir ponctuellement sur du Spark / Scala pour des besoins de BI ou de Data Science. 🛠 La Stack Technique Un environnement Multi-Cloud et moderne : Cloud Principal : GCP (Google Cloud Platform). IoT : AWS IoT Core (gestion de la flotte et connectivité). Langage Principal : Java (Expertise demandée). Analytics/Data : Databricks , Spark, Scala.

Notre client migre ses flux ETL d’Informatica vers Microsoft Fabric pour ses besoins en data ingestion et analytics. Le projet concerne principalement le domaine Finance, avec un modèle pivot centralisant contrats, positions, instruments de couverture, flux futurs, contreparties et données de marché. Environnement technique : * ESB (Software AG), * ETL (Informatica), * Data Platform (Fabric/Power BI) Mission En tant que Tech Lead Data, vous serez responsable de : * Définir les standards techniques (Fabric, Spark, Python) et bonnes pratiques de développement. * Piloter la migration des flux Informatica vers Fabric : * Évaluer l’existant (flux, modèles pivots, dépendances). * Concevoir le framework d’ingestion/transformation (Spark, Notebooks). * Mettre en place la CI/CD (Azure DevOps/GitHub). * Assurer le monitoring et la qualité des données. * Encadrer une équipe de 3 Data Engineers (mentorat, optimisation des performances). * Collaborer avec les équipes métiers (Finance/Risque) et l’architecture IT.

Au sein d’une DSI ou d’une équipe Data/Cloud en pleine transformation numérique, l’ingénieur Big Data / Infrastructure intervient pour concevoir, déployer et maintenir des plateformes de traitement de données à grande échelle. Il joue un rôle clé dans la fiabilité, la performance et la sécurité des environnements Big Data utilisés par les data engineers, data scientists et équipes métier. Responsabilités principales 1. Conception et mise en place de l’infrastructure Big Data Concevoir des architectures de données distribuées (Hadoop, Spark, Kafka, HDFS, NoSQL, S3…). Participer au dimensionnement des clusters, à la définition des SLA et des bonnes pratiques d’industrialisation. Déployer et configurer les services Big Data dans un contexte On-premise, Cloud (AWS/GCP/Azure) ou hybride. 2. Administration et exploitation des plateformes Assurer l’administration quotidienne des clusters : gestion des ressources, supervision, montée de version, tuning des performances. Implémenter des mécanismes de haute disponibilité, d’équilibrage de charge et d’optimisation du stockage. Réaliser des diagnostics avancés en cas de dysfonctionnement et mettre en place des correctifs durables. 3. Automatisation, CI/CD et industrialisation Développer et maintenir des pipelines d’automatisation (Terraform, Ansible, Jenkins, GitLab CI…). Standardiser les déploiements via Infrastructure as Code. Contribuer à l'amélioration continue de la plateforme, en proposant des optimisations de performance et des outils de monitoring. 4. Sécurité, conformité et gouvernance Intégrer les contraintes de sécurité : gestion des accès (Kerberos, IAM, Ranger), chiffrement, segmentation réseau. Participer à la mise en œuvre de la gouvernance Data (catalogue, lineage, qualité, traçabilité). Veiller au respect des politiques RGPD et des normes internes. 5. Support aux équipes Data et accompagnement technique Accompagner les data engineers, développeurs et data scientists dans l’utilisation des ressources Big Data. Optimiser les jobs Spark/Kafka/Hadoop pour réduire les coûts et améliorer la latence. Participer à la rédaction de documentation technique, guides d’usage et bonnes pratiques.

Missions Gestion des incidents dans un environnement front-office trading / finance de marché. Forte activité RUN : incidents, demandes, livraisons. Gestion autonome des arrêts/relances, supervision, mises en production, upgrades. Investigation des incidents techniques et performances. Expertise technique autour de Sophis et du pricer (tests de performance, disponibilité…). Contribution aux projets en cours : DevOps (Jenkins, XL Deploy, XL Release), upgrades Windows 2016, évolution de la distribution de calculs, framework Python vers Hadoop/Spark/Hive, upgrade majeur Sophis.

Mission longue durée – Paris / Aix-en-Provence / Lausanne (Suisse) Secteur d’activité : Horlogerie de luxe Missions Pilotage complet du projet : planning, jalons, risques, reporting, animation des comités. Suivi financier : budget, consommés, prévisionnels, arbitrages, revues internes/client. Coordination et validation des livrables techniques et fonctionnels. Leadership technique sur Azure (IAM, architecture cloud), Databricks (pipelines, optimisation, ingestion), Power BI (modélisation, datasets, gouvernance). Gestion du relationnel client multi-acteurs, communication claire, gestion des attentes et décisions. Coordination d’une équipe pluridisciplinaire et diffusion des bonnes pratiques data & cloud . Compétences techniques Maîtrise de Microsoft Azure (Data Lake, Data Factory, SQL/Synapse, DevOps). Expertise Databricks (Spark, optimisation, CI/CD, ingestion/transformation). Très bon niveau Power BI (DAX, modélisation, datasets, gouvernance). Bonne compréhension des architectures data modernes et environnements CI/CD. Compétences gestion & relationnel Méthodologies Agile et cycle en V. Pilotage planning/risques/livrables, gestion budgétaire avancée. Leadership, communication, diplomatie, gestion de situations sensibles. Capacité à décider rapidement et à fédérer une équipe.

Coordination et Pilotage des Flux : Animer et coordonner les différentes équipes impliquées : Équipes M3 (ERP), Spark (Middle Office), Équipes de Développement (Front/Back) et le Partenaire PSP. Garantir l'alignement des parties prenantes sur les objectifs du projet et les spécifications techniques et fonctionnelles. Analyse et Spécification Fonctionnelle : Recueillir, analyser et formaliser les besoins métier en lien avec l'outil de paiement (processus de commande, annulation, remboursement, gestion des fraudes, etc.). Rédiger les Spécifications Fonctionnelles Détaillées (SFD) et les user stories claires et exploitables pour les équipes de développement. Suivi et Validation des Développements : Assurer la transmission et l'interprétation des spécifications aux équipes de développement. Réceptionner et valider les livrables techniques en vous assurant de leur conformité avec les spécifications initiales. Tests et Recette (E2E/UAT) : Concevoir et exécuter les tests de bout en bout (End-to-End Tests) pour valider l'intégralité de la chaîne de paiement. Coordonner et piloter les tests d'Acceptation Utilisateur (User Acceptance Tests - UAT) avec les équipes métier.

Contexte de la mission Un grand groupe du secteur média / audiovisuel mène plusieurs projets stratégiques autour de la valorisation de la donnée au sein de sa Direction Technique du Numérique. L’objectif global est d’utiliser la donnée comme levier de croissance , d’optimisation des produits numériques et d’amélioration de la connaissance utilisateur. La mission est intégrée à une équipe transverse (Product Owner + Data Engineers) en charge d’un produit interne visant à fournir des données fiables, structurées et exploitables pour le pilotage des activités numériques. Objectifs principaux Maximiser la collecte de données dans le respect des normes légales. Améliorer la connaissance et l’expérience utilisateur via la donnée. Mettre à disposition des outils d’aide à la décision basés sur des données fiables. Garantir la disponibilité, la qualité et la gouvernance des pipelines data. Environnement technique Python, SQL, dbt, Apache Spark BigQuery, Dataplex Universal Catalog Airflow Terraform, Terragrunt GitLab CI/CD Google Cloud Platform Responsabilités attendues Au sein de l’équipe data Maintenir et faire évoluer le produit data existant ainsi que les dispositifs associés. Mettre en place et suivre un contrôle qualité rigoureux des données. Accompagner les utilisateurs internes dans l’usage des datasets. En tant que Data Engineer Participer aux phases de conception, planification et développement. Construire et maintenir des pipelines robustes, scalables et résilients. Structurer et organiser le stockage des données. Déployer et optimiser les infrastructures cloud en réponse à la croissance des volumes. Contribuer aux initiatives de gouvernance : qualité, intégrité, fiabilité. Maintenir les workflows CI/CD et sécuriser les environnements. Documenter les développements et partager les bonnes pratiques au sein de l’équipe. Réaliser une veille technologique continue. Compétences requises Expérience Minimum 3 ans en tant que Data Engineer (7 à 10 ans souhaité pour le niveau sénior). Compétences techniques indispensables Python, SQL, Spark, dbt BigQuery, Dataplex Airflow Terraform, Terragrunt GitLab CI/CD Méthodologies Agile (Scrum / Kanban) Compétences transverses Capacité à vulgariser des sujets techniques. Rigueur, autonomie, communication claire. Modalités d’exécution Présence sur site : 50 % minimum . Pas d’astreinte prévue. Matériel conforme aux normes de sécurité (chiffrement, antivirus, mises à jour…). Langue de travail : français

CITECH recrute ! 👌 Dans le cadre du renforcement de son pôle dédié à l’architecture, la valorisation et l’exploitation de la donnée, une grande entreprise nationale du secteur de l’énergie recherche un Data Engineer / Data Analyst (H/F) .🚀 L’objectif : contribuer à la fiabilité, la qualité et l’analyse des données nécessaires à la gestion des réseaux, ainsi qu’au développement de plateformes Data avancées. 🙌🔽 Vous aurez donc les missions principales suivantes : 🔽🙌 Data Engineering 🔸Concevoir, développer et maintenir des pipelines de données robustes et scalables. 🔸Industrialiser les traitements dans un environnement Databricks (Spark, Delta Lake). 🔸Optimiser la qualité, la performance et la disponibilité des données. 🔸Participer à l’architecture des solutions Data, notamment dans un contexte cloud. Data Analysis 🔸Structurer, analyser et valoriser les données issues des réseaux et services. 🔸Construire des Dashboard et indicateurs fiables pour les équipes métiers et techniques. 🔸Contribuer à la mise en place d’une gouvernance efficace des données. Collaboration & Support 🔸Travailler étroitement avec les équipes Architecture, Exploitation et SI. 🔸Participer à la documentation, la standardisation et l’amélioration continue des pratiques Data. 🔸Accompagner les utilisateurs internes dans la compréhension et l’exploitation des datasets.

🔍 Nous recherchons un(e) Lead Data Engineer Azure Databricks avec une forte posture de transmission, coaching et mise en place des standards, pour accompagner une équipe en montée de maturité sur Databricks. 📅 Démarrage ASAP 📍 Île-de-France 🎯 Missions clés : ✅ Optimisation & fiabilisation des jobs Databricks (PySpark / Spark) ✅ Mise en place des standards & bonnes pratiques Data Engineering ✅ Coaching, mentoring, animation de la communauté Tech Lead ✅ Contribution aux migrations & à la modernisation du DataLake ✅ Travail sur l’industrialisation (CI/CD – Azure DevOps)

Nous sommes à la recherche deux consultants de haut niveau spécialisés en Data Engineering, disposant d’une expertise approfondie dans les technologies Python, Data, GenAI, AWS (Kinesis, S3, EMR, etc.), Airflow, Terraform, GitLab CI/CD, Python ainsi qu’une solide maîtrise de SQL, Snowflake et les architectures Data Streaming. Une expertise en Scala et Spark serait fortement appréciée. Il sera chargé de concevoir et développer des pipelines de données, développer sur des chatbots AI dans un environnement cloud tout en contribuant activement à la fiabilité, l’automatisation et la scalabilité de notre plateforme data.

Nous recherchons un Responsable DevOps pour encadrer et animer une équipe DevOps. Vous jouerez un rôle clé dans la gestion des produits et plateformes d’infrastructure en assurant leur disponibilité, leur performance, leur évolutivité, leur gestion de l’obsolescence, leur capacité et la maitrise des coûts OnPremise, Cloud ou hybride. Rattaché(e) au responsable de l’entité, vous serez responsable hiérarchique d’une équipe d’une vingtaine de personnes (collaborateurs et prestataires) de profils techniques devops Cloud Public et On Premise. Dans cette évolution organisationnelle, l’organisation hiérarchique est décorrélée de l’organisation opérationnelle. Le responsable DevOps devra donc travailler et s’organiser de façon transverse et étroite avec les Product Owner, le Product Manager et le responsable de l’entité sysops pour assurer le delivery et atteindre les objectifs en fonction des besoins. L’équipe DevOps de l’entité « Plateforme IT » a la responsabilité du build et du run des produits et plateformes d’infrastructures OnPremise et Cloud public. Le responsable DevOps s’appuiera sur les « lead dev » des périmètres de l’équipe : - le périmètre de traitement des données (Datastage, Spark) - le périmètre d’ordonnancement (Dollar Universe, Airflow) - le périmètre CI/CD (gitlab, gitlabCI, Artifactory, Nexus, Sonar) - le périmètre supervision et centralisation des logs (centreon, grafana/prometheus, checkly) - le périmètre sécurité (KeeperSecurity, Vault) - le périmètre échanges (wso2, rabbitMQ, boomi) - le périmètre de test (squash, postman) - le périmètre provisioning d’environnements (base de données, serveurs d’applications, search, kubernetes, iac)

Descriptif du poste En tant que Développeur DataStage, la mission consiste à intégrer les équipes projet du programme de migration vers la nouvelle solution DataFactory, et à contribuer activement à la migration de la solution actuelle vers cette nouvelle plateforme. Ce projet a pour objectif de remplacer la solution actuellement utilisée pour le stockage et le traitement des données comptables et de performance, la plateforme actuelle devant être décommissionnée d'ici 2025. Dans le cadre de la stratégie Data, il a été décidé d'adopter la solution DataFactory, actuellement développée par les équipes IT/ADM. La mission s'inscrit dans un environnement technique large : Technologies actuelles : Spark (Java), Ab Initio, Oozie, MapR… Technologies cibles : DataStage (bientôt NG), PostgreSQL Dans ce contexte, la mission inclut des activités de développement sous IBM DataStage et SQL, ainsi que des tâches d'analyse et d'expertise liées à l'adaptation technologique de la solution. Vous rejoindrez une équipe d'une dizaine de personnes (chef de projet, business analysts, développeurs, scrum master, architectes…) réparties entre Pantin, Lisbonne et Chennai. Responsabilités principales Analyse, développement, tests et intégration sur les technologies du périmètre. Application des bonnes pratiques technologiques et méthodologiques définies. Acquisition d'une expertise fonctionnelle et/ou technique sur les composants clés du portefeuille applicatif. Maintenance et support niveau 3 des applications concernées. Participer au cycle complet de développement (analyse, développement, tests, déploiement) — principalement sur IBM DataStage et SQL. Contribuer à la définition des solutions techniques. Développer et personnaliser les composants de la solution. Participer activement aux sprints en tant que membre de la squad de développement. Garantir la qualité via la réalisation des tests unitaires et d'intégration. Livrer les projets avec un fort souci de qualité et de performance.

En tant que Data Engineer chez Smile, vous ferez partie de notre aventure où chaque jour est une nouvelle occasion de construire des solutions qui dépassent les attentes de nos clients (et les vôtres !)🧑‍🚀👩‍🚀 Ce que vous ferez en tant que Data Engineer chez Smile ? Conception et développement de pipelines de données (ETL/ELT). Maintenance et optimisation de l'infrastructure de données. Mise en place de solutions de stockage et de traitement de données (data warehouses, data lakes). Collaboration avec les équipes de data science et d'analyse. Automatisation des processus de gestion des données. Veille technologique sur les outils et technologies de données. Côté technique justement, vous évoluerez dans un environnement Open Source ☕: Ingénierie des données et Cloud : ETL/ELT, Big Data (Spark, Hadoop), plateformes cloud (AWS, Azure, GCP), orchestration (Kubernetes, Docker). Analyse de données et Business Intelligence : Visualisation (Power BI, Tableau), reporting, analyse prédictive, bases de données SQL/NoSQL. Développement logiciel et programmation : Développement backend, langages (Python, Java, Scala, R), API, intégration continue (CI/CD). Recherche et indexation de données : Moteurs de recherche (Elasticsearch, Solr), recherche full-text, optimisation de la performance des requêtes. Vous intègrerez un environnement stimulant où votre expertise et votre passion seront reconnues 💥. Nous vous invitons à participer à des projets captivants et à contribuer à notre croissance commune🌱. Smile s’engage pour un environnement où la diversité est une force et l’inclusion, un pilier. Ici, chaque talent est reconnu, respecté et encouragé à aller plus loin.

Description : Livrables : • Concevoir et mettre en œuvre des solutions data pour soutenir les objectifs business. • Analyser et interpréter des données complexes afin d’en extraire des informations exploitables. • Collaborer avec des équipes inter fonctionnelles pour identifier et résoudre les défis liés aux données. • Développer et maintenir des pipelines de données, des modèles et des outils de reporting. • Garantir la qualité, l’intégrité et la sécurité des données tout au long de leur cycle de vie. • Fournir une expertise technique et des conseils aux parties prenantes pour soutenir les prises de décisions fondées sur les données. Expertise : • Diplôme de niveau Bachelor ou Master en informatique, data science ou domaine connexe. • Plus de 5 ans d’expérience en data engineering, data analytics ou rôle similaire. • Expérience avérée dans la livraison de solutions data dans un environnement dynamique. • Maîtrise des technologies et architectures data modernes, telles que les plateformes cloud, les frameworks big data et les solutions de data warehousing. • Expertise en langages de programmation tels que Python, SQL et Spark. • Maîtrise de la modélisation de données, des processus ETL et des techniques de transformation de données. • Expertise des plateformes cloud orientées data (ex. : AWS, Azure, Google Cloud). • Maîtrise des outils de visualisation et de reporting (ex. : Power BI, Tableau). • Connaissance approfondie des bonnes pratiques en matière de sécurité, gouvernance et conformité des données.

La prestation consistera à : - Exploiter le socle de data pour mettre en place le pilotage des actions, en construisant des dashboards (Power BI) pour le suivi des profils, le suivi de l’engagement, le suivi des segments RF, le suivi des objectifs - Analyser les profils et comportements des utilisateurs, en mettant en place les analyses des profils de vidéonautes, décortiquant les comportements selon les canaux d’acquisition, les contenus consommés, en analysant l’impact de la pression pub sur nos utilisateurs, … - Mettre en place la data science et l’IA au service de l’amélioration de l’expérience utilisateur et l’amélioration de nos process internes - Prédiction des audiences - Enrichissement du catalogue via l’IAG - Prédiction de l’inactivité, des appétences, … - Segmentations - Expériences en analyses de connaissance clients / utilisateurs du type cycle de vie client, churn, recrutés… - Expériences en data science sur des sujets de type prévision, algo de reco, score d’appétence, anti churn… - Expériences sur des sujets d’ IA Générative - Maitrise SQL indispensable, solides connaissances en Python et/ou Spark - Expériences sur un environnement Google Cloud Platform / Big Query - Bonne connaissance des données et des outils dans un écosystème digital (de type Piano Analytics, Google Analytics..) - Capacité à synthétiser et à restituer des résultats à des interlocuteurs ayant des niveaux de maturité data différent - Capacité à mener plusieurs sujets en même temps - Curiosité, dynamisme, enthousiasme, esprit d’équipe, rigueur et autonomie