Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark

Développeur Fullstack Java / Angular XP en Java mini 17 et Angular mini 16 Cloud + Kubernetes Sophia Antipolis mandatory : 70% de Back, 30% de front +5 ans exp. Cloud + Kubernetes Sophia Antipolis Développeur Fullstack Java / Angular XP en Java mini 17 et Angular mini 16 Sophia Antipolis Technos : Technos : mandatory : 70% de Back, 30% de front JAVA J2EE 8+, Angular 8+, Spring, spring Boot, API Rest, MongoDB Hibernate, SOA, Ionic, Scripting (perl, shell, python), Git/Github, Spark, Hadoop, Junit, Javascript, Bamboo, Cucumber, Jira Développeur Fullstack Java / Angular XP en Java mini 17 et Angular mini 16 Cloud + Kubernetes Sophia Antipolis Technos : mandatory : 70% de Back, 30% de front JAVA J2EE 8+, Angular 8+, Spring, spring Boot, API Rest, MongoDB Hibernate, SOA, Ionic, Scripting (perl, shell, python), Git/Github, Spark, Hadoop, Junit, Javascript, Bamboo, Cucumber, Jira Missions Participer aux rituels développés en Scrum, Participer à la programmation et aux tests unitaires, Participer à la recette des développements (tests d'intégration, recettes internes, recettes clients), Corriger les anomalies détectées et veiller à l'optimisation du logiciel produit, Rédiger la documentation, Documenter et enregistrer les éléments concernant les configurations dans l'outil prévu à cet effet, Participer au suivi hebdomadaire de l'avancement des travaux. Etre partie prenante de l'architecture technique XP en Java mini 17 et Angular mini 16 XP sur migration technique appréciée, ainsi que Cloud + Kubernetes

Cherchons un profil confirmé (minimum 5 ans d'expérience) pour intégrer l'équipe BI et Data de notre client en tant qu'Ingénieur(e) DEVOPS afin de participer au déploiement des projets data COMPETENCES REQUISES - pré-requises - BigData Az DataLake, Az EventHub, Databricks, A - Confirmé - Impératif - Infrastructure as a code (ARM, YAML) - Intégration/déploiement continu (Git, Az DevOps) La plate-forme utilisée aujourd'hui est le Cloud Microsoft Azure. Vous êtes polyvalent et savez communiquer avec les différentes équipes. Afin d'assurer un niveau de sécurité conformes aux exigences du groupement sur les applications du Datalab, vous savez organiser des ateliers, suivre et rendre compte de l'avancement des sujets de sécurisation liés aux résultats d'audit, et apporter des solutions ou des pistes de réflexion en accords avec votre expertise de sécurité de la plateforme cloud Azure, notamment sur la mise en place d'applications Web et d'API. Vous ferez partie d’une équipe d’une dizaine de collaborateurs et travaillerez dans un environnement Agile. Vos missions -Construire des infrastructures Cloud Public (principalement sur Azure) -Industrialiser les architectures cibles et configurer les équipements (CI / CD) -Mettre en place des procédures et outils de surveillance permettant de garantir la haute disponibilité des infrastructures. -Participer aux phases de validation technique lors des mises en production ou des évolutions. -Collaborer avec les équipes de développement, sécurité et projets dans la réalisation de la transformation Vous devez disposer des connaissances sur les outils et méthodologies suivants : -Cloud Azure -Infrastructure as a code (ARM, YAML) -Intégration et déploiement continu (Git, Azure DevOps) -Services Big Data : Azure DataLake, Azure EventHub, Azure Databricks, Azure Data Factory, Power BI -Services Web : Azure FunctionApp, Azure WebApp -Micro-services/containers (AKS) -Base de données : SQL DB, CosmosDB La connaissance de ces langages de programmation serait un plus : Spark et Scala.

Missions principales : - Conception et développement : Concevoir, développer et maintenir des pipelines ETL/ELT en utilisant PySpark sur Databricks pour traiter de grandes quantités de données. - Leadership technique : Encadrer une équipe de Data Engineers, assurer la qualité du code, la conformité aux bonnes pratiques et participer aux revues de code. - Architecture et innovation : Participer à l’architecture des solutions Big Data sur Azure, proposer des optimisations et innovations techniques. - Gestion de projet : Collaborer avec les Product Owners et autres parties prenantes pour définir les besoins, estimer les efforts et respecter les délais. - Sécurité et conformité : Garantir la sécurité, la confidentialité et la conformité des données en respectant les standards et réglementations (ex : GDPR). - Veille technologique : Se tenir informé des évolutions des technologies Big Data, Azure, Python, Spark.

Contexte Dans le cadre de la mise en place et de l’évolution d’une plateforme DATA centralisée, nous renforcons son équipe avec un Data Ingénieur confirmé. Cette plateforme permet l’intégration, la mise en qualité et la mise à disposition de données brutes ou retravaillées issues de différents producteurs, afin de répondre à des besoins métiers opérationnels et analytiques à grande échelle. Rôle et responsabilités Développement et ingestion de données Concevoir, développer et optimiser des jobs d’ingestion et de transformation de données en Python et Spark sur Databricks , avec gestion de gros volumes. Mettre en place et maintenir des flux de données entre sources externes (ex. bases Oracle) et Delta Lake sur AWS S3 . Orchestration et supervision Créer et orchestrer des workflows avec AWS Airflow et automatiser les traitements. Mettre en place des mécanismes de contrôle qualité et de validation des données pour garantir cohérence et fiabilité. Développer des jobs de monitoring pour détecter et corriger automatiquement les anomalies. Maintien en condition opérationnelle Assurer la disponibilité et la performance des jobs en production. Analyser et corriger les incidents et anomalies détectées. Contribution stratégique Participer aux ateliers de conception technique et fonctionnelle. Promouvoir les bonnes pratiques de développement et d’optimisation Big Data. Documenter les processus, architectures et scripts. Compétences techniques requises MUST : Python Spark Databricks SQL SHOULD : AWS (S3, Glue, Airflow, CloudWatch, Lambda, IAM) COULD : Big Data (gestion et traitement de très gros volumes de données) WOULD : Git Méthodologies et outils : CI/CD avec GitLab JIRA / Confluence Méthodologie agile Scrum

Dans le cadre d’une transformation majeure côté data , le département Data de notre client recherche un Product Owner Data pour piloter la roadmap produit du CRM Lakehouse . Le poste implique la coordination entre les équipes techniques et métiers afin d’assurer la convergence des données CRM vers un modèle harmonisé . Le contexte technique est exigeant et repose sur une stack moderne full AWS (multi-tenant) , associée à des pratiques d’infrastructure as code, d’industrialisation et de gouvernance data avancée. Environnement technique : AWS (multi-tenant), Terraform, GitLab CI/CD, Serverless, FastAPI, batch Python, Snowflake, Spark, Lambda, Kinesis, MSR Gouvernance : Data Steward, DataOps, DataFlops Collaboration internationale et en anglais courant impératif Projet long terme, démarrage immédiat ou début septembre Missions Définir la vision produit et les objectifs alignés sur la stratégie data globale du groupe. Prioriser et gérer le backlog , assurer le suivi et la bonne exécution des sprints. Contrôler la qualité et la cohérence des données CRM intégrées dans le Lakehouse. Animer des ateliers avec les filiales et recueillir les besoins métiers. Coordonner la communication entre équipes techniques, data et métiers pour fluidifier la mise en œuvre des évolutions produit.

Dans un environnement multi-CRM , l’entreprise souhaite construire un Core Model CRM unifié pour centraliser, harmoniser et valoriser les données clients. Ce modèle sera le socle des usages analytiques, opérationnels et stratégiques. L’un des principaux objectifs du plan de transformation data est de développer des applications qui enrichissent l’expérience client et rendent les équipes métiers autonomes dans l’analyse des données et KPI. Pour atteindre ces objectifs, l’entreprise a déployé un écosystème technologique avancé : Outils et plateformes : AWS, Dataiku, GitLab, Terraform, Snowflake, Braze, IA, Spark, Python, Power BI Architectures : Data Lake, Event-driven, Streaming (ingestion de +100 To/jour) Exemples de projets : chatbot IA, moteur de recommandation, feature store, socle vidéo, plateforme de contenu, partage de données avec partenaires, data self-service Missions 1. Conception du Core Model CRM Analyser les modèles de données existants dans les différents CRM. Identifier les objets métiers communs, divergences et points de convergence. Concevoir un modèle de données central (conceptuel, logique, physique) aligné avec les besoins métiers et techniques. Définir les règles de mapping et de transformation entre les CRM sources et le Core Model. 2. Architecture et intégration Collaborer avec les équipes Data Engineering pour l’implémentation des pipelines d’intégration. Garantir la scalabilité, la performance et la sécurité du modèle. 3. Gouvernance et documentation Documenter le Core Model et ses usages. Participer à la mise en place de la gouvernance des données clients (référentiels, qualité, traçabilité). Assurer la cohérence et l’évolution du modèle dans le temps. 4. Collaboration transverse Travailler avec les équipes CRM, Data, IT et métiers. Animer des ateliers de co-construction avec les entités internes. Former et accompagner les utilisateurs du Core Model.