Trouvez votre prochaine offre d’emploi ou de mission freelance Spark Streaming à Nantes

Tâches : - Développer et réaliser de nouvelles fonctionnalités/usages définis et priorisés (user stories) au sein de l’équipe client, tout en respectant les règles de gestion et les critères d’acceptation associés. Contexte Equipe de 12 personnes composée d'un PO et d'un Scrum Master, a pour objectif de constituer une vision 360 des clients en temps réel afin de servir des usages digitaux communautaires. En plus de contribuer pleinement aux enjeux majeurs de modernisation du système d’information Marketing. L'équipe assure aussi au quotidien le bon fonctionnement de produits à valeur ajoutée L’équipe évolue dans un cadre Scrum basé sur les valeurs et pratiques agiles. Attendu : Contribuer et recueillir les besoins - Définir les architectures des solutions avec le reste de l’équipe - Fabriquer et tester les solutions en mettant l'accent sur l'automatisation des tests - Déployer dans les différents environnements - Garantir le bon fonctionnement en production - Accompagner l’évolution des pratiques de l’équipe dans une logique d’amélioration continue de la qualité du code

Spark (spark streaming et batch), Kafka, scala, java Valeurs et Pratiques agiles ; cadre Scrum. Stack Hadoop Cloudera Hdfs, Hive, Hbase, Phoenix DEVOPS : GITLAB CI/CD, Jenkins, Artifactory, SonarQube, XL Release, ELK, Grafana … TESTS : XRAY et JUNIT, bonnes pratiques d'automatisation (Craftmanship) Compétences Humaines L'envie constante d'apprendre et de progresser Intelligence collective : Une bonne communication et l'esprit d'équipe La pugnacité nécessaire pour trouver les solutions les plus efficaces et être force de proposition 3 jours sur site/ 2 jours en TT

Nous constituons un vivier de freelances spécialisés en data engineering pour anticiper les besoins de nos clients sur des projets Big Data et Cloud. Nous recherchons des Data Engineers expérimentés sur Spark et Scala, capables d’intervenir rapidement sur des missions à Nantes et Rennes, dans des contextes variés (banque/assurance, industrie, retail, services). En tant que Data Engineer Spark / Scala, vos missions pourront inclure : Conception et développement de pipelines de données : ingestion, transformation, nettoyage et enrichissement de données massives. Développement d’applications distribuées avec Apache Spark (Batch et Streaming) en Scala. Industrialisation des traitements Big Data : optimisation des performances, gestion des volumes importants, parallélisation. Mise en place d’architectures data : Data Lake, Data Warehouse, solutions temps réel. Intégration Cloud : déploiement et utilisation des services Big Data sur AWS, Azure ou GCP (EMR, Databricks, Synapse, BigQuery, etc.). Tests, qualité et fiabilité : mise en place de bonnes pratiques de développement (CI/CD, tests unitaires et fonctionnels). Sécurité et conformité : respect des normes RGPD et bonnes pratiques de gouvernance des données. Documentation et partage : rédaction des spécifications techniques, bonnes pratiques et transmission de compétences aux équipes internes. Collaboration transverse : travail étroit avec les Data Scientists, Data Analysts, Product Owners et Architectes pour répondre aux besoins métiers.