Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark à Nantes

Nous constituons un vivier de freelances spécialisés en data engineering pour anticiper les besoins de nos clients sur des projets Big Data et Cloud. Nous recherchons des Data Engineers expérimentés sur Spark et Scala, capables d’intervenir rapidement sur des missions à Nantes et Rennes, dans des contextes variés (banque/assurance, industrie, retail, services). En tant que Data Engineer Spark / Scala, vos missions pourront inclure : Conception et développement de pipelines de données : ingestion, transformation, nettoyage et enrichissement de données massives. Développement d’applications distribuées avec Apache Spark (Batch et Streaming) en Scala. Industrialisation des traitements Big Data : optimisation des performances, gestion des volumes importants, parallélisation. Mise en place d’architectures data : Data Lake, Data Warehouse, solutions temps réel. Intégration Cloud : déploiement et utilisation des services Big Data sur AWS, Azure ou GCP (EMR, Databricks, Synapse, BigQuery, etc.). Tests, qualité et fiabilité : mise en place de bonnes pratiques de développement (CI/CD, tests unitaires et fonctionnels). Sécurité et conformité : respect des normes RGPD et bonnes pratiques de gouvernance des données. Documentation et partage : rédaction des spécifications techniques, bonnes pratiques et transmission de compétences aux équipes internes. Collaboration transverse : travail étroit avec les Data Scientists, Data Analysts, Product Owners et Architectes pour répondre aux besoins métiers.

Notre client dans le secteur Biens et services de consommation recherche un/une Data Engineer H/F Description de la mission: Nous recherchons un(e) freelance pour intégrer l’équipe DATA/IA afin d'effectuer des travaux de dataprep dans le cadre d'un projet e-facturation. À ce titre vous serez amené à: - Réaliser les développements en langage SCALA, - Réaliser les travaux jusqu’en environnement de production - Participer au support N3 de la production - Aider les équipes en place à monter en compétence, - Etre force de proposition, - Documenter les réalisations Compétences / Qualités indispensables : Scala, Python, Spark, Gitlab Compétences / Qualités qui seraient un + : Airflow, Kafka, Hive, HDFS, Azure Databricks

Tâches : - Développer et réaliser de nouvelles fonctionnalités/usages définis et priorisés (user stories) au sein de l’équipe client, tout en respectant les règles de gestion et les critères d’acceptation associés. Contexte Equipe de 12 personnes composée d'un PO et d'un Scrum Master, a pour objectif de constituer une vision 360 des clients en temps réel afin de servir des usages digitaux communautaires. En plus de contribuer pleinement aux enjeux majeurs de modernisation du système d’information Marketing. L'équipe assure aussi au quotidien le bon fonctionnement de produits à valeur ajoutée L’équipe évolue dans un cadre Scrum basé sur les valeurs et pratiques agiles. Attendu : Contribuer et recueillir les besoins - Définir les architectures des solutions avec le reste de l’équipe - Fabriquer et tester les solutions en mettant l'accent sur l'automatisation des tests - Déployer dans les différents environnements - Garantir le bon fonctionnement en production - Accompagner l’évolution des pratiques de l’équipe dans une logique d’amélioration continue de la qualité du code