Trouvez votre prochaine offre d’emploi ou de mission freelance Spark Streaming

Tâches : - Développer et réaliser de nouvelles fonctionnalités/usages définis et priorisés (user stories) au sein de l’équipe client, tout en respectant les règles de gestion et les critères d’acceptation associés. Contexte Equipe de 12 personnes composée d'un PO et d'un Scrum Master, a pour objectif de constituer une vision 360 des clients en temps réel afin de servir des usages digitaux communautaires. En plus de contribuer pleinement aux enjeux majeurs de modernisation du système d’information Marketing. L'équipe assure aussi au quotidien le bon fonctionnement de produits à valeur ajoutée L’équipe évolue dans un cadre Scrum basé sur les valeurs et pratiques agiles. Attendu : Contribuer et recueillir les besoins - Définir les architectures des solutions avec le reste de l’équipe - Fabriquer et tester les solutions en mettant l'accent sur l'automatisation des tests - Déployer dans les différents environnements - Garantir le bon fonctionnement en production - Accompagner l’évolution des pratiques de l’équipe dans une logique d’amélioration continue de la qualité du code

Contexte Vous intervenez au sein du Chapitre Data de notre client, basé à Vannes , dans un environnement Big Data Cloudera . Le Chapitre agit en transverse et contribue à la fabrication des cas d’usage Data pour plusieurs Squads métiers. Vous serez amené à : Collaborer avec différentes équipes métiers Travailler avec des interlocuteurs changeants Échanger avec les membres du Chapitre local et national Responsabilités Participer à la définition de l’architecture Data (en lien avec les architectes et la Squad) Concevoir, affiner et développer des solutions de collecte & stockage de données multi-sources Mettre en œuvre des tests unitaires & automatisés Déployer les produits dans différents environnements Superviser la production , gérer les incidents et le support Contribuer à l’amélioration continue des pratiques et de la qualité de code

CONTEXTE Expérience : 1 ans et plus Métiers Fonctions : Etudes & Développement, Développeur Spécialités technologiques : Big Data, Machine Learning, Versioning, Gestion de configuration Pour l'un de nos client, nous sommes à la recherche d'un Dev Python/Spark JUNIOR. Le périmètre concerne la gestion et l’évolution d’une plateforme Big Data & Machine Learning, intégrant des briques transverses et une approche platform-as-code. Celle-ci permet, à partir de spécifications fonctionnelles, d’automatiser et d’accélérer la création de l’empreinte applicative des projets. MISSIONS Dans ce cadre, le Service Engineer intervient pour configurer, livrer et maintenir les environnements cibles des projets en s’appuyant sur les outils mis à disposition par la plateforme. Il exploite les services existants tout en assurant leur bon fonctionnement dans le respect des besoins projets.

Data-Engineer_confirmé Vannes Spark - spark streaming et batch,GIT, Jenkins, Artifactory - 3 jours sur site de Vannes / 2 jours de TT Tâches : - Participer à la définition de l'architecture Data (en lien avec les architectes et la Squad) - Concevoir, Affiner et Développer les solutions de collecte et de stockage des données (provenant de multiples sources) afin de le rendre disponibles pour les usages métiers - Mettre en œuvre les tests unitaires et automatisés - Déployer le produit dans les différents environnements - Garantir le bon fonctionnement du produit en production et assurer le suivi / l'assistance / la gestion des incidents - Accompagner l’évolution des pratiques de l’équipe dans une logique d’amélioration continue de la qualité du code Compétences techniques : Spark - spark streaming et batch (requis), - Kafka (apprécié) - java (apprécié) - shell (apprécié) -Stack Hadoop Cloudera - Base de données : (type Hdfs, Hive, Hbase, Phoenix, MongoDB) - DEVOPS : GIT, Jenkins, Artifactory, XL Release, ELK, Grafana Apprécié : - BDD Teradata, - xDI, - SQL - Data viz : Microstrategy Modalités : - 3 jours sur site de Vannes / 2 jours de TT

Smarteo recherche pour l'un de ses clients, Un Data Engineer (Spark - spark streaming et batch,GIT, Jenkins, Artifactory) sur Vannes Description: Tâches : - Participer à la définition de l'architecture Data (en lien avec les architectes et la Squad) - Concevoir, Affiner et Développer les solutions de collecte et de stockage des données (provenant de multiples sources) afin de le rendre disponibles pour les usages métiers - Mettre en oeuvre les tests unitaires et automatisés - Déployer le produit dans les différents environnements - Garantir le bon fonctionnement du produit en production et assurer le suivi / l'assistance / la gestion des incidents - Accompagner l'évolution des pratiques de l?équipe dans une logique d'amélioration continue de la qualité du code Compétences techniques : Spark - spark streaming et batch (requis), - Kafka (apprécié) - java (apprécié) - shell (apprécié) -Stack Hadoop Cloudera - Base de données : (type Hdfs, Hive, Hbase, Phoenix, MongoDB) - DEVOPS : GIT, Jenkins, Artifactory, XL Release, ELK, Grafana Apprécié : - BDD Teradata, - xDI, - SQL - Data viz : Microstrategy Modalités : - 3 jours sur site de Vannes / 2 jours de TT Si vous êtes disponible et intéressé, merci de me faire parvenir votre TJM ainsi que votre CV à jours en format word.

-Nous recherchons pour notre client grand compte dans le secteur bancaire, un Data Engineer-Hadoop-Scala-Spark pour intervenir sur un projet relatif au risque de marché. -Caractéristiques du poste: Secteur : Finance. Périmètre fonctionnel : Risque de marché. Profil recherché : Data Ing Hadoop / Spark / Scala. Séniorité : 3 - 6 ans. Démarrage : ASAP. La mission est basée à Paris (tour duo) avec un mode hybride de Télé travail à hauteur de deux à trois jours par semaine. Mission de longue durée( 3 ans)

Spark (spark streaming et batch), Kafka, scala, java Valeurs et Pratiques agiles ; cadre Scrum. Stack Hadoop Cloudera Hdfs, Hive, Hbase, Phoenix DEVOPS : GITLAB CI/CD, Jenkins, Artifactory, SonarQube, XL Release, ELK, Grafana … TESTS : XRAY et JUNIT, bonnes pratiques d'automatisation (Craftmanship) Compétences Humaines L'envie constante d'apprendre et de progresser Intelligence collective : Une bonne communication et l'esprit d'équipe La pugnacité nécessaire pour trouver les solutions les plus efficaces et être force de proposition 3 jours sur site/ 2 jours en TT

Compétences techniques : Framework Big Data & Langage : Spark - spark streaming et batch (requis), SQL (requis) Kafka (apprécié) java (apprécié) scala (apprécié) shell (apprécié) Ecosystème Big Data : Stack Hadoop Cloudera (fortement apprécié) Base de données : (type Hdfs, Hive, Hbase, Phoenix, MongoDB) DEVOPS : GIT, Jenkins, Artifactory, XL Release, ELK, Grafana Scrum (cadre agile entreprise) Apprécié : Outil de Data Visualisation : Microstrategy étant un plus (ou connaissance Power Bi, Tableau) Compétences humaines : Requis : Autonomie, Adaptabilité, Bonne communication / Pédagogue / Vulgarisation Data pour des équipes métiers Force de proposition, Sait challenger les besoins et comprend le sens métier des travaux menés 5 à 10 ans d'exp. Paris 12ème 3 jours sur site

Compétences humaines : Autonomie, Adaptabilité, Bonne communication / Pédagogue Force de proposition, Sait challenger les besoins Compétences techniques : Langage : Spark - spark streaming et batch (requis), Kafka (requis) SQL (requis) java (apprécié) shell (apprécié) Stack Hadoop Cloudera Base de données : (type Hdfs, Hive, Hbase, Phoenix, MongoDB) DEVOPS : GIT, Jenkins, Artifactory, XL Release, ELK, Grafana Scrum (cadre agile entreprise) Apprécié : Outil de Data Visualisation : Microstrategy étant un plus (ou connaissance Power Bi, Tableau) Expérimenté (4 à 7 ans) PARIS 12 - ON SITE 3J/SEM

A ce titre, nous cherchons un profil possédant la double compétence Data engineer et développeur backend Les activités attendues sont: - Ecrire les jobs spark de manipulation des collections de données pour des pipelines d'ingestion, de nettoyage, de preparation, d'enrichissement, de croisement des données - Développer des µService d'accès au données (API REST, serveur graphQL) pour mettre à disposition des applications internes ou directement à des clients externe - Développer jusqu'à la mise en production les traitements Big Data - Assurer la maintenance corrective des solutions Big Data développées - Collaborer avec l’ensemble des interlocuteurs concernés, transverses et métier Compétences attendues Java (J2EE / Jdk 21) Scala Spark / Spark Streaming Parquet Trino Delta Lake Kafka Docker – Kubernetes – Helm - Argo Workflow Web Services Rest / graphQL TU (JUnit / Mockito / PowerMock / ScalaMock) Git / Maven Les capacités d'innovation et de proposition seront appréciées. La maitrise de l'anglais est indispensable. La mission est prévue sur le reste de l'année 2025

Site : Vannes, 3 jours sur site par semaine Date de démarrage : asap Nationalité et langues parlées : français Durée mission : jusqu'au 31/12/2025 Mission : intervention pour le compte du Chapitre Data à Vannes Nb années d'expérience : 5 à 7 ans Profil : Data Engineer confirmé Compétences techniques - Langage : Spark - spark streaming et batch (requis), Kafka (apprécié) java (apprécié) shell (apprécié) Stack Hadoop Cloudera Base de données : (type Hdfs, Hive, Hbase, Phoenix, MongoDB) DEVOPS : GIT, Jenkins, Artifactory, XL Release, ELK, Grafana Scrum (cadre agile entreprise) Compétences techniques souhaitées – appréciées BDD Teradata, xDI, SQL Data viz : Microstrategy

Nous recherchons un Ingénieur Big Data Objectif global : Accompagner Plateforme BigData Les livrables sont: Big Data & Traitement Distribués Orchestration de workflow Compétences techniques: Spark - Expert - Impératif Kafka - Confirmé - Impératif Stack HADOOP - Expert - Impératif Description détaillée: - Langages de programmation : Python (maîtrise avancée, développement de pipelines de données, optimisation de code, savoir mettre en place une campagne de tests) - Orchestration de workflow : Apache Airflow (création, gestion et optimisation de DAGs, intégration avec divers services) - Big Data & Traitement Distribués : o Apache Spark (Dév et optimisations) o Spark Streaming avec dépendances Kafka o Cloudera CDP (tuning des traitements) - Stockage et Bases de Données : o Hive, HDFS, (+ Impala et Iceberg dans un futur proche) - Sécurité & Chiffrement : o Chiffrement des flux de données et des bases (TLS, SSL, Kerberos, Hashicorp Vault, PGP) o Ranger KMS (chiffrement du stockage sur le cluster) - DevOps & CI/CD : o Git, GitLab CI/CD, Importance de la qualité de code (Sonar, XRay), Jenkins, XL Deploy o Monitoring (Open Search Dashboard, Grafana, ELK Stack) 3. Méthode de travail - Méthodologies Agile (Scrum, Kanban) 4. Soft Skills - Capacité à prendre des décisions stratégiques sur les choix technologiques - Adaptabilité et réactivité face aux évolutions technologiques - Esprit analytique et résolution de problèmes complexes 5. Expérience Recherchée - Minimum 5 ans d’expérience en Big Data avec un focus sur Spark et Airflow - Expérience en tant que Tech Lead sur des projets complexes - Connaissance approfondie des architectures distribuées

Nous constituons un vivier de freelances spécialisés en data engineering pour anticiper les besoins de nos clients sur des projets Big Data et Cloud. Nous recherchons des Data Engineers expérimentés sur Spark et Scala, capables d’intervenir rapidement sur des missions à Nantes et Rennes, dans des contextes variés (banque/assurance, industrie, retail, services). En tant que Data Engineer Spark / Scala, vos missions pourront inclure : Conception et développement de pipelines de données : ingestion, transformation, nettoyage et enrichissement de données massives. Développement d’applications distribuées avec Apache Spark (Batch et Streaming) en Scala. Industrialisation des traitements Big Data : optimisation des performances, gestion des volumes importants, parallélisation. Mise en place d’architectures data : Data Lake, Data Warehouse, solutions temps réel. Intégration Cloud : déploiement et utilisation des services Big Data sur AWS, Azure ou GCP (EMR, Databricks, Synapse, BigQuery, etc.). Tests, qualité et fiabilité : mise en place de bonnes pratiques de développement (CI/CD, tests unitaires et fonctionnels). Sécurité et conformité : respect des normes RGPD et bonnes pratiques de gouvernance des données. Documentation et partage : rédaction des spécifications techniques, bonnes pratiques et transmission de compétences aux équipes internes. Collaboration transverse : travail étroit avec les Data Scientists, Data Analysts, Product Owners et Architectes pour répondre aux besoins métiers.

Nous constituons un vivier de freelances spécialisés en data engineering pour anticiper les besoins de nos clients sur des projets Big Data et Cloud. Nous recherchons des Data Engineers expérimentés sur Spark et Scala, capables d’intervenir rapidement sur des missions à Nantes et Rennes, dans des contextes variés (banque/assurance, industrie, retail, services). En tant que Data Engineer Spark / Scala, vos missions pourront inclure : Conception et développement de pipelines de données : ingestion, transformation, nettoyage et enrichissement de données massives. Développement d’applications distribuées avec Apache Spark (Batch et Streaming) en Scala. Industrialisation des traitements Big Data : optimisation des performances, gestion des volumes importants, parallélisation. Mise en place d’architectures data : Data Lake, Data Warehouse, solutions temps réel. Intégration Cloud : déploiement et utilisation des services Big Data sur AWS, Azure ou GCP (EMR, Databricks, Synapse, BigQuery, etc.). Tests, qualité et fiabilité : mise en place de bonnes pratiques de développement (CI/CD, tests unitaires et fonctionnels). Sécurité et conformité : respect des normes RGPD et bonnes pratiques de gouvernance des données. Documentation et partage : rédaction des spécifications techniques, bonnes pratiques et transmission de compétences aux équipes internes. Collaboration transverse : travail étroit avec les Data Scientists, Data Analysts, Product Owners et Architectes pour répondre aux besoins métiers.