Trouvez votre prochaine offre d’emploi ou de mission freelance Spark Streaming à Paris

CONTEXTE Expérience : 1 ans et plus Métiers Fonctions : Etudes & Développement, Développeur Spécialités technologiques : Big Data, Machine Learning, Versioning, Gestion de configuration Pour l'un de nos client, nous sommes à la recherche d'un Dev Python/Spark JUNIOR. Le périmètre concerne la gestion et l’évolution d’une plateforme Big Data & Machine Learning, intégrant des briques transverses et une approche platform-as-code. Celle-ci permet, à partir de spécifications fonctionnelles, d’automatiser et d’accélérer la création de l’empreinte applicative des projets. MISSIONS Dans ce cadre, le Service Engineer intervient pour configurer, livrer et maintenir les environnements cibles des projets en s’appuyant sur les outils mis à disposition par la plateforme. Il exploite les services existants tout en assurant leur bon fonctionnement dans le respect des besoins projets.

-Nous recherchons pour notre client grand compte dans le secteur bancaire, un Data Engineer-Hadoop-Scala-Spark pour intervenir sur un projet relatif au risque de marché. -Caractéristiques du poste: Secteur : Finance. Périmètre fonctionnel : Risque de marché. Profil recherché : Data Ing Hadoop / Spark / Scala. Séniorité : 3 - 6 ans. Démarrage : ASAP. La mission est basée à Paris (tour duo) avec un mode hybride de Télé travail à hauteur de deux à trois jours par semaine. Mission de longue durée( 3 ans)

Compétences techniques : Framework Big Data & Langage : Spark - spark streaming et batch (requis), SQL (requis) Kafka (apprécié) java (apprécié) scala (apprécié) shell (apprécié) Ecosystème Big Data : Stack Hadoop Cloudera (fortement apprécié) Base de données : (type Hdfs, Hive, Hbase, Phoenix, MongoDB) DEVOPS : GIT, Jenkins, Artifactory, XL Release, ELK, Grafana Scrum (cadre agile entreprise) Apprécié : Outil de Data Visualisation : Microstrategy étant un plus (ou connaissance Power Bi, Tableau) Compétences humaines : Requis : Autonomie, Adaptabilité, Bonne communication / Pédagogue / Vulgarisation Data pour des équipes métiers Force de proposition, Sait challenger les besoins et comprend le sens métier des travaux menés 5 à 10 ans d'exp. Paris 12ème 3 jours sur site

Compétences humaines : Autonomie, Adaptabilité, Bonne communication / Pédagogue Force de proposition, Sait challenger les besoins Compétences techniques : Langage : Spark - spark streaming et batch (requis), Kafka (requis) SQL (requis) java (apprécié) shell (apprécié) Stack Hadoop Cloudera Base de données : (type Hdfs, Hive, Hbase, Phoenix, MongoDB) DEVOPS : GIT, Jenkins, Artifactory, XL Release, ELK, Grafana Scrum (cadre agile entreprise) Apprécié : Outil de Data Visualisation : Microstrategy étant un plus (ou connaissance Power Bi, Tableau) Expérimenté (4 à 7 ans) PARIS 12 - ON SITE 3J/SEM

Nous recherchons un Ingénieur Big Data Objectif global : Accompagner Plateforme BigData Les livrables sont: Big Data & Traitement Distribués Orchestration de workflow Compétences techniques: Spark - Expert - Impératif Kafka - Confirmé - Impératif Stack HADOOP - Expert - Impératif Description détaillée: - Langages de programmation : Python (maîtrise avancée, développement de pipelines de données, optimisation de code, savoir mettre en place une campagne de tests) - Orchestration de workflow : Apache Airflow (création, gestion et optimisation de DAGs, intégration avec divers services) - Big Data & Traitement Distribués : o Apache Spark (Dév et optimisations) o Spark Streaming avec dépendances Kafka o Cloudera CDP (tuning des traitements) - Stockage et Bases de Données : o Hive, HDFS, (+ Impala et Iceberg dans un futur proche) - Sécurité & Chiffrement : o Chiffrement des flux de données et des bases (TLS, SSL, Kerberos, Hashicorp Vault, PGP) o Ranger KMS (chiffrement du stockage sur le cluster) - DevOps & CI/CD : o Git, GitLab CI/CD, Importance de la qualité de code (Sonar, XRay), Jenkins, XL Deploy o Monitoring (Open Search Dashboard, Grafana, ELK Stack) 3. Méthode de travail - Méthodologies Agile (Scrum, Kanban) 4. Soft Skills - Capacité à prendre des décisions stratégiques sur les choix technologiques - Adaptabilité et réactivité face aux évolutions technologiques - Esprit analytique et résolution de problèmes complexes 5. Expérience Recherchée - Minimum 5 ans d’expérience en Big Data avec un focus sur Spark et Airflow - Expérience en tant que Tech Lead sur des projets complexes - Connaissance approfondie des architectures distribuées