Trouvez votre prochaine mission ou futur job IT.

Bonjour, Pour le compte de notre client, nous recherchons un data engineer spark / scala. Mission : Livrables n 1 : Sprint n 1 + Lot 1 : développement des US et tests associés ; + Lot 2 : Documentation projet, mapping des données, modélisation des pipelines, documents d’exploitation ; + Lot 3 : Mise en place du CI/CD sur notre usine logicielle ; + Lot 4 : Mise en place du monitoring ; LE PROFIL RECHERCHE Compétences métiers & outils : Les compétences technologiques attendues sont : + Indispensables : maîtrise de l’API Scala Spark (batch principalement), maîtrise des techniques d’optimisation Spark, expérience dans le traitement de volumétries importantes / complexes, développement et bonnes pratiques Scala, build Maven, travail en environnement cloud (idéalement Azure) + Appréciées : écosystème Databricks, développement d’API HTTP, expérience sur la stack ELK Compétences transverses + Aisance relationnelle + Esprit d’équipe et d’adaptabilité + Esprit de synthèse + Rigueur et esprit d’analyse + Autonomie + Force de proposition + Vous avez le sens des priorités et la capacité à gérer les délais + Vous aimez le travail en mode multi-projets + Appétence client, besoin métier et compréhension du fonctionnel + Mentoring et partage de connaissances

Nous recherchons un data engineer avec une expérience sur la construction de pipeline Spark scala dans kafka stream et dans un environnement BigData. Le profile st de base ouvert en nearshore a destination des profils marocain. Missions : Participer à la réalisation de l’ensemble des projets métiers (usages) Prendre en charge les demandes de corrections provenant d’incidents ou d’anomalies Participer à l’auto-formation et à la montée en compétences de l’équipe de développement Appliquer les bonnes pratiques et les normes de développement Mettre en pratique les méthodes devops Contribuer aux chiffrages des usages et à la constitution des releases Contribuer à l’automatisation du delivery Développer et documenter son code Livrables Travailler au sein d’une équipe SCRUM (PO, développeurs, QA, Support) Maitrise : BITBUCKET, CLOUD GCP, ELASTICSEARCH, JENKINS, KAFKA, SPARK Scala ou Java, Kubernetes, Docker, Ansible, GCS, BigQuery, GKE, Cloud Pub/Sub, Dataproc, BigTable. CI/CD (Git, Jenkins, Nexus, Docker Registry, ) Avro.

Analyse des Exigences : Collaborer avec les équipes métier pour comprendre les besoins en matière d'analyse de données et de traitement. Conception de Solutions : Concevoir des architectures de données et des solutions de traitement distribué en utilisant Apache Spark. Proposer des modèles de données adaptés aux cas d'utilisation spécifiques. Développement de Pipelines de Données : Développer des pipelines de données robustes et évolutifs en utilisant Apache Spark pour l'ingestion, le nettoyage, la transformation et la préparation des données. Utiliser Spark Streaming pour le traitement en temps réel des flux de données. Optimisation des Performances : Optimiser les performances des jobs Spark en ajustant les configurations, en utilisant des techniques de partitionnement et de cache, et en améliorant l'efficacité des transformations. Gestion des Versions : Utiliser des outils de contrôle de version pour gérer le code source et les artefacts des pipelines Spark. Tests et Validation : Élaborer des stratégies de test pour les pipelines Spark et mettre en œuvre des tests unitaires, d'intégration et de régression. Valider la qualité des données à différentes étapes du pipeline. Déploiement et Monitoring : Déployer les pipelines Spark sur des clusters de production et surveiller les performances en temps réel. Mettre en place des alertes pour détecter les problèmes de performance ou de disponibilité. Sécurité : Implémenter des mesures de sécurité pour protéger les données sensibles tout au long du pipeline. Utiliser des technologies telles que Kerberos, Ranger, ou des outils de chiffrement pour assurer la sécurité des données. Documentation : Documenter les pipelines de données, les flux de travail, les configurations et les bonnes pratiques. Créer des guides d'utilisation pour les autres membres de l'équipe et les utilisateurs finaux.

Notre client dans le secteur Banque et finance recherche un Data Engineer - Spark/Scala et HIVE - PARIS OU LILLE - H/F Descriptif de la mission: Notre client grand compte recherche un tech lead big data. Le centre de solution PAIEMENTS est en charge des applications monétiques ( porteur et commerçants) et paiements ( virement, chèques... ) Pour répondre à de nouveaux besoins métiers sur l'exploitation de la DATA des paiements, nous faisons évoluer notre équipe BIG DATA. Le bénéficiaire souhaite mettre en oeuvre plusieurs évolutions de son socle technique. Le Bénéficiaire souhaite bénéficier de l'expertise du Prestataire en termes de Data Engineering. Dans ce cadre la prestation consiste à contribuer à/au(x) : - Développement Spark/Scala et HIVE - Une bonne expertise des environnements hadoop Environnement Anglophone 2 - Livrables attendus Les livrables attendus sont : - Revue de code et re-factoring - Projet agile (Scrum) - Traitement d'un gros volume de données - L'application des normes de développements

La prestation consiste à contribuer à/au(x) : - Support de l'application (notamment lors des clôtures mensuelles) - La maintenance évolutive - La conception et l'implémentation de nouvelles fonctionnalités - La refonte technique - La migration de Talend vers Spark/scala Environnement anglophone Les livrables attendus sont : - Optimisation des performances - Le support de l'application et la documentation - La livraison des évolutions - La livraison des nouvelles fonctions demandées dans le cadre des projets

L'entité IT est composée de 3 Feature Team, 2 en charge du backend / processing de données, la dernière en charge de toutes les interfaces (UI) et couches de traitement API. Dans le cadre de la modernisation de son backend, le socle du processing de données est ré-écrit sur une technologie BigData sur Cloud Interne, ce qui permet d'élargir l'offre de services proposée aux utilisateurs. Le Bénéficiaire souhaite mettre en œuvre la refonte de son Back-end autour des technologies BigData en intégrant les principes Digitaux (Architectures SOA, Web developpement In House, Frameworks internes).Le Bénéficiaire souhaite mettre en œuvre les évolutions de son socle technique. Dans ce cadre, le Bénéficiaire souhaite bénéficier de l'expertise du Prestataire en termes de Data Engineering. Dans ce cadre la prestation consiste à contribuer à/au(x) : · Développement, Clean code, · L'intégration continue, · La définition des solutions dans l'environnement applicatif (Cloud Platform / Spark Data processing) · Mise en place et suivi des développements en production du socle de fonctionnalités Processing / preparation de données · L'assistance à la conception technique du produit · Diverses assistances techniques (sujets techniques complexes sur le produit, etc...) · La revue de code · L'intégration cohérente du produit dans le système d'information en synchronisation avec l'architecture technique · L'analyse de l'impact de la conception du produit sur l'architecture technique du SI · L'architure technique aux choix d'implémentation dans le SI · La maintenabilité technique du produit · La stratégie de développement et de tests selon critères pré-définis Autres : · Support applicatif via le monitoring et résolution associée · DevOps pour les parties IAAS et CD. · Environnement anglophone

Le bénéficiaire souhaite mettre en oeuvre plusieurs évolutions de son socle technique. A ce titre, le Bénéficiaire souhaite bénéficier de l'expertise du Prestataire en termes de data Engineering Dans ce cadre la prestation consiste à contribuer à/au(x) :  Recueil et à l'analyse des besoins métier et des processus de bout en bout  La redaction des spécifications techniques.  L'assistance et contribution aux instances projet.  La sécurisation des jalons stratégiques  Suivi et au dépannage de la production pour son maintien en conditions opérationelles Envrionnement technique : Juptyper Lab, ML Flow Environnement Agile Livrables attendus Les livrables attendus sont : - Dévéloppements : Python, système RAG, implémentation des Guardrails, prompt ingénierie) - Contribution aux chantiers transverses : Architecture, Sécurité - Documentation technique de la solution - Contribution à la préparation des instances projets Expertise(s) / technologie(s) Les expertises attendues pour réaliser cette prestation sont listées ci-après :  Compétences en développement (Shell unix, Perl, PHP, Python, git, github)  Continuous Integration  Hadoop (Big Data), Spark  Python

- Développement Spark/Scala et HIVE - Une bonne expertise des environnements hadoop- Environnement Anglophone 2 - Livrables attendus Les livrables attendus sont :- Revue de code et re-factoring - Projet agile (Scrum) - Traitement d'un gros volume de données - L'application des normes de développements 3 - Expertise(s) / technologie(s) Les expertises attendues pour réaliser cette prestation sont listées ci-après :  Agile Scrum  Hive  PostGreSQL  Python  Scala Dans le cadre de cette prestation, le pourcentage d'exécution prévu hors site est de 60%

Les applications, gérées par l’équipe du Delivery Center Gas, sont structurées de la manière suivante : • Application client/serveur pour la gestion des tous les contrats gaz et opérationnellement du mois M/M+1 et le plus finement de J/J+1 • Bus de communication assuré par FEDEX • Service web pour la récupération de données connexes • Solution Big DATA sur AWS + Dataiku et power BI pour l’exploitation des données par les métiers Stack technique du projet : Développement Spark/ Scala Confirmé Oui Lambda Junior Oui Glue AWS /Crawler Junior Oui S3 Junior Oui Sql (athena,mssql…) Confirmé Oui NoSql (DynamoDB ) Junior Oui Kinesis Confirmé Oui API REST (OpenAPI) Confirmé Oui IAM Junior Oui Développement Python Junior Non Par conséquent, nous recherchons 1 profil Développeur « Junior/Confirmé » (ayant entre 4 et 8 ans d’expérience).

Développeur SPARK/SCALA (H/F) A PROPOS : Notre client est la filiale d’une banque, née d’un rapprochement d’activités de développement et de supervision des systèmes d’information monétique de deux entités. Fort de ce rapprochement réussi, l’entreprise a élargi son périmètre d’activité et assure désormais le traitement de l’ensemble des virements et prélèvements européens et internationaux des deux entités. Leur domaine d’années se concentre également sur le domaine des paiements. DESCRIPTION DU POSTE : Contexte Vous serez rattaché à la Direction de la Fabrication, au sein du département « Fraude/Litiges/Data ». L’objectif serait de renforcer l’équipe projet Datalake pour contribuer à la conversion de tableaux de bords écrits en SAS, vers du langage SPARK/SCALA. Environnement : • Système : Solution Big Data (solution LUCID) basée sur Cloudera • Langage : SAS, SQL, SPARK/SCALA VOS MISSIONS : Conversion de tableaux de bords (reportings statistiques, tableaux, listes, agrégats) écrits en SAS, pour les traduire en SPARK/SCALA : · Interprétation du code source en SAS : prise en compte des étapes du programme, identification des sources de données, des transformations et restitution mises en place · Réécriture en SPARK/SCALA · Tests de non régression par comparaison des résultats Si possible, proposition de démarche à appliquer pour optimiser et industrialiser la démarche de conversion PARTICULARITE : Le candidat retenu sera intégré à l’équipe projet, et disposera de l’encadrement nécessaire pour connaître le contexte, la nature des données manipulées et des traitements effectués. Mais une grande autonomie est exigée pour la rédaction du code SCALA à partir du code SAS, afin de rendre la mission compatible avec les fortes exigences de délai du projet. RÉSULTATS ATTENDUS : Livrables attendus : · Code SPARK/SCALA basé sur la conversion SAS · Documentation associée · Résultats des tests Indicateurs de qualité : · Respects des jalons · Pertinence des propositions · Production des livrables dans les délais convenus

Data engineer Scala/Java Montpellier + 1j/3sem à Massy ASAP Compétences § Expérience en architecture de systèmes distribués Big Data § Scala/Java (expérience obligatoire dans l’un des deux langages) § Ecosystème Big Data (Hadoop, Spark, Apache Kafka, Avro, Nifi ...) § Maîtrise de la CI/CD et des outils de déploiement et orchestration (Jenkins, GitLab, Kubernetes,Docker, Ansible …) § Concepts fondamentaux de Kafka § Bases de données NoSQL (Cassandra, BigTable…) § Moteur de recherche (Elastic Search...) Data engineer Scala/Java Montpellier + 1j/3sem à Massy ASAP Compétences

Contexte du poste Nous sommes un acteur incontournable dans le secteur du E-Tourisme basé à Aix-en-Provence : leader européen sur notre secteur d’activité. Dans le cadre d'une création de poste nous recherchons un Développeur Java Scala afin de rejoindre leur équipe IT composée d'une quarantaine de personnes. Missions Principales : Concevoir, maintenir et développer les sites et applications. Ecrire du code propre, lisible et bien documenté. Collaborer au quotidien avec les autres équipes IT afin de résoudre les problèmes techniques et développer de nouvelles fonctionnalités Tester et débugger les applications afin d'en garantir leur bon fonctionnement. Optimiser les performances des sites et applications Rédiger la documentation technique, effectuer de la veille technologiques. Stack technique Java Scala Python Avantages Fixe à partir de 42k brut annuel. Variable de 10% du salaire annuel brut. Prime de participation (2 mois de salaire). Autres avantages : accès gratuit à des salles de sport, yoga, foot, padel, réduction sur les voyages (-20%), mutuelle, transport, formation individuelle et collective. Type de contrat : CDI - non cadre -35H. Possibilité de faire 2 jours de télétravail/semaine.

Smarteo recherche pour l'un de ses clients, Un Concepteur Développeur-JAVA / Maven / API (Json, REST, Swagger, Spring Core / Spring Boot) sur Nantes 2 jours de télétravail Contexte : L'équipe est actuellement composée de 8 équipiers. Nous travaillons en mode Agile (Cérémonies, ?). Nous recherchons un développeur senior pour venir renforcer notre équipe, avec un minimum de 7 ans d'expérience dans le développement Java et autonome avec les outils CICD usuels. Il s'agit d'intégrer l'équipe X-Connect afin d'y développer une solution d'identity provider générique et instanciable, comprenant notamment : * La validation de facteur d'authentification (identifiant / mot de passe, OTP SMS, notifications...) des prospects, clients et collaborateurs ; * Le respect du standard Oauth2 / OIDC ; * La restitution d'informations d'identité de l'utilisateur ; * Le maintien à l'état de l'art du produit (Maintien en Condition Opérationnelle / Maintien en Condition de Sécurité). Tâches : En lien avec le lead dev du produit, mettre en place la solution technique ainsi que rédiger des récits d'évolutions et, si besoin, de dette technique Relire le code des évolutions réalisées par d'autres développeurs du produit et faire les retours adaptés. Rédiger et maintenir la documentation produit ainsi que les collections de tests (non régression, sondes, etc.). Surveiller et maintenir la qualité du produit dans un contexte de quality gate (tests unitaires, couverture de code, etc.). Déployer les composants sur les différents environnements hors production. Participer aux diagnostics en cas d'incidents. Rédiger et maintenir la documentation technique Participer aux cérémonies Agile de l'équipe et réaliser les démonstrations de ses réalisations. Environnement Technique: API (Json, REST, Swagger, Spring Boot?) / backend web (session...) Java 17 & 21 / Maven / K8S Communication Compétences appréciées Postman, SQL et NoSql Esprit d'équipe, Partage, Curieux, Force de proposition Si vous êtes disponible et intéressé, merci de me faire parvenir votre TJM ainsi que votre CV à jour au format Word.

Smarteo recherche pour l'un de ses clients, Un Ingénieur Data Spark / Scala junior sur Strasbourg + TT L'enjeu est d'accompagner la migration de données SAS vers Scala/Spark (mise en place d'un Datalake sur la suite Cloudera). Développement de requêtes. Si vous êtes intéressé, merci de me faire parvenir votre TJM ainsi que votre CV à jour au format Word Smarteo recherche pour l'un de ses clients, Un Ingénieur Data Spark / Scala junior sur Strasbourg + TT L'enjeu est d'accompagner la migration de données SAS vers Scala/Spark (mise en place d'un Datalake sur la suite Cloudera). Développement de requêtes. Si vous êtes intéressé, merci de me faire parvenir votre TJM ainsi que votre CV à jour au format Word

Activité de développement: - Développement des chaînes de collecte, injection, analyse/traitement des données (Lambda, EMR, RDS, S3, Scala & Spark) - Développement des services et méthodes d’exposition des données (API Rest : EC2, API Gateway, ALB) - Revue de code croisée - Implémentation de tests unitaires - Livrables : Code source documenté et application déployée, tests unitaires Activité MCO: - L’analyse et la correction de bugs - Assistance aux utilisateurs - Mise à jour de la documentation et du code en gestion de configuration. - Livrables : Code source corrigé et/ou Ticket JIRA à jour Activité DevOps : - Utilisation de la chaine devOps pour le déploiement et les tests automatisés (Gitlab, Sonar) - Être force de proposition sur les améliorations possibles - Livrables : Résultat de tests et application déployée