Trouvez votre prochaine mission ou futur job IT.

Dans le cadre de la mise en place du projet Data Finance nous recherchons un data engineer confirmé. - Contexte : le projet Data Finance à pour objectif de mettre a disposition des données consolidé de différente source (base de données relationnelle, SAP , base de données Iaas) dans un modèle de donnée modélisé en Etoile a des fins d'analyse financier. - Environnement technique : Azure DataFactory, Databricks, Pyspark, SQL , Azure devops, Blob Storage. - Mission du candidat : Développer des pipeline d'ingestion des données dans le datalake avec datafctory Développer des flux de transformation de données via Python/spark/ Pyspark Databricks. Mettre en place des pipeline CICD azure devops Participé au re factoring du code existant Être garant de la qualité du code et le bon respect des norme de développement Mis en place des test unitaire. Mise en place du monitoring et de la supervision de l'application datafinance .

Bonjour, Pour le compte de notre client, nous recherchons un data engineer spark / scala. Mission : Livrables n 1 : Sprint n 1 + Lot 1 : développement des US et tests associés ; + Lot 2 : Documentation projet, mapping des données, modélisation des pipelines, documents d’exploitation ; + Lot 3 : Mise en place du CI/CD sur notre usine logicielle ; + Lot 4 : Mise en place du monitoring ; LE PROFIL RECHERCHE Compétences métiers & outils : Les compétences technologiques attendues sont : + Indispensables : maîtrise de l’API Scala Spark (batch principalement), maîtrise des techniques d’optimisation Spark, expérience dans le traitement de volumétries importantes / complexes, développement et bonnes pratiques Scala, build Maven, travail en environnement cloud (idéalement Azure) + Appréciées : écosystème Databricks, développement d’API HTTP, expérience sur la stack ELK Compétences transverses + Aisance relationnelle + Esprit d’équipe et d’adaptabilité + Esprit de synthèse + Rigueur et esprit d’analyse + Autonomie + Force de proposition + Vous avez le sens des priorités et la capacité à gérer les délais + Vous aimez le travail en mode multi-projets + Appétence client, besoin métier et compréhension du fonctionnel + Mentoring et partage de connaissances

💡 Contexte /Objectifs : L'entité a pour charge la maintenance, le support et l'évolution de l'outil concernant le pilotage financier de la banque, des directions centrales et de la facturation interne du groupe. Les outils sont basés sur les technologies Big Data pour le stockage, Talend et Spark/Scala pour les traitements, la suite MSBI SQL Server et cube SSAS pour l'analyse mutlidimensionnelle et enfin du Power BI pour la restitution. Le Bénéficiaire souhaite mettre en œuvre plusieurs évolutions de son socle technique. A ce titre, le Bénéficiaire souhaite bénéficier de l'expertise du Prestataire en termes de Data Engineering. Dans ce cadre la prestation consiste à contribuer à/au(x) : - Support de l'application (notamment lors des clôtures mensuelles) - La maintenance évolutive - La conception et l'implémentation de nouvelles fonctionnalités - La refonte technique - La migration de Talend vers Spark/scala Environnement anglophone 2 - Livrables attendus Les livrables attendus sont : - Optimisation des performances - Le support de l'application et la documentation - La livraison des evolutions - La livraison des nouvelles fonctions demandées dans le cadre des projets.

Je recherche un Tech Lead Big Data – Expert Java - Spark : • Devenir le Pilier technique du socle Big Data en Java Spark pour aider les utilisateurs de différentes 6 squads à l’utiliser, répondre aux tickets, analyser les bugs et savoir coder les corrections et livrer (CI/CD Jenkins Maven) • Rôle orienté RUN mais quelques évolutions peuvent toujours intervenir, avec donc la capacité de comprendre le besoin fonctionnel et développer l’évolution • Gérer les clusters Hadoop MapR on-premise avec un accent sur l'optimisation des performances et le chargement de données en streaming (Kafka/MaprES) et en batch.

La prestation consiste à contribuer à/au(x) : - Support de l'application (notamment lors des clôtures mensuelles) - La maintenance évolutive - La conception et l'implémentation de nouvelles fonctionnalités - La refonte technique - La migration de Talend vers Spark/scala Environnement anglophone Les livrables attendus sont : - Optimisation des performances - Le support de l'application et la documentation - La livraison des évolutions - La livraison des nouvelles fonctions demandées dans le cadre des projets

Analyse des Exigences : Collaborer avec les équipes métier pour comprendre les besoins en matière d'analyse de données et de traitement. Conception de Solutions : Concevoir des architectures de données et des solutions de traitement distribué en utilisant Apache Spark. Proposer des modèles de données adaptés aux cas d'utilisation spécifiques. Développement de Pipelines de Données : Développer des pipelines de données robustes et évolutifs en utilisant Apache Spark pour l'ingestion, le nettoyage, la transformation et la préparation des données. Utiliser Spark Streaming pour le traitement en temps réel des flux de données. Optimisation des Performances : Optimiser les performances des jobs Spark en ajustant les configurations, en utilisant des techniques de partitionnement et de cache, et en améliorant l'efficacité des transformations. Gestion des Versions : Utiliser des outils de contrôle de version pour gérer le code source et les artefacts des pipelines Spark. Tests et Validation : Élaborer des stratégies de test pour les pipelines Spark et mettre en œuvre des tests unitaires, d'intégration et de régression. Valider la qualité des données à différentes étapes du pipeline. Déploiement et Monitoring : Déployer les pipelines Spark sur des clusters de production et surveiller les performances en temps réel. Mettre en place des alertes pour détecter les problèmes de performance ou de disponibilité. Sécurité : Implémenter des mesures de sécurité pour protéger les données sensibles tout au long du pipeline. Utiliser des technologies telles que Kerberos, Ranger, ou des outils de chiffrement pour assurer la sécurité des données. Documentation : Documenter les pipelines de données, les flux de travail, les configurations et les bonnes pratiques. Créer des guides d'utilisation pour les autres membres de l'équipe et les utilisateurs finaux.

Du monitoring des principaux KPI du système et la misé en œuvre des nouveaux KPI. La data ingénierie et l'exploitation de la plateforme Data en architecture de type microservices, basée sur Kubernetes et OpenShift Assurer la supervision et débogage du système via Openshift S’assurer du bon fonctionnement des applicatifs (Spark, MinIo, Jhub, MySQL, Airflow) Contrôler les volumes et consommations Hardware de la plateforme Débugger les pods en cas d’erreur Niveau de compétence Zookeeper, Ambari, Kafka .. Confirmé Hadoop Confirmé une expérience significative (>5 ans) sur l'architecture ou l'exploitation de plateforme big Data Confirmé Kubernetes & OpenShift (Certification souhaitée) Expert Scala, Spark Confirmé Zabbix Avancé

Almatek recherche pour l'un de ses clients, Un consultant Spark/Kafka sur Tours Il s’agit de participer à la migration de données hébergées sur une plateforme obsolète Hortonworks vers la solution cible. La mission comprend 3 activités principales : - Gestion de la plateforme actuelle Hortonworks 2.6 (run) - Construction de la plateforme cible sur openshift (build) - Préparation à la migration depuis Hortonworks vers openshift (build) Un membre de l’équipe participera également à ces mêmes activités Savoir-faire : - Maitrise de Kafka et Spark ,Hadoop Hive ,Kubernetes - Connaissance de la plateforme Hortonworks et du concept de Big Data - La connaissance d’openshift est un plus - Automatisation (python, shell, SQL, ansible) - Processus ITIL

Package pyspark Documentation technique Compétences techniques PYTHON / PYSPARK / SPARK - Confirmé - Impératif Databricks/ datafactory/ azure devops - Confirmé - Impératif Integration GIT - Confirmé - Important Connaissances linguistiques Français Courant (Impératif) Description détaillée Dans le cadre de la mise en place du projet Data Finance nous recherchons un data engineer confirmé. - Contexte : le projet Data Finance à pour objectif de mettre a disposition des données consolidé de différente source (base de données relationnelle, SAP , base de données Iaas) dans un modèle de donnée modélisé en Etoile a des fins d'analyse financier. - Environnement technique : Azure DataFactory, Databricks, Pyspark, SQL , Azure devops, Blob Storage. - Mission du candidat : Développer des pipeline d'ingestion des données dans le datalake avec datafctory Développer des flux de transformation de données via Python/spark/ Pyspark Databricks. Mettre en place des pipeline CICD azure devops Participé au re factoring du code existant Être garant de la qualité du code et le bon respect des norme de développement Mis en place des test unitaire. Mise en place du monitoring et de la supervision de l'application datafinance . - Compétences requises : - Une bonne maitrise SQL / Pyspark / SPARK. -Avoir au moins 4/5 ans d'expérience en tant que Data engineer / utilisation de databricks. - Une connaissance environnement Cloud (Microsoft Azure), GIT, Devops - Une bonne communication et être fort de proposition. - Connaissance des bonnes pratique de développement.

L'entité IT est composée de 3 Feature Team, 2 en charge du backend / processing de données, la dernière en charge de toutes les interfaces (UI) et couches de traitement API. Dans le cadre de la modernisation de son backend, le socle du processing de données est ré-écrit sur une technologie BigData sur Cloud Interne, ce qui permet d'élargir l'offre de services proposée aux utilisateurs. Le Bénéficiaire souhaite mettre en œuvre la refonte de son Back-end autour des technologies BigData en intégrant les principes Digitaux (Architectures SOA, Web developpement In House, Frameworks internes).Le Bénéficiaire souhaite mettre en œuvre les évolutions de son socle technique. Dans ce cadre, le Bénéficiaire souhaite bénéficier de l'expertise du Prestataire en termes de Data Engineering. Dans ce cadre la prestation consiste à contribuer à/au(x) : · Développement, Clean code, · L'intégration continue, · La définition des solutions dans l'environnement applicatif (Cloud Platform / Spark Data processing) · Mise en place et suivi des développements en production du socle de fonctionnalités Processing / preparation de données · L'assistance à la conception technique du produit · Diverses assistances techniques (sujets techniques complexes sur le produit, etc...) · La revue de code · L'intégration cohérente du produit dans le système d'information en synchronisation avec l'architecture technique · L'analyse de l'impact de la conception du produit sur l'architecture technique du SI · L'architure technique aux choix d'implémentation dans le SI · La maintenabilité technique du produit · La stratégie de développement et de tests selon critères pré-définis Autres : · Support applicatif via le monitoring et résolution associée · DevOps pour les parties IAAS et CD. · Environnement anglophone

Data engineer senior Travailler l'architecture du produit avec le Tech Lead Mettre en place la stack technique Apporter une expertise sur la constitution de datasets & KPIs Assurer la qualité des traitements et des données Etre capable de créer des KPIs à partir des données du Datalake Maîtriser les modèles de données et les outils de transformation Mettre en place des indicateurs de mesure de qualité sur chaque développement engagé pour assurer la bonne mise à disposition de la donnée Mission située à Lille

Nous recherchons un data engineer avec une expérience sur la construction de pipeline Spark scala dans kafka stream et dans un environnement BigData. Le profile st de base ouvert en nearshore a destination des profils marocain. Missions : Participer à la réalisation de l’ensemble des projets métiers (usages) Prendre en charge les demandes de corrections provenant d’incidents ou d’anomalies Participer à l’auto-formation et à la montée en compétences de l’équipe de développement Appliquer les bonnes pratiques et les normes de développement Mettre en pratique les méthodes devops Contribuer aux chiffrages des usages et à la constitution des releases Contribuer à l’automatisation du delivery Développer et documenter son code Livrables Travailler au sein d’une équipe SCRUM (PO, développeurs, QA, Support) Maitrise : BITBUCKET, CLOUD GCP, ELASTICSEARCH, JENKINS, KAFKA, SPARK Scala ou Java, Kubernetes, Docker, Ansible, GCS, BigQuery, GKE, Cloud Pub/Sub, Dataproc, BigTable. CI/CD (Git, Jenkins, Nexus, Docker Registry, ) Avro.

Le bénéficiaire souhaite mettre en oeuvre plusieurs évolutions de son socle technique. A ce titre, le Bénéficiaire souhaite bénéficier de l'expertise du Prestataire en termes de data Engineering Dans ce cadre la prestation consiste à contribuer à/au(x) :  Recueil et à l'analyse des besoins métier et des processus de bout en bout  La redaction des spécifications techniques.  L'assistance et contribution aux instances projet.  La sécurisation des jalons stratégiques  Suivi et au dépannage de la production pour son maintien en conditions opérationelles Envrionnement technique : Juptyper Lab, ML Flow Environnement Agile Livrables attendus Les livrables attendus sont : - Dévéloppements : Python, système RAG, implémentation des Guardrails, prompt ingénierie) - Contribution aux chantiers transverses : Architecture, Sécurité - Documentation technique de la solution - Contribution à la préparation des instances projets Expertise(s) / technologie(s) Les expertises attendues pour réaliser cette prestation sont listées ci-après :  Compétences en développement (Shell unix, Perl, PHP, Python, git, github)  Continuous Integration  Hadoop (Big Data), Spark  Python

Dans le cadre des projets de l’équipe et de ses travaux de construction ou d’évolution : - Contribuer aux projets d’intégration d’entités dans le dispositif DDF Groupe - - Accompagner les entités du Groupe dans la construction ou l’optimisation de leur dispositif LCB/FT/Fraude Techniques - Développement langage de type SQL, Python, Spark : Expert - Bases de données : Expert - Analyse BI : Expert - Excel : Expert - Powerpoint : Requis Livrables attendus : - Cadrage et estimation des coûts et délais - Etude et documentation technique dont les spécifications - Développements et codes auditables - Cahier et PV recette auditables - Simulations et analyse détaillées auditables - Présentations des travaux et des résultats obtenus - Documents et tableaux de synthèse - Comptes rendus - Modes opératoires

- Développement Spark/Scala et HIVE - Une bonne expertise des environnements hadoop- Environnement Anglophone 2 - Livrables attendus Les livrables attendus sont :- Revue de code et re-factoring - Projet agile (Scrum) - Traitement d'un gros volume de données - L'application des normes de développements 3 - Expertise(s) / technologie(s) Les expertises attendues pour réaliser cette prestation sont listées ci-après :  Agile Scrum  Hive  PostGreSQL  Python  Scala Dans le cadre de cette prestation, le pourcentage d'exécution prévu hors site est de 60%

Au sein de l'équipe Big Data, l'équipe Engineering est responsable de l'alimentation du data lake, du delivery projet, et du fonctionnement des applications en production. C'est pour rejoindre cette équipe que nous recherchons un Développeur Big Data « Maintenance ». Le Data Engineer Senior « Maintenance » prend en charge la maintenance corrective & évolutive de toutes les applications Big Data déjà en fonctionnement en production pour couvrir les besoins métier Il participe également à la construction du socle technique Big Data. Il a pour missions principales : · De développer les évolutions fonctionnelles & techniques des applications Big Data en fonctionnement en production métier, et notamment : · passer de la donnée brute à de la donnée propre, exposée sous forme de tables requetables dans le datalake (inférer les schémas de données, nettoyer et normaliser les données, publier les données) · consolider ces données au fur et à mesure de leur alimentation récurrente dans le data lake · les exploiter pour atteindre la finalité business (exposition de business view, réintégration des résultats dans le SI, Web Services de scoring, …) · De gérer avec l'OPS responsable du suivi de production la transition en BAU de tous les projets métier (transfert de connaissance depuis les développeurs projets) · De gérer (support niveau 3) les analyses & reprises sur incidents en production des traitements Big Data & Web Services de toutes les applications en production, en coordination avec l'OPS assurant le suivi de production global, afin d'assurer la meilleure qualité de service des applications Big Data pour les métiers. (les développeurs projets originels restant support Niveau 4) Selon son profil, le Développeur Big Data pourra même : · piloter fonctionnellement l'OPS pour coordonner le bon fonctionnement en production des applications Big Data au global · De contribuer à la création du socle technique Big Data (librairies de fonctions, features communément utilisées avec les data scientists…) et industrialiser le cycle de développement de l'équipe · De mettre en place et de garantir le respect dans la durée d'un processus qualité sur l'ensemble du cycle de DEV (documents, tests unitaires / intégration / fonctionnels, commentaires, versionning, etc.) · D'accompagner les développeurs plus juniors de l'équipe (coaching, code review, pair programming…)