🏭 Secteurs stratégiques : Banque d'investissement PAS DE FULL REMOTE NI SOUS TRAITANCE MERCI 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département a lancé un programme stratégique, qui comporte plusieurs projets d'harmonisation des processus et outils. L'un de ces streams a pour vocation de constituer un datalake sur une stack Hadoop, afin de servir les besoins en data et reporting. Ce datalake a également pour vocation de devenir la brique centrale de l'architecture du SI . Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par les données, capable de s'adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. 🤝Principales missions : Les tâches suivantes seront confiés au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme • Eventuellement mettre en œuvre une couche d'APIs afin d'exposer nos données
Cartographier et documenter les sources de données Assurer la maintenance des différentes applications données (Data) déployées en production et des infrastructures Concevoir les solutions permettant le traitement de volumes importants de flux de données et ceci en toute sécurité Structurer le data lake Contribuer à la gestion des référentiels de données Intégration des données : · Capter et stocker, en toute sécurité, les données (structurées ou non) produites dans les différentes applications ou venant de l'extérieur de l'entreprise · Assurer la supervision et l'intégration des données de diverses nature qui proviennent de sources multiples · Vérifier la qualité des données qui entrent dans le Data Lake et s'assure de leur sécurité · Nettoyer la donnée (élimination des doublons…) et la valider pour une utilisation aval Animation des communautés : · Animer une communauté technique qui met en œuvre les dispositifs prévus ou nécessaires à l'application de la politique de la donnée Veille technologique : · Assurer une veille sur les technologies liées au traitement de la manipulation de la donnée et identifier les solutions utilisables · Mettre en œuvre des POC le cas échéant · Propose des évolutions pour les infrastructures et solutions de données en place Entrants · Normes et standards d'architecture d'entreprise · Plan d'occupation des sols (POS) et cartographies SI · Exigences métiers Principaux livrables · Dossier d'architecture (ou cadre technique) des solutions (plateformes) de traitement des données · Data lake adapté aux besoins actuels et futurs · Cartographie des données · Eléments permettant de garantir la qualité de la donnée · Rapport d'études de veille technologique, POC · Comptes rendus, plan d'actions animation communautés
Tâches : Développer et réaliser de nouvelles fonctionnalités/usages définis et priorisés (user stories) au sein de la Squad, tout en respectant les règles de gestion et les critères d'acceptation associés. Aider et conseiller les autres membres de la squad sur les pratiques de développement et de qualité. Attendus : Contribuer au sein d'une équipe agile à répondre aux besoins : Définir les architectures des solutions avec le reste de l'équipe Fabriquer et tester les solutions en mettant l'accent sur l'automatisation des tests Déployer dans les différents environnements Garantir le bon fonctionnement en production Accompagner l'évolution des pratiques de l'équipe dans une logique d'amélioration continue de la qualité du code
Contexte de la missionDans le cadre du renforcement d'une squad Data, nous recherchons un Développeur Open xDI Semarchy Sénior afin d'accompagner les équipes sur des activités de développement, d'intégration et de maintenance de solutions Data. Le consultant interviendra sur un environnement technique riche composé notamment de Semarchy xDI, Teradata, PostgreSQL, MySQL, Hive, Phoenix, HDFS ainsi que des API Spring Boot. Missions principalesAu sein de la squad, vos principales responsabilités seront : Assurer le développement et l'intégration des évolutions sur le périmètre des solutions Data. Participer aux phases de conception technique et contribuer aux séances d'affinage. Préparer et réaliser les mises en production en collaboration avec les équipes expertes. Assurer le support applicatif (SAV) et contribuer à la résolution des incidents. Maintenir et enrichir la documentation fonctionnelle et technique. Accompagner les utilisateurs dans la prise en main des solutions. Participer à l'analyse du patrimoine applicatif existant. Contribuer à l'alimentation et à la priorisation du backlog technique. Effectuer une veille technologique régulière afin d'identifier les évolutions pertinentes. Compétences techniques recherchéesCompétence indispensable✅ Semarchy xDI / Open xDI Compétences appréciéesTeradata PostgreSQL MySQL Hive Phoenix HDFS API REST avec Spring Boot
Dans le cadre d'un programme stratégique, nous recherchons un Expert Cloudera / CDP pour intervenir sur la conception, l'administration, l'évolution et l'industrialisation d'une plateforme Data. Vous interviendrez au cœur d'un environnement technique exigeant, sur des sujets d'architecture, d'administration, d'industrialisation et de migration de plateformes Big Data. Vos principales responsabilités : Concevoir et faire évoluer l'architecture de la plateforme Data. Administrer et maintenir les environnements Cloudera / CDP. Participer aux migrations et aux évolutions de la plateforme. Industrialiser les déploiements et traitements via Ansible, Shell et CI/CD. Garantir la disponibilité, la performance, la sécurité et la fiabilité de la plateforme. Analyser et résoudre les incidents techniques complexes. Améliorer la supervision et l'observabilité de la plateforme. Rédiger la documentation technique et les procédures d'exploitation. Accompagner les équipes et contribuer au transfert de compétences.
Développeur Java / Scripting Unix ExpérimentéContexte : Intégration au sein d'une squad Agile en charge du développement, de la maintenance et de l'évolution de solutions d'API basées sur Spring Boot, dans un environnement orienté Data. La mission consiste à accompagner les équipes sur l'ensemble du cycle de vie des applications, depuis la conception technique jusqu'à la mise en production et au maintien en conditions opérationnelles, dans un contexte de modernisation et d'amélioration continue. Missions : Développer et intégrer les évolutions fonctionnelles et techniques des API Java Spring Boot. Concevoir et maintenir des scripts Unix permettant l'automatisation des traitements et des déploiements. Assurer la maintenance corrective et évolutive des applications de la squad. Participer aux phases de conception technique et aux ateliers d'affinage des besoins. Préparer et réaliser les mises en production en collaboration avec les équipes d'exploitation et assurer le support post-production. Analyser l'existant afin de proposer des améliorations techniques et fonctionnelles. Rédiger et maintenir la documentation technique et fonctionnelle. Contribuer à l'alimentation et à la priorisation du backlog technique. Accompagner les utilisateurs et les équipes dans l'exploitation des solutions. Participer à la veille technologique et à l'amélioration continue des pratiques de développement. Garantir la qualité, la sécurité et la maintenabilité du code en appliquant les bonnes pratiques de développement sécurisé.
Au sein de la DSI de notre client, dont la mission est de concevoir et maintenir les applications stratégiques des métiers du Groupe. Dans le cadre de l'évolution du Data Lake CIO Office, nous recherchons un Data Engineer expérimenté afin de participer au développement, à l'évolution et à l'industrialisation des pipelines de données, en collaboration avec les équipes de production applicative et DevOps. Vous évoluerez dans un environnement Big Data moderne, orienté Cloud et Agile, avec des échanges réguliers avec les équipes internationales basées à Porto.
Dans le cadre du renouvellement d'un partenaire stratégique et de l'évolution de ses plateformes décisionnelles, notre client recherche un Data Engineer Big Data confirmé H/F pour rejoindre les équipes Risque et Finance de la filière Reporting Finance, Data & Marketing. Vous évoluerez dans un environnement bancaire exigeant, où les enjeux de qualité des données, de performance, de sécurité, de traçabilité et de conformité réglementaire sont au cœur des projets. Vous contribuerez à la conception, au développement et à l'industrialisation de traitements data à forte volumétrie permettant d'alimenter les datamarts réglementaires et les systèmes de reporting Risque et Finance. Vos missionsAu sein d'une équipe Data Engineering, vous intervenez sur l'ensemble du cycle de vie des traitements de données. Conception et développementRecueillir et analyser les besoins fonctionnels et techniques. Concevoir des architectures de traitement distribuées performantes et évolutives. Développer des pipelines batch robustes en environnement Big Data. Réaliser des traitements Spark en Scala et des transformations SQL avancées. Intégrer des données provenant de sources multiples et hétérogènes. Participer aux choix de conception et aux revues techniques. Data Quality et gouvernanceMettre en œuvre des contrôles de qualité, de complétude et de cohérence des données. Identifier, analyser et corriger les anomalies de traitement. Garantir la traçabilité et la reproductibilité des flux de données. Assurer le respect des exigences réglementaires et de gouvernance des données. Performance et optimisationOptimiser les traitements Spark et SQL sur des volumes importants. Travailler sur les problématiques de partitionnement, parallélisme et gestion des ressources. Améliorer les performances des traitements et réduire les temps d'exécution. Identifier et résoudre les goulots d'étranglement techniques. Industrialisation et DevOpsConcevoir et maintenir les workflows d'orchestration sous Apache Airflow. Participer à la mise en œuvre des pipelines CI/CD. Industrialiser les déploiements et automatiser les processus. Mettre en place les mécanismes de supervision, d'alerting et de gestion des erreurs. Garantir la robustesse, l'idempotence et la résilience des traitements. Run et support de productionAssurer le suivi quotidien et mensuel des traitements. Participer à l'analyse et à la résolution des incidents de production. Suivre les rejets de données et piloter leur correction. Contribuer à l'amélioration continue de la plateforme data. Environnement techniqueTechnologies principalesScala Apache Spark SQL avancé Apache Airflow Hadoop / HDFS Apache Hive Presto / Trino Industrialisation & DevOpsGit CI/CD Automatisation des déploiements Monitoring & Logging Technologies complémentairesKafka Bases relationnelles (Oracle, PostgreSQL, SQL Server...) Bases NoSQL
