Find your next tech and IT Job or contract Data Lake

Nous recherchons un DevOps (F/H) pour intégrer l'un de nos partenaires Grand Compte sur Aix-en-Provence afin d'intervenir sur une plateforme Big Data. Vous contribuerez à l'automatisation des déploiements et à l'évolution des chaînes CI/CD sur des environnements cloud public et privé. Dans ce cadre, vos missions seront les suivantes : Concevoir des modèles de CI/CD permettant le déploiement des composants sur les différents environnements (développement, intégration, préproduction et production). Développer et maintenir les pipelines GitLab CI/CD pour assurer le build, le déploiement et la configuration des composants du Data Lake sur les environnements cloud public AWS et cloud privé. Documenter les procédures et modes opératoires associés aux pipelines de déploiement. Assurer un support technique de niveau 2 auprès des équipes lors des déploiements sur les différents environnements. Contribuer à l'amélioration continue des outils et processus de déploiement. Assurer la communication auprès des utilisateurs finaux. Environnement technique Vous évoluez dans un environnement composé de SQL, Kubernetes, AWS, AWS S3, GitLab CI/CD, Kafka Connect, Helm Charts, Python et de la gestion des certificats SSL.

Au sein de la DSI de notre client, dont la mission est de concevoir et maintenir les applications stratégiques des métiers du Groupe. Dans le cadre de l'évolution du Data Lake CIO Office, nous recherchons un Data Engineer expérimenté afin de participer au développement, à l'évolution et à l'industrialisation des pipelines de données, en collaboration avec les équipes de production applicative et DevOps. Vous évoluerez dans un environnement Big Data moderne, orienté Cloud et Agile, avec des échanges réguliers avec les équipes internationales basées à Porto.

Il aura la charge de gérer une architecture Lakehouse : • Data security : Apache Ranger • Data governance : Apache Atlas • Data processing : Spark, Apache Zeppelin • Data ingestion : nifi • Data analytics : Apache Impala • Data lake : hadoop, Apache KUDO • Dara serving: Hue Gestions des logs via la stack ELK (Elasticsearch-Logstash-Kibana) Provisionner des infrastructures via Terraform Connaissance réseaux (Mise en place et ouverture de flux réseau basé sur le dossier d'architecture réseau) Il documente les procédures d'exploitation et rédige des rapports synthétisés Il assure du bon fonctionnement des services dans le respect des SLA. Il connait et s'appuie sur les process ITIL (Gestion des incidents, des problèmes et des demandes de changement) pour opérer dans des environnements de production. Il a un bon niveau d'anglais pour converser avec les éditeurs dont Cloudera et les fournisseurs Il automatise les déploiements de fichiers de configurations, gestion des certificats et keystores via Ansible. Il utilise les Outils devops de versionning et de packages : Github, Jenkins Sa maitrise des environnements sous Linux lui permet d'analyser les logs dans le cadre du traitement des incidents. Il est force de proposition pour l'amélioration de l'exploitabilité des solutions et de la supervision des services. Il participe aux réunions d'équipe et rend compte des actions Il participe aux projets et aux différents comités.

Bonjour à tous, Mon client recherche Product Owner qui pourra suivre le écrire les US d'une de ses applications de cybersécurité. Vous interviendrez sur une application stratégique visant à valoriser les données d'un Data Lake via des Dashboards interactifs. Dans un contexte international exigeant de type grand groupe, vous ferez le pont entre les enjeux métiers et une équipe de développement offshore. Votre solide bagage technique vous permettra de dialoguer efficacement avec les développeurs et de concevoir des solutions robustes (notamment sur des logiques d'API). Missions : Recueillir, analyser et traduire les besoins métiers en User Stories claires et détaillées. Prioriser et gérer le backlog du produit en assurant un équilibre entre le développement de nouvelles fonctionnalités et le maintien de la stabilité de l'application. Collaborer quotidiennement avec les équipes de développement offshore (en anglais) et les guider sur les aspects techniques (ex: logique de raccordement d'API). Garantir la qualité des livrables en anticipant les impacts techniques pour éviter les régressions et l'apparition de nouveaux bugs. S'assurer de la bonne transmission des données depuis le Data Lake jusqu'à la restitution sur les Dashboards. Naviguer au sein d'un écosystème complexe en tenant compte des impératifs structurels, financiers et humains du projet.

Dans le cadre du développement de ses plateformes Data & IA, notre client recherche un Data Engineer Databricks Senior capable de concevoir, développer et industrialiser des pipelines de données à grande échelle. Le consultant interviendra sur l'ensemble du cycle de vie des projets Data, en lien avec les équipes métiers, Data Scientists, Architectes et équipes Cloud. MissionsRecueillir et analyser les besoins métiers. Concevoir des architectures Data modernes sur Databricks. Développer et maintenir des pipelines d'ingestion et de transformation. Optimiser les performances et la qualité des traitements. Participer à la mise en place des bonnes pratiques Data Engineering. Assurer les phases de tests, recette et mise en production. Collaborer avec les équipes Data Science, BI et Architecture. Contribuer aux sujets IA et valorisation des données. Documenter les solutions et accompagner les utilisateurs. Compétences requisesTechniquesDatabricks (indispensable) Apache Spark / PySpark Python SQL avancé Azure Data Factory ou équivalent Azure Synapse / Microsoft Fabric (apprécié) Git CI/CD Data Lake / Lakehouse Modélisation de données FonctionnellesAnalyse des besoins métiers Animation d'ateliers Rédaction de spécifications Communication avec des interlocuteurs non techniques

Véritable référent technique, vous participerez aux choix d'architecture et piloterez les développements Data afin de construire une plateforme robuste, évolutive et pérenne. Vos missions Au sein des équipes Data, en collaboration étroite avec les équipes Infrastructure et les métiers, vous serez chargé de : Définir, concevoir et faire évoluer l'architecture Data (ingestion, stockage, modélisation et exposition des données). Piloter les activités de Data Engineering et garantir l'application des bonnes pratiques de développement. Encadrer, accompagner et faire monter en compétence les équipes de développement internes et externes. Arbitrer les choix techniques et assurer la cohérence globale de l'écosystème Data. Garantir la qualité, la performance, la maintenabilité et la scalabilité des solutions déployées. Structurer la documentation technique et contribuer à l'industrialisation des développements. Participer à l'amélioration continue des méthodes de travail et des processus Agile. Collaborer avec les différentes parties prenantes afin d'aligner les solutions techniques sur les besoins métiers. Environnement technique Technologies et outils Python SQL ETL / ELT Orchestration de pipelines de données Data Lake Data Warehouse Environnements Cloud DevOps et CI/CD Méthodologies Agile

Pour l'un de nos clients grands comptes du secteur bancaire, nous recherchons un Développeur Java Spring Senior orienté Cloud Azure afin d'accompagner les évolutions d'une plateforme Data stratégique hébergée sur Azure. La mission s'inscrit dans un contexte de modernisation du socle technique, d'automatisation et d'industrialisation des déploiements sur Kubernetes (AKS). Vos missionsDévelopper et faire évoluer une application de gestion du Data Lake Azure. Concevoir des micro-services interfacés avec les API Azure et les systèmes internes. Participer à l'automatisation du cycle de vie applicatif (CI/CD). Déployer et maintenir les composants sur Azure Kubernetes Service (AKS). Contribuer à l'amélioration de la résilience, de la sécurité et de la scalabilité de la plateforme. Intervenir sur un environnement de production critique et fortement sécurisé. Environnement techniqueIndispensable : Java 11+/17 Spring / Spring Boot Azure Cloud Kubernetes / AKS Docker Azure DevOps Git Apprécié : Azure SDK Java Temporal Liquibase PostgreSQL / SQL Server Azure Data Lake Storage Gen2 (ADLS) Réseaux Azure (VNet, Subnet, Private Endpoint, DNS privé) Stack ELK Spark Profil recherché5 ans d'expérience minimum en développement Java. Forte expérience Cloud Azure. Maîtrise des architectures micro-services. Expérience significative de Kubernetes / AKS en environnement de production. Culture DevOps et CI/CD. Autonomie, capacité à travailler dans des environnements complexes et forte sensibilité aux problématiques de sécurité et de disponibilité.