Data Engineer GCPLe consultant idéal devra posséder les compétences suivantes : • Excellente maîtrise de la plateforme GCP, et autres outils de notre stack technique : BigQuery, cloud storage, SQL, Python orienté objet, Pandas et /ou Dask, bash scripting, GIT • Connaissances et expériences avec des outils complémentaires suivants seraient des atouts appréciables : Cloud functions, SAS, Alteryx, XLD/XLR, ControlM, Hadoop, Spark • Maîtrise de l'anglais, tant à l'écrit qu'à l'oral, pour faciliter les échanges avec nos interlocuteurs basés à Porto, qui représentent une part importante de notre équipe IT. • Expérience dans des environnements agiles, en particulier avec la méthodologie SCRUM. • Capacité à rédiger des spécifications techniques claires et précises. • Dynamisme, excellent relationnel et capacité à travailler en équipe. • Force de proposition et curiosité technique pour explorer de nouvelles solutions et technologies. Au sein du département IT de la DSI Groupe, l'équipe data a pour vocation de fournir aux différentes entités, l'ensemble des applications nécessaires à leur fonctionnement. Nous recherchons un profil Data Engineer GCP qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les demandes métier sur le projet DatOps. Passionné par le développement et le traitement des données, capable de s'adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. Les tâches suivantes seront confiées au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipelines de données => quel outil utilisé ?? • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme Expected skillsSkillsSkill level HADOOP Confirmed SQL Confirmed GCP Confirmed Google Cloud Storage Advanced Spark Advanced BIGQUERY Confirmed Pandas Advanced GIT Advanced Python Advanced
Contexte : Les modalités Lieu : Paris Télétravail : 50%. Démarrage : 01/01/2027. Les missions attendues par le Développeur Big Data Senior – Python Park (H/F) : Contexte Pour un acteur majeur du secteur de l'énergie, nous recherchons un profil Data Scientist / Développeur Big Data Senior pour intégrer une équipe dédiée à la réalisation d'études et de produits data innovants. Vous interviendrez sur des thématiques stratégiques telles que la maintenance prédictive, la mobilité électrique et les charges sur le réseau. Plus spécifiquement, la mission s'articule au sein de l'équipe "Branchements", avec un focus particulier sur le traitement des adresses et de la localisation. Vous accompagnerez le cycle de vie complet des produits data, de l'exploration initiale jusqu'à leur mise en production opérationnelle. Vos missions Animer des ateliers avec les experts métiers afin de recueillir et définir précisément les besoins, en toute autonomie. Rechercher les données adéquates et mener des analyses exploratoires poussées. Concevoir et développer des traitements de données sur de très fortes volumétries (plusieurs dizaines de millions de lignes). Réaliser des études statistiques approfondies et développer des modèles de Machine Learning. Industrialiser les codes d'expérimentation, notamment en refactorisant des scripts Python vers des traitements robustes en PySpark. Restituer les résultats et assurer le reporting sous forme de tableaux de bord ou de rapports d'étude. Rédiger les documents de cadrage du projet et animer des groupes de travail autour des processus métiers. Assurer une veille technologique active sur les outils de data science et partager les bonnes pratiques avec l'équipe. Environnement technique Python (pandas, polars, scikit-learn, matplotlib, xgboost, pandera, geopandas), PySpark, Hadoop, PostgreSQL, PowerBI, GitLab (CI/CD), Jira, Confluence.
A LIRE ATTENTIVEMENT AVANT DE POSTULER ⬇ ⚠️DEMARRAGE – JANVIER - 🏠 2 jours de télétravail / semaine - 📍 Lyon (07) - 🛠 Expérience de 5 ans minimum Vous aimez partir d'un besoin métier, explorer des volumes importants de données et transformer vos analyses en résultats directement exploitables ? Nous recherchons actuellement un.e Data Scientist pour intervenir chez l'un de nos clients sur des problématiques mêlant analyse statistique, données textuelles et spatiales et traitement de données massives. La mission comporte également une dimension importante d'échange avec les experts métiers : vous serez amené.e à recueillir et préciser directement leurs besoins, sans intervention systématique d'un Product Owner ou d'un Product Manager. Vos missions : Vous interviendrez sur l'ensemble du cycle d'une étude Data, depuis la compréhension du besoin jusqu'à la restitution et à l'industrialisation des traitements. Concrètement, vous serez amené.e à : - participer aux ateliers avec les experts métiers pour recueillir, comprendre et préciser leurs besoins - rechercher les données pertinentes et mener les analyses exploratoires - concevoir et développer les traitements de données nécessaires aux études - réaliser des analyses et études statistiques - développer des modèles de Machine Learning lorsque le besoin le nécessite - travailler sur des données textuelles et spatiales, notamment avec GeoPandas - présenter vos résultats sous forme de rapports d'étude ou de tableaux de bord - porter des codes issus des phases d'expérimentation ou d'étude vers PySpark afin de permettre leur industrialisation. Vous contribuerez également à la veille sur les méthodes et outils de Data Science, ainsi qu'au partage des bonnes pratiques et à la formation autour des guides de bonne conduite. Vous travaillerez principalement avec : Python - Pandas - Matplotlib - GeoPandas - PySpark - Hadoop - PostgreSQL - Power BI. Vous utiliserez également GitLab, GitLab CI/CD, Jira et Confluence.
