Nous allons travailler sur un POC Réseau Autonome d'une durée limitée (approx 6 mois à partir de septembre), l'objectif est de collecter des données réseaux (données config Radio, Kpi, référentielles) les intégrer dans Databricks, développer des API pour requêter ces données afin que des agent IA puissent requêter les données à travers ces API. Livrables: Conception et développement de projets d'intégration de données pour des projets à forte valeur ajoutée. Développement de jobs d'intégration de données en PySpark, Spark, Python en mode streaming et batch sur la plateforme Databricks. La mise en œuvre de CI/CD (github, devops, Databricks Bundles), de l'orchestration, du data management et de la sécurité. Optimisation des jobs et des ressources cloud (GCP et Databricks). Mise en place de de Dashboard Finops afin de suivre l'usage des ressources GCP / Databricks. Travailler au sein d'équipes pluridisciplinaires : chefs de projet, architectes, devops, data engineer. Assurer une formation continue, le partage de connaissances, mise en place de documentation.
Au sein de la DSI, l'entité concernée fournit aux services Technologies & Opérations les applications nécessaires à leur fonctionnement. Le consultant interviendra sur les évolutions du datalake, en lien avec l'équipe de production applicative / devops. Missions : - Mettre en œuvre de nouvelles ingestions de données - Réaliser la data prep/transformation - Maintenir les outils de gestion des pipelines de données - Faire évoluer les outils de gestion des pipelines de données avec Pyspark et shell scripting - Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme - Rédiger des spécifications techniques claires et précises - Travailler dans un environnement agile avec la méthodologie SCRUM Profil attendu : Le consultant doit avoir une excellente maîtrise de la plateforme Hadoop ainsi que du développement en Python/PySpark et Hive. Une bonne connaissance de SQL, GIT, Jenkins, Jira et du shell scripting sous Unix/Linux est nécessaire. La maîtrise de l'anglais à l'écrit et à l'oral est requise pour les échanges avec les interlocuteurs basés à Porto. Une expérience dans des environnements agiles, en particulier avec la méthodologie SCRUM, est attendue.
Nous recherchons actuellement un(e) Data Engineer Senior pour accompagner une équipe Data sur des sujets à forts enjeux autour de la Data Engineering, du Big Data et des architectures Lakehouse. 🔎 1 Data Engineer Senior 🎯 Missions principales : · Concevoir, développer et optimiser des pipelines de données à grande échelle · Mettre en œuvre des flux batch, streaming et ingestion via API · Structurer les transformations selon le modèle Médaillon (Bronze / Silver / Gold) · Développer et industrialiser les pipelines avec DBT, Spark et Iceberg · Contribuer à l'évolution et à l'optimisation de l'architecture Lakehouse · Déployer et maintenir les pipelines dans un environnement Cloud AWS · Orchestrer les workflows ETL / ELT avec Airflow · Mettre en œuvre l'Infrastructure as Code avec Terraform · Travailler sur des environnements conteneurisés avec Docker / Kubernetes · Garantir la disponibilité, la supervision et l'observabilité des traitements · Participer à la gestion des incidents et à l'amélioration continue · Définir et mettre en œuvre les règles de qualité des données : tests, validations et contrôles automatisés · Documenter les architectures, pipelines et règles métier · Garantir la conformité des flux, notamment dans le respect des exigences RGPD ⚙️ Environnement technique : · DBT / Data Catalog · Apache Spark · Apache Iceberg · AWS : Glue, EMR, S3… · Terraform · Airflow · Python · Trino / Starburst · Datadog · Docker / Kubernetes · Architectures Big Data / Lakehouse · Modélisation et collecte de données 🧑💻 Profil recherché : · Minimum 8 ans d'expérience en Data Engineering · Expertise confirmée des architectures Big Data et Lakehouse · Très bonne maîtrise de DBT, Spark, Iceberg, AWS et Terraform · Solide expérience sur les services AWS, notamment Glue, EMR et S3 · Connaissance de Trino / Starburst et Datadog · Bon niveau en Python · Forte capacité d'analyse et de compréhension des enjeux métiers · Expérience dans l'accompagnement et l'encadrement de profils juniors · Autonomie, rigueur et forte culture de l'amélioration continue 🌍 Contexte : · Environnement Data à grande échelle · Projets autour de la modernisation et de l'industrialisation des plateformes Data · Forts enjeux Lakehouse, Data Quality, Observabilité et Cloud · Collaboration avec des équipes Data, IT et métiers 📍 Localisation : Île-de-France – Hybride 🏠 Télétravail : 3 jours par semaine 📅 Démarrage : fin août 2026 💼 Mission longue durée Si vous êtes intéressé(e) ou connaissez un(e) Data Engineer Senior correspondant à ce profil, n'hésitez pas à me contacter en MP ou directement par téléphone. Cordialement,
Les modalités Lieu : Lyon Télétravail : 50% Démarrage : 01/01/2027 Les missions attendues par le Data Engineer Python Spark (H/F) : Contexte Pour un acteur majeur du secteur de l'énergie, nous recherchons un Data Scientist / Développeur Big Data Senior pour rejoindre une équipe dédiée aux études et produits data innovants, notamment sur la maintenance prédictive et la mobilité électrique. Vous interviendrez en priorité sur des thématiques métiers complexes et sur la création d'un pipeline de mise à disposition de projets cartographiques à destination des équipes opérationnelles. La mission couvre l'intégralité de la chaîne de valeur, depuis l'analyse exploratoire et l'étude jusqu'à la mise en production des traitements de data science. Vos missions Animer des ateliers avec les experts métiers pour collecter, préciser et cadrer les besoins. Réaliser la recherche de données adéquates et mener des analyses exploratoires approfondies. Concevoir et développer des traitements de données et réaliser des études statistiques. Développer des modèles de Machine Learning selon les cas d'usage. Industrialiser les codes d'expérimentation en Python ou PySpark pour leur mise en production. Présenter les résultats et les synthétiser via des rapports d'étude ou des tableaux de bord interactifs. Assurer une veille technologique sur les outils de data science et partager les bonnes pratiques au sein de l'équipe. Environnement technique Python (pandas, polars, scikit-learn, matplotlib, xgboost, pandera, geopandas), PySpark, Hadoop, PostgreSQL, GitLab, GitLab-CI/CD, PowerBI, Jira, Confluence.
La mission s'inscrit dans les évolutions du datalake CIO Office, en lien avec les équipes de production applicative et DevOps. Le consultant intervient sur le développement et le traitement des données ainsi que sur l'évolution de la plateforme Hadoop. L'enjeu principal est de mettre en œuvre de nouvelles ingestions et transformations tout en maintenant les pipelines de données. Missions : - Mettre en œuvre de nouvelles ingestions de données - Réaliser les opérations de data prep et de transformation des données - Maintenir les outils de gestion des pipelines de données - Faire évoluer les pipelines de données avec PySpark et le shell scripting - Adresser les demandes d'évolution de la plateforme à l'équipe DevOps - Rédiger des spécifications techniques claires et précises - Travailler dans un environnement agile Scrum - Collaborer avec les équipes de production applicative et DevOps - Explorer de nouvelles solutions et technologies - Analyser et résoudre des problèmes complexes liés au traitement des données Profil attendu : Le profil recherché dispose de 0 à 6 ans d'expérience et d'une excellente maîtrise de Hadoop, Python/PySpark et Hive. Une bonne connaissance de SQL, Git, Jenkins, Jira et du shell scripting sous Unix/Linux est nécessaire. La maîtrise de l'anglais à l'écrit comme à l'oral ainsi qu'une expérience des environnements agiles Scrum sont attendues.
Contexte : Les modalités Lieu : Paris Télétravail : 50%. Démarrage : 01/01/2027. Les missions attendues par le Développeur Big Data Senior – Python Park (H/F) : Contexte Pour un acteur majeur du secteur de l'énergie, nous recherchons un profil Data Scientist / Développeur Big Data Senior pour intégrer une équipe dédiée à la réalisation d'études et de produits data innovants. Vous interviendrez sur des thématiques stratégiques telles que la maintenance prédictive, la mobilité électrique et les charges sur le réseau. Plus spécifiquement, la mission s'articule au sein de l'équipe "Branchements", avec un focus particulier sur le traitement des adresses et de la localisation. Vous accompagnerez le cycle de vie complet des produits data, de l'exploration initiale jusqu'à leur mise en production opérationnelle. Vos missions Animer des ateliers avec les experts métiers afin de recueillir et définir précisément les besoins, en toute autonomie. Rechercher les données adéquates et mener des analyses exploratoires poussées. Concevoir et développer des traitements de données sur de très fortes volumétries (plusieurs dizaines de millions de lignes). Réaliser des études statistiques approfondies et développer des modèles de Machine Learning. Industrialiser les codes d'expérimentation, notamment en refactorisant des scripts Python vers des traitements robustes en PySpark. Restituer les résultats et assurer le reporting sous forme de tableaux de bord ou de rapports d'étude. Rédiger les documents de cadrage du projet et animer des groupes de travail autour des processus métiers. Assurer une veille technologique active sur les outils de data science et partager les bonnes pratiques avec l'équipe. Environnement technique Python (pandas, polars, scikit-learn, matplotlib, xgboost, pandera, geopandas), PySpark, Hadoop, PostgreSQL, PowerBI, GitLab (CI/CD), Jira, Confluence.
Notre client s'appuie sur une équipe Data centrale pour exploiter une grande diversité de sources de données et générer des indicateurs à forte valeur ajoutée au service de ses activités. Dans le cadre du renforcement de son équipe Data Platform, nous recherchons un(e) Senior Cloud Data Platform Engineer qui contribuera à l'optimisation et à l'évolution de la plateforme data cloud, garantissant une intégration fluide des données à l'échelle de l'organisation. Vos missionsConcevoir et développer des templates d'Infrastructure as Code (IaC) avancés et réutilisables pour provisionner et gérer les ressources cloud, selon les meilleures pratiques et des standards d'architecture robustes. Architecturer des blueprints applicatifs complets permettant des workflows de data engineering scalables et fiables. Maintenir les projets AWS existants et accompagner les Data Engineers de l'organisation dans l'utilisation de la plateforme, en lien avec l'équipe Data Support.
Développeur Frontend React / TypeScript - ESG (H/F)📍 Paris | Hybride 📅 Démarrage : ASAP en octobre ⏳ Mission longue : 15 mois Dans le cadre de la création d'une nouvelle plateforme ESG stratégique, nous recherchons un Développeur Frontend React / TypeScript confirmé ou senior. Vos missionsDévelopper une plateforme Front Office ESG Transformer les besoins métier en solutions fonctionnelles Concevoir des interfaces et prototypes interactifs Challenger les règles métier et anticiper les cas d'usage Garantir la qualité, la maintenabilité et les performances du code Participer à une démarche de développement assistée par l'IA Collaborer avec les équipes ESG, Data et Investment Engineering Profil recherché2 à 7 ans d'expérience Excellente maîtrise de React et TypeScript Expérience en analyse et formalisation des besoins utilisateurs Maîtrise de Git, tests et CI/CD Bonne connaissance des environnements Azure Autonomie, esprit produit et forte capacité d'analyse Français et anglais professionnels Les vrais plusExpérience en ESG, Asset Management ou Finance Connaissances en SQL, Python, Power BI, Synapse ou PySpark Expérience du développement assisté par l'IA 🚀 Projet stratégique, environnement innovant et forte proximité avec les équipes métier.
Data product owner marketing digital 530 e par j Le profil recherché dispose d'une expérience confirmée de Product Owner Data, ou équivalent, dans des environnements Data, CRM, Marketing Digital ou Customer Analytics. Il devra savoir recueillir, structurer, challenger et prioriser les besoins métiers, puis piloter la conception et la mise à disposition de Data Products créateurs de valeur. Le candidat devra évoluer dans un cadre produit où les priorités sont arbitrées collectivement avec les Data Domain Owners et le Product Manager, selon la valeur métier, les contraintes techniques et les capacités de delivery. Une bonne compréhension des enjeux de connaissance client, segmentation, activation marketing, CDP, attribution des campagnes et performance marketing est attendue. Une expérience des données digitales, ou d'un outil d'attribution marketing comme Eulerian est un plus. Le prestataire devra posséder de solides compétences en analyse, qualification et contrôle de la donnée, ainsi qu'une expérience prouvée en SQL. Des connaissances de Python ou de PySpark seraient un plus. Une maîtrise des outils JIRA et Confluence est attendue, ainsi qu'une connaissance de dbt, Git, du data lineage et des grands principes du Data Engineering ou de l'architecture logicielle. 530 e par j
Dans le cadre de l'évolution d'une Data Platform Cloud déjà en production, nous recherchons un Data Engineer AWS confirmé/senior. La mission s'inscrit dans un environnement Data à forte volumétrie et porte principalement sur l'évolution de la plateforme, l'industrialisation des pipelines de données et l'intégration de solutions AWS. Vos missionsParticiper à la définition et à l'évolution de l'architecture Data Platform / Lakehouse Concevoir, développer et industrialiser des pipelines de données Développer des traitements PySpark sur AWS Glue Intégrer les services Data AWS, notamment S3 Participer au développement d'API en Java / Spring Boot Contribuer à la mise en place d'un environnement Data Lab Mettre en œuvre et améliorer les processus CI/CD Analyser les besoins fonctionnels et les traduire en solutions techniques Garantir la maintenabilité et la sécurité des solutions Participer aux mises en production Assurer le support de production en cas d'incident majeur Contribuer aux bonnes pratiques de développement, de tests et d'industrialisation
ContexteDans le cadre du renforcement de son équipe Data, notre client recherche un Développeur Data Snowflake / Cortex confirmé pour participer au développement et à l'évolution de sa plateforme Data Cloud et de ses usages autour de l'IA. MissionsConcevoir et développer des pipelines de données et des traitements ETL/ELT. Développer et optimiser les modèles de données sur Snowflake. Mettre en œuvre les transformations de données avec dbt. Participer à l'intégration et à l'exploitation des fonctionnalités Snowflake Cortex et des services d'IA associés. Développer des traitements Data en Python / PySpark / SQL. Participer à la mise en qualité, au contrôle et à la sécurisation des données. Optimiser les performances des traitements et des requêtes Snowflake. Participer à l'industrialisation et à l'orchestration des pipelines. Contribuer aux pratiques Git / CI-CD et à l'amélioration continue de la plateforme Data. Environnement techniqueSnowflake, Snowflake Cortex, dbt, SQL, Python, PySpark, Spark, Azure, Azure Data Factory, Azure Databricks, ADLS, Airflow, Git, CI/CD, Power BI.
