Vos missions1. Leadership technique et accompagnement de l'équipe Accompagner les développeurs dans la conception et la mise en œuvre des solutions techniques. Participer au recrutement et à l'intégration des nouveaux membres de l'équipe. Garantir le respect des bonnes pratiques de développement, des standards de qualité et des principes DevOps. Contrôler les développements et réaliser des revues de code régulières. 2. Conception et développement Concevoir et développer les composants applicatifs les plus complexes en Java, Spring Boot et Spark. Participer à la définition des solutions techniques en collaboration avec les Business Analysts. Concevoir et mettre en œuvre des solutions Big Data adaptées aux enjeux de traitement et de modélisation des données. Rédiger les spécifications techniques et garantir la qualité, la maintenabilité et la réversibilité du code. Appliquer les principes Clean Code, Clean Architecture et SOLID. Promouvoir les pratiques de tests automatisés, notamment TDD et BDD. 3. Industrialisation et accompagnement de la production Accompagner les équipes de support lors des mises en production et présenter les évolutions livrées. Analyser les incidents, identifier les causes racines et contribuer à leur résolution. Participer à l'industrialisation des composants et à l'amélioration de la chaîne de production. Veiller à la sécurité des développements et au traitement des obsolescences et vulnérabilités. 4. Amélioration continue et innovation Assurer une veille technologique et proposer des améliorations techniques. Contribuer à l'évolution de l'architecture et à la modernisation du système d'information. Participer à l'intégration d'outils d'intelligence artificielle dans les pratiques de développement. Compétences techniques indispensables : Java Spring Boot Apache Spark Autres compétences attendues : Maîtrise de SQL et de la modélisation des données. Expérience en conception et implémentation de solutions Big Data. Connaissance des plateformes et technologies Big Data : Kubernetes, S3, MinIO, ELK, Apache Iceberg. Maîtrise des outils et pratiques DevOps : GitLab, Argo CD, Argo Workflows. Connaissance des usines logicielles et de l'ALM (Application Lifecycle Management). Maîtrise des méthodologies Agile. Pratique des tests automatisés et des revues de code. Sensibilité aux enjeux de sécurité, de performance et de maintenabilité des applications. Une connaissance des outils d'assistance au développement par l'IA, notamment GitHub Copilot, serait appréciée.
Contexte : Les modalités Lieu : Paris Télétravail : 50%. Démarrage : 01/01/2027. Les missions attendues par le Développeur Big Data Senior – Python Park (H/F) : Contexte Pour un acteur majeur du secteur de l'énergie, nous recherchons un profil Data Scientist / Développeur Big Data Senior pour intégrer une équipe dédiée à la réalisation d'études et de produits data innovants. Vous interviendrez sur des thématiques stratégiques telles que la maintenance prédictive, la mobilité électrique et les charges sur le réseau. Plus spécifiquement, la mission s'articule au sein de l'équipe "Branchements", avec un focus particulier sur le traitement des adresses et de la localisation. Vous accompagnerez le cycle de vie complet des produits data, de l'exploration initiale jusqu'à leur mise en production opérationnelle. Vos missions Animer des ateliers avec les experts métiers afin de recueillir et définir précisément les besoins, en toute autonomie. Rechercher les données adéquates et mener des analyses exploratoires poussées. Concevoir et développer des traitements de données sur de très fortes volumétries (plusieurs dizaines de millions de lignes). Réaliser des études statistiques approfondies et développer des modèles de Machine Learning. Industrialiser les codes d'expérimentation, notamment en refactorisant des scripts Python vers des traitements robustes en PySpark. Restituer les résultats et assurer le reporting sous forme de tableaux de bord ou de rapports d'étude. Rédiger les documents de cadrage du projet et animer des groupes de travail autour des processus métiers. Assurer une veille technologique active sur les outils de data science et partager les bonnes pratiques avec l'équipe. Environnement technique Python (pandas, polars, scikit-learn, matplotlib, xgboost, pandera, geopandas), PySpark, Hadoop, PostgreSQL, PowerBI, GitLab (CI/CD), Jira, Confluence.
Dans le cadre du renforcement de ses équipes Data Platform / Data Factory, recherche un Data Engineer expérimenté pour intervenir sur ses projets Data. Le consultant intégrera un environnement Data en croissance, avec des enjeux d'industrialisation, de performance, de qualité et de gouvernance de la donnée. Missions principales Concevoir, développer et maintenir des pipelines de données. Assurer l'ingestion, la transformation et la mise à disposition des données. Développer et industrialiser les traitements Data sous Databricks / Spark. Participer à l'évolution de la Data Platform Azure. Optimiser les traitements et les performances des pipelines. Travailler sur la qualité, la fiabilité et la disponibilité des données. Participer aux problématiques de traitement batch et/ou temps réel. Contribuer aux bonnes pratiques de développement et d'industrialisation Data. Collaborer avec les équipes Data Platform, Data Engineering, Data Science et les équipes métiers. Contribuer aux enjeux de gouvernance et de sécurisation des données. Avec un écosystème Data Platform comprenant également des enjeux autour de Databricks Unity Catalog, notamment pour la gouvernance, le lineage et la gestion des accès.
Nous recherchons un Data Engineer pour rejoindre une équipe dédiée à la construction et à l'évolution d'une plateforme Data alimentant des produits et services à forte volumétrie. Au sein d'une équipe pluridisciplinaire composée de Data Engineers, développeurs, DevOps, Scrum Masters et Product Owners, vous évoluerez dans un environnement Agile / Scrum. Vos missionsConcevoir, développer et maintenir des pipelines de traitement de données avec Apache Spark. Modéliser et faire évoluer des tables Apache Iceberg sur Amazon S3, en garantissant performance, évolutivité et gouvernance. Fiabiliser et industrialiser les flux de données afin de garantir leur fraîcheur, cohérence et disponibilité. Mettre en place des contrôles de qualité des données : complétude, unicité, fraîcheur, cohérence et traçabilité. Développer des traitements robustes et résilients : rejouabilité, gestion des erreurs, retries, backfill et gestion des données en retard. Mettre en place le monitoring et l'observabilité des pipelines : métriques, logs, dashboards et alertes. Participer aux phases de tests : tests unitaires, intégration, qualité des données, performance et montée en charge. Documenter les pipelines, modèles de données, procédures d'exploitation et choix techniques. Participer aux pratiques de CI/CD et aux revues de code. Environnement techniqueApache Spark – Apache Iceberg – AWS – Amazon S3 – Python et/ou Scala – SQL – Git – CI/CD – Monitoring & Alerting Profil recherchéFormation supérieure en informatique, Data ou ingénierie. Première expérience en Data Engineering. Bonne maîtrise de Spark et SQL. Expérience en Python ou Scala appréciée. Bonne connaissance des architectures Data sur AWS, notamment S3. Connaissance d'Iceberg ou de technologies de tables/stockage analytiques similaires. Sensibilité aux enjeux de qualité des données, résilience et observabilité. Autonomie, curiosité, esprit d'équipe et intérêt pour les environnements techniques modernes.
Smartpoint, ESN spécialisée dans la Data et l'IA, recherche un Tech Lead Big Data / Data Engineer expérimenté pour renforcer une équipe Data au sein de la DSI d'un grand environnement SI. Vous interviendrez sur des enjeux de gestion de l'obsolescence technique, d'optimisation des traitements Big Data et d'accompagnement des équipes Data Engineering, avec pour objectif d'améliorer la performance, la qualité et la pérennité des applications. Vos missions En tant que Tech Lead Big Data, vous serez amené(e) à : Piloter la gestion de l'obsolescence : auditer les versions des composants applicatifs, identifier les risques et planifier les migrations techniques. Définir et diffuser les bonnes pratiques de développement auprès des équipes Data Engineer. Analyser et optimiser les traitements Big Data afin d'améliorer les performances, de maîtriser les coûts et de contribuer aux objectifs FinOps. Intervenir sur les développements de données et accompagner la résolution de bugs complexes. Accompagner les équipes techniques dans leurs choix d'architecture, leurs évolutions technologiques et leurs montées de version. Collaborer avec les équipes Socle et Infrastructure pour organiser et réaliser les migrations des composants. Animer les instances de suivi de l'obsolescence et communiquer les risques, les avancées et les recommandations aux équipes de pilotage. Proposer des orientations techniques et des solutions innovantes pour faire évoluer l'écosystème Data.
Dans le cadre d'un projet stratégique pour un acteur majeur du secteur bancaire, nous recherchons un Tech Lead Java disposant d'une solide expertise en Spark et Kubernetes. Vous intégrerez une équipe technique et serez en charge de contribuer à la conception, au développement et à l'évolution d'applications à fort enjeu, dans un environnement Big Data et cloud-native. 🛠️ Vos missions Concevoir et développer des applications Java robustes et scalables. Participer à la conception et à l'évolution de solutions basées sur Spark. Travailler sur des environnements conteneurisés avec Kubernetes. Être le référent technique de l'équipe sur les sujets Java / Big Data. Participer aux choix d'architecture et aux décisions techniques. Garantir la qualité du code : code review, bonnes pratiques, tests et performance. Accompagner les développeurs et partager les bonnes pratiques. Collaborer avec les différentes équipes techniques et fonctionnelles.
Le bénéficiaire souhaite une prestation d'accompagnement dans l'objectif d'assurer une mission dans le cadre de notre transition vers une architecture Data Mesh. Nous recherchons un(e) Data Product Engineer spécialisé(e) dans le développement de pipelines sur la plateforme Talend Real Time BigData et de data products sur la plateforme Starburst. Votre mission sera de concevoir, collecter, intégrer, construire et opérer des jeux de données fiables, auto-descriptifs et interopérables, en collaboration avec les domain métiers et les data owners. Missions clés : - Conception de flux de données et de Data Products Développement des pipelines d'intégration de données optimisés via la Talend Data Fabric / Talend Real Time BigData ou encore Spark / Astronomer Documentation des pipelines d'ingestion de données Intégration des données dans l'écosystème Data Mesh Collaboration avec les domaines métiers pour identifier les sources de données et les cas d'usage. Développement des data products / data sets (vues & vues matérialisées) répondant à des cas d'usage identifiées avec les responsables de domaines métiers Développement des requêtes SQL optimisées pour Starburst (push-down predicates, partitionnement, formats de fichiers comme Iceberg/Parquet). Documentation les data products (métadonnées, ownership, qualité) Contribution à l'amélioration continue des data produts dans de la plateforme Starburst Mise en place des alertes et des dashboards pour le suivi des data products.
🚀 Data Engineer Senior – Big Data / Lakehouse / AWS Niveau : Senior Expérience : 8 ans minimum en Data Engineering Démarrage souhaité : ASAP Durée : 12 mois, renouvelable Rythme : 5 jours/semaine Télétravail : 3 jours/semaine 🎯 Contexte de la mission : Dans le cadre du renforcement de son pôle Data Services, notre client recherche un Data Engineer Senior pour accompagner la conception, l'industrialisation et l'évolution de ses solutions Data. Le consultant interviendra sur des sujets à forte dimension Data Engineering, Big Data et Lakehouse, avec notamment des problématiques d'architecture, de modélisation, d'optimisation des pipelines et d'industrialisation des traitements. Il contribuera également à l'évolution de la stratégie Lakehouse du client et devra être capable d'accompagner techniquement des profils plus juniors. 🔎 Missions Concevoir, développer et optimiser des pipelines de données à grande échelle Mettre en œuvre des flux batch, streaming et ingestion via API Structurer les données selon une architecture Médaillon (Bronze / Silver / Gold) Développer et industrialiser les transformations avec DBT, Spark et Iceberg Contribuer à l'évolution et à l'optimisation de l'architecture Lakehouse Déployer et maintenir les pipelines dans un environnement AWS Orchestrer les workflows ETL / ELT via Airflow Mettre en œuvre l'Infrastructure as Code avec Terraform Participer à la mise en place et au maintien de l'observabilité et de la supervision des traitements Définir et mettre en œuvre les règles de Data Quality : tests, contrôles et validations automatisées Participer à la gestion des incidents et à l'amélioration continue Documenter les architectures, pi
Nous recherchons un Data Engineer confirmé pour rejoindre l'équipe data d'un grand compte, en mode agile. Vos missions Construire les pipelines d'ingestion, de validation et d'enrichissement des données vers un datalake Produire automatiquement des agrégats journaliers, hebdomadaires et mensuels Industrialiser les déploiements et automatiser les tests Votre profil 5 ans ou plus en Data Engineering GCP indispensable (BigQuery, GCS, Composer, GKE) Spark / Scala, Kafka, Airflow Terraform, Docker, Jenkins / Cloud Build Esprit d'équipe, Scrum / Kanban Certification GCP Data Engineer appréciée.
Les modalités Lieu : Lyon Télétravail : 50% Démarrage : 01/01/2027 Les missions attendues par le Data Engineer Python Spark (H/F) : Contexte Pour un acteur majeur du secteur de l'énergie, nous recherchons un Data Scientist / Développeur Big Data Senior pour rejoindre une équipe dédiée aux études et produits data innovants, notamment sur la maintenance prédictive et la mobilité électrique. Vous interviendrez en priorité sur des thématiques métiers complexes et sur la création d'un pipeline de mise à disposition de projets cartographiques à destination des équipes opérationnelles. La mission couvre l'intégralité de la chaîne de valeur, depuis l'analyse exploratoire et l'étude jusqu'à la mise en production des traitements de data science. Vos missions Animer des ateliers avec les experts métiers pour collecter, préciser et cadrer les besoins. Réaliser la recherche de données adéquates et mener des analyses exploratoires approfondies. Concevoir et développer des traitements de données et réaliser des études statistiques. Développer des modèles de Machine Learning selon les cas d'usage. Industrialiser les codes d'expérimentation en Python ou PySpark pour leur mise en production. Présenter les résultats et les synthétiser via des rapports d'étude ou des tableaux de bord interactifs. Assurer une veille technologique sur les outils de data science et partager les bonnes pratiques au sein de l'équipe. Environnement technique Python (pandas, polars, scikit-learn, matplotlib, xgboost, pandera, geopandas), PySpark, Hadoop, PostgreSQL, GitLab, GitLab-CI/CD, PowerBI, Jira, Confluence.
Développeur Back confirmé/senior pour une mission chez un acteur majeur du secteur jeux/paris en ligne (patrimoine desktop & mobile à fort trafic). 🔧 Stack : Java 21+, Spring Boot/Cloud, Kafka, Redis, AWS, API REST, Spark/Scala (un plus) 📍Localisation: Clichy + 2 TT ⏰ Démarrage : Asap ✅ Poste CDI & Collaboration freelance possible Les missions Concevoir des solutions techniques en réponse aux besoins métiers Développer du code robuste, performant et maintenable Participer à la définition et à l'évolution de l'architecture et la reduction de la dette technique Travailler sur les sujets de performance et de sécurité Participer au maintien en condition opérationnelle et à la résolution des incidents de production Collaborer avec les architectes et contribuer aux roadmaps produit 💡 Ce qui rend le poste intéressant Vous intervenez sur des sujets où le backend, la data, l'architecture et les problématiques de performance à fort trafic se rencontrent. Cote JAVA cela demande une solide experience sur les architectures microservices ou hexagonales
Data Engineer Senior — Databricks — Descriptif du poste Dans le cadre du développement de nos activités data, nous recrutons un Data Engineer Senior spécialisé sur la plateforme Databricks. Vous intervenez sur la conception et l'industrialisation de plateformes de données lakehouse : vous cadrez les besoins avec les équipes métiers, vous définissez les architectures cibles, vous construisez les pipelines d'ingestion et de transformation, et vous assurez leur mise en production ainsi que leur optimisation en coût et en performance. Vous êtes l'interlocuteur technique direct des équipes métiers sur votre périmètre et vous accompagnez la montée en compétences des profils plus juniors. — Parmi vos missions 🛠 Concevoir et industrialiser les plateformes de données sur Databricks Concevoir des architectures lakehouse en couches (bronze / silver / gold) sur Delta Lake Développer et optimiser les pipelines d'ingestion et de transformation en PySpark et en SQL Industrialiser les traitements avec Databricks Workflows, Delta Live Tables et une chaîne CI/CD Optimiser les coûts et les performances : dimensionnement des clusters, partitionnement, Photon, gestion du cache Mettre en place la gouvernance et la qualité des données Structurer Unity Catalog : catalogues, schémas, gestion des droits, lignage Définir les règles de qualité, les tests et le monitoring des pipelines en production Documenter les modèles de données et les contrats d'interface avec les systèmes amont et aval Cadrer les besoins avec les équipes métiers Animer les ateliers de recueil de besoins et traduire les exigences en solutions data Préconiser les architectures cibles et arbitrer les choix techniques (batch ou streaming, build ou buy) Présenter et défendre vos recommandations auprès des interlocuteurs techniques comme métiers Piloter la livraison et faire monter l'équipe en compétences Piloter un lot de bout en bout : conception, chiffrage, livraison, respect des délais Encadrer les profils juniors en revue de code et en pair programming Diffuser les bonnes pratiques d'engineering : versioning, tests, revue, documentation — Modalités pratiques Lieu : Ile de France Type de contrat : CDI Date de démarrage : A définir Télétravail : Fonction des contraintes opérationnelles (en moyenne : 2 jours)
Au sein d'une équipe Agile dédiée à des produits data innovants pour le réseau électrique, vous intervenez en tant que Lead Tech Data. Vous assurez le rôle de référent technique sur des sujets liés à la maintenance prédictive, la mobilité électrique et l'analyse des charges réseau. Vous concevez et maintenez des applications, API, dashboards et pipelines de données en Python. Vous contribuez au cadrage technique des projets, à leur industrialisation et à la qualité des réalisations : revues de code, tests, bonnes pratiques et intégration continue. Vous accompagnez également les développeurs et les Product Owners dans les choix techniques et la résolution des problématiques rencontrées.
🏢 Qui sommes-nous ? Visian Azur, filiale du Groupe Neurones, est une société de conseil spécialisée dans les projets data et applicatifs. Présents à Marseille, Aix-en-Provence, Sophia Antipolis, Montpellier, Toulouse et Lyon, nous accompagnons de grands comptes sur des projets techniquement exigeants. 💼 Le poste Vous rejoindrez le pôle Data de la Direction Technique d'un grand groupe français. Référent de l'exploitation de la plateforme Big Data, vous prendrez en charge son run en production et contribuerez à son évolution, au service des équipes projet et des utilisateurs. 🎯 Vos missions Maintenir la plateforme Datalake en conditions opérationnelles : traitement des incidents et des demandes des projets et des utilisateurs Participer à la mise en œuvre et à l'automatisation de nouvelles solutions Réaliser les mises en production Faire évoluer et améliorer les outils d'exploitation Informer et accompagner les utilisateurs de la plateforme Assurer le suivi de votre activité : bilan mensuel des tickets traités et point bimensuel sur l'avancement des projets 🛠️ Environnement technique Big Data : Hadoop, Spark, Kafka, Hive, HBase Conteneurisation : Docker, Kubernetes Automatisation et CI/CD : Ansible, Jenkins, GitHub Langages : Scala, Python Système : Unix / Linux
Tech Lead Data GCP – Python / SparkNous recherchons un Tech Lead Data GCP pour intervenir sur un projet stratégique autour des risques climatiques, physiques et du risque de crédit. La mission porte sur la mise en place d'une solution permettant d'ingérer, agréger et exposer des données multi-sources afin de produire des reportings métier. Missions principales : Concevoir et développer des solutions Data en Python / Spark Construire et industrialiser des pipelines d'ingestion et de traitement de données Intégrer les services Data & Compute Google Cloud Platform Participer aux choix d'architecture et aux développements complexes Encadrer et accompagner techniquement l'équipe Mettre en place les tests unitaires et améliorer la couverture de code Garantir la performance, la sécurité et la disponibilité des solutions Contribuer aux pratiques DevOps / CI-CD Participer aux estimations, à la documentation technique et aux pratiques Scrum Compétences indispensables : Python / Apache Spark Google Cloud Platform (GCP) BigQuery Dataproc Cloud Composer Cloud Functions Cloud Run Jobs Google Cloud Storage (GCS) Terraform Jenkins XLD Une expérience en risque de crédit constitue un plus. Profil recherché : expérience de 3 à 6 ans, autonomie, bonnes capacités de communication et aptitude à travailler dans un environnement technique exigeant. 📍 Paris 13e 📅 Mission longue durée
