Trouvez votre prochaine offre d’emploi ou de mission freelance Data Engineering à Lyon

Vous rejoignez une équipe data/BI en charge de la mise en place et de l’évolution de l’architecture décisionnelle : datawarehouse, datamarts, traitements de données et reporting métier. Missions : - Analyser les besoins fonctionnels et techniques des métiers - Localiser et qualifier les données nécessaires - Concevoir, modéliser et enrichir les datawarehouses et datamarts - Développer les processus d’intégration de données (ETL / pipelines Big Data) - Traiter et nettoyer les données, garantir leur qualité - Participer à la migration vers le cloud, (Databricks ) - Développer et optimiser des traitements Spark - Produire des rapports et tableaux de bord lisibles pour les métiers - Accompagner et former les utilisateurs dans l’exploitation des données et des rapports - Tester, documenter, déployer et maintenir les livrables en conditions opérationnelles - Participer aux revues de code et à l’amélioration continue de l’architecture décisionnelle Stack & environnement technique : - Big Data : Spark (essentiel), Hive, Indexima - Cloud / Data Platform : Databricks (fort enjeu de migration) - Stockage : Oracle, CEPH S3 (parquet) - Langages : SQL, Python, PL/SQL, Shell, Java (plus apprécié mais pas obligatoire) - ETL : Informatica - Dataviz : Tableau Server - CI/CD & outillage : Git, Jenkins, Ansible, Terraform - Ordonnancement : Control-M -Méthodologie : environnement agile Profil recherché : - Minimum 5 ans d’expérience sur des fonctions BI / Data Engineer / Ingénieur Décisionnel - Très bonne maîtrise de SQL - Solide expérience en modélisation d’entrepôts de données (DWH, datamarts) - Compétences avérées en traitement et nettoyage de données - Maîtrise de Spark indispensable - Expérience en accompagnement métier : ateliers, recueil de besoins, formation, support - Bon niveau de développement (Spark, SQL, idéalement Python et/ou Java en plus) Soft skills : - Autonomie, rigueur, sens de la qualité - Esprit d’équipe, bonnes capacités de communication - Curiosité, envie de comprendre le métier et les usages data - Capacité d’analyse et de synthèse - Force de proposition sur les solutions techniques et décisionnelles

● Maîtriser DataForm pour la transformation et l’orchestration des données. ● Travailler sur des environnements Data et Cloud, notamment GCP. ● Exploiter BigQuery et SQL avancé sur de gros volumes de données. ● Manipuler et analyser les données en SQL. ● Utiliser DataForm pour structurer les pipelines data. ● Gérer des fl ux temps réel avec Pub/Sub. ● Automatiser les workfl ows data via GitLab CI/CD et Docker Compose. ● Travailler sous Linux et en ligne de commande. ● Versionner le code avec Git. ● Collaborer en environnement agile (Scrum). - Expériences (au moins 2 ans) sur des projets intégrant DBT 1 JOUR SUR SITE

Dans le cadre du renforcement d’une équipe spécialisée dans les projets data à fort enjeu, nous recherchons un(e) Lead Tech orienté(e) Data Engineering / Data Science capable d’intervenir sur des environnements techniques exigeants et de contribuer à la montée en compétence des équipes. Vous évoluerez au sein d’un contexte stimulant, mêlant développement, traitement de données à grande échelle et accompagnement technique. Vos missions Au quotidien, vous serez amené(e) à : Concevoir et développer des solutions de traitement et d’analyse de données en Python Participer à la mise en place et à l’optimisation de pipelines data performants Travailler sur des architectures distribuées et des traitements volumineux via Spark et Hadoop Assurer la qualité, la maintenabilité et la performance des développements réalisés Collaborer avec les équipes techniques et métiers afin de comprendre les besoins et proposer des solutions adaptées Apporter un rôle de référent technique auprès des équipes Participer aux bonnes pratiques de développement, d’intégration continue et de déploiement Accompagner les collaborateurs sur les sujets techniques avec pédagogie et clarté Environnement technique Python Spark PostgreSQL Hadoop Git / GitLab CI/CD

Hello, Pour le compte de l'un de mes clients dans le secteur de l'énergie, je suis à la recherche d'un lead tech orienté Python & Spark. Impératifs : Excellente maîtrise de Python (+ 5 ans) Excellente maîtrise de Spark Maitrise des bonnes pratiques techniques et capacités de leadership technique pour communiquer efficacement et avec pédagogie. Description du profil : Référent technique dans une équipe Agile. Assure la responsabilité d'un ou plusieurs processus techniques. Minimum 5 années d'expérience en développement Python, avec une spécialisation en data engineering ou data science, et une expérience en leadership technique. Compétences attendues sur le profil : - Excellente maîtrise de Python et de ses librairies pour le traitement et l'analyse de données. - Familiarité avec Spark (PySpark ou Scala) pour le traitement de grandes volumétries de données. - Expérience en développement d'API et de dashboards avec FastAPI et Dash. - Bonne connaissance des bases de données SQL, notamment PostgreSQL et Teradata. - Maîtrise des outils de versioning et d'intégration continue, notamment Git et Gitlab CI/CD. - Compétences en gestion d'équipe et en leadership technique. En tant que Lead Tech Data, vous serez responsable de : - Développement d’applications et de traitements orientés data en Python : Création et maintenance d'API, de dashboards et de pipelines pour analyser et visualiser les données. - Maintien de la qualité logicielle : Effectuer des revues de code régulières, promouvoir et diffuser les bonnes pratiques de développement au sein de l'équipe. - Appui aux projets : Fournir une aide ponctuelle et des conseils techniques aux différents projets en cours. - Cadrage technique des sujets : Participer à la définition des besoins techniques et à la planification des solutions à mettre en place. - Échanges transverses avec les autres équipes : Collaborer avec les équipes transverses pour remonter les besoins et implémenter un cadre commun de travail.

Nous recherchons un Tech Lead Data Engineer expérimenté H/F en CDI sur Lyon pour une entreprise de renommée française afin de piloter la conception et l’évolution de notre plateforme data. Vous serez référent technique sur les sujets liés au traitement de données massives, à l’industrialisation des pipelines et à l’optimisation des architectures data. Vous interviendrez dans un environnement moderne orienté Big Data et Cloud, avec une forte utilisation de Python, Spark et des outils d’automatisation CI/CD. 3 jours de Télétravail Missions principales Concevoir et développer des pipelines de données robustes et scalables Encadrer techniquement l’équipe Data Engineering Développer des traitements distribués avec Spark Assurer l’intégration et la transformation de données à grande échelle Optimiser les performances des bases PostgreSQL et des traitements Big Data Participer à l’architecture des solutions Hadoop et Data Lake Industrialiser les déploiements via GitLab CI/CD Garantir la qualité, la sécurité et la fiabilité des données Collaborer avec les équipes Data Science, DevOps et métiers Mettre en place les bonnes pratiques de développement et de gouvernance data

🎯 MISSIONS Réaliser la data prep dans le cadre d'un projet d'automatisation des analyses récurrentes Contribuer à l'élaboration d'un cockpit de performance (data prep + data visualisation) Assurer le run quotidien : extraction, automatisation de livrables, création de reporting Renforcer le suivi de performance sur la partie non alimentaire Livrables attendus : Datasets sur BigQuery Classeurs Tableau Analyses + scripts pour le run quotidien 🛠️ ENVIRONNEMENT TECHNIQUE Cloud / Data : GCP, BigQuery Langages / Outils : SQL avancé (gros volumes), DBT Versioning : Git Méthode : Agile / Scrum 👤 PROFIL RECHERCHÉ Expert SQL Senior et/ou Data Engineer DBT confirmé Bac+5 informatique (école d'ingénieur ou université) ou équivalent 7 ans d'expérience minimum en Data Engineering DBT / SQL Expérience retail / grande distribution appréciée Bon communicant, autonome, esprit d'amélioration continue

En tant que Tech Lead, vous êtes l'expert Data Engineering et le référent technique dans vos missions. Vous intervenez principalement sur les problématiques d’ingestion, de traitement et d’industrialisation des données sur la data plateforme. Sans être responsable de l’architecture Data globale, vous avez un rôle clé dans la qualité des livrables, la standardisation des pratiques et la montée en compétence des Data Engineers. Expérience attendue : 7 à 12+ ans en Data Engineering avec une expérience dans un rôle de référent technique Vous correspondez au/à la Tech Lead que nous recherchons si : Vous disposez d’un leadership technique , reconnu et légitime auprès des équipes Vous savez animer, encadrer et fédérer une équipe autour de bonnes pratiques techniques et d’objectifs communs Vous faites preuve d’une excellente communication , associée à une forte capacité pédagogique Vous adoptez un esprit critique constructif et savez challenger les choix techniques dans une logique d’amélioration continue Vous êtes capable de prendre du recul sur des problématiques techniques afin de proposer des solutions pertinentes et durables Vous êtes autonome , proactif et doté d’un fort sens des responsabilités Vous favorisez le partage de connaissances et la montée en compétence collective Vous savez collaborer efficacement avec des rôles transverses (Architectes, Product Owners, DevOps, ML Engineers) Vous maîtrisez Python et SQL à un niveau avancé , avec une forte sensibilité aux bonnes pratiques de software engineering (qualité, maintenabilité, testabilité) Vous êtes capable de définir, documenter et faire appliquer des standards de développement , incluant la structuration des projets, les conventions de code et les stratégies de tests Vous avez une expérience significative dans la mise en place et la maintenance de chaînes CI/CD appliquées aux pipelines Data Vous portez une attention particulière à la qualité des données , à la testabilité et à l’ observabilité des pipelines en production Vous pratiquez régulièrement les revues de code , le mentoring et l’accompagnement technique des Data Engineers Vous êtes en mesure de concevoir des frameworks internes et des briques techniques réutilisables afin d’industrialiser et standardiser les développements Vous comprenez les enjeux de performance, de scalabilité et de maîtrise des coûts , et savez les intégrer dans vos choix techniques