Nous recherchons pour l'un de nos clients un Senior Data Engineer spécialisé en PySpark, Databricks et Azure, pour intervenir sur de nouveaux projets Data / Vos missions Concevoir et développer des pipelines de traitement de données en PySpark sur Databricks. Participer aux choix d'architecture et à la mise en œuvre de solutions Data sur Azure. Garantir la qualité, la fiabilité et les performances des traitements. Challenger les choix techniques et proposer des alternatives argumentées. Contribuer aux revues de code et au partage des bonnes pratiques. Profil recherché Au moins 6 ans d'expérience en Data Engineering. Solide maîtrise de Python, PySpark et Databricks. Expérience significative de l'environnement Azure. Autonomie, esprit critique et capacité à proposer et défendre ses idées. Capacité à expliquer ses choix techniques et à comprendre le fonctionnement des solutions développées. Aucune expertise sectorielle particulière n'est requise.
ContexteDans le cadre du renforcement d'une équipe , nous recherchons un consultant Data Engineer Senior/Expert capable d'intervenir de manière autonome sur la conception, l'industrialisation et l'exploitation de produits et pipelines Data. La mission s'inscrit dans un environnement Lakehouse AWS, avec des enjeux de qualité, performance, fiabilité des traitements et maîtrise du RUN. MissionsLe consultant interviendra notamment sur les activités suivantes : Concevoir, développer et optimiser des pipelines de données. Développer et industrialiser les traitements avec Spark/PySpark, Python, SQL et dbt. Exploiter des données au format Apache Iceberg dans une architecture Lakehouse / Medallion. Orchestrer les traitements avec Airflow. Déployer et maintenir les traitements sur AWS et contribuer à l'Infrastructure as Code avec Terraform. Mettre en œuvre les contrôles de Data Quality, tests et mécanismes d'observabilité. Participer au RUN, à l'analyse des incidents et au traitement des causes racines. Contribuer à la documentation, au Data Lineage, aux Data Contracts et au Data Catalog. Travailler avec les Product Owners et interlocuteurs métier afin de traduire les besoins Marketing en solutions Data robustes et maintenables. LivrablesLes livrables de la prestation pourront comprendre : Pipelines Data développés, testés et industrialisés. Transformations Spark et Modèles dbt. Workflows Airflow. Infrastructure Terraform nécessaire aux traitements. Tests automatisés et contrôles de Data Quality. Monitoring et alerting associés aux traitements. Documentation technique et fonctionnelle. Documentation des modèles et règles métier. Contribution aux Data Contracts, lineage et métadonnées. Analyse et résolution des incidents. Plans de remédiation pour les incidents ou problèmes récurrents. Contribution aux standards et bonnes pratiques Data Engineering de l'équipe.
Dans le cadre de la modernisation de son environnement data, notre client renforce une équipe métier avec un expert Dataiku. Il s'agit de migrer et d'industrialiser des traitements de données, puis d'alimenter des tableaux de bord. Missions : Développer et industrialiser des flux de données dans Dataiku Migrer des traitements existants vers Dataiku Apporter un support technique aux équipes métier et les accompagner dans la prise en main de l'outil Faire le lien avec les équipes IT Profil recherché : Plus de 5 ans d'expérience en data, dont une expertise Dataiku confirmée Python, PySpark, SQL et intégration d'API maîtrisés Plus : SAS, Tableau, connaissance du secteur financier Anglais professionnel
A LIRE ATTENTIVEMENT AVANT DE POSTULER ⬇ 🏠 2 à 3 jours de télétravail / semaine - 📍 Lyon (07) - 🛠 Expérience de 5 ans minimum Vous aimez travailler sur toute la chaîne de traitement de la donnée, de la compréhension des besoins métier jusqu'à sa restitution ? Nous recherchons actuellement un.e Data Engineer Spark & PySpark / Databricks pour rejoindre l'équipe Data/BI de l'un de nos clients. Votre mission : faire évoluer l'architecture décisionnelle existante, développer et optimiser les traitements de données et participer à une migration vers Databricks. Un poste qui combine développement, modélisation de données et échanges avec les équipes métier. Votre mission : faire évoluer la plateforme Data Vous interviendrez sur les différentes étapes de la chaîne décisionnelle, depuis l'identification des données jusqu'à leur exploitation pour le reporting métier. Concrètement, vous serez amené à : - Comprendre les besoins métier : échanger avec les interlocuteurs métier, analyser leurs attentes et identifier les données nécessaires. - Concevoir et faire évoluer les modèles de données : enrichir les entrepôts de données et les datamarts pour répondre aux besoins de reporting. - Développer les traitements Data : concevoir des pipelines d'intégration et des traitements Spark pour transformer et préparer les données. - Améliorer la qualité et les performances : contrôler, nettoyer les données et optimiser les traitements existants. - Participer à la migration vers Databricks : contribuer à l'évolution de l'architecture et des traitements dans le cadre de cette migration. - Assurer la fiabilité des développements : réaliser les tests, documenter les solutions, participer aux déploiements et assurer la maintenance.
A LIRE ATTENTIVEMENT AVANT DE POSTULER ⬇ 🏠 2 à 3 jours de télétravail / semaine - 📍 Lyon (07) - 🛠 Expérience de 5 ans minimum Vous aimez travailler sur toute la chaîne de traitement de la donnée, de la compréhension des besoins métier jusqu'à sa restitution ? Nous recherchons actuellement un.e Data Engineer Spark & PySpark / Databricks pour rejoindre l'équipe Data/BI de l'un de nos clients. Votre mission : faire évoluer l'architecture décisionnelle existante, développer et optimiser les traitements de données et participer à une migration vers Databricks. Un poste qui combine développement, modélisation de données et échanges avec les équipes métier. Votre mission : faire évoluer la plateforme Data Vous interviendrez sur les différentes étapes de la chaîne décisionnelle, depuis l'identification des données jusqu'à leur exploitation pour le reporting métier. Concrètement, vous serez amené à : - Comprendre les besoins métier : échanger avec les interlocuteurs métier, analyser leurs attentes et identifier les données nécessaires. - Concevoir et faire évoluer les modèles de données : enrichir les entrepôts de données et les datamarts pour répondre aux besoins de reporting. - Développer les traitements Data : concevoir des pipelines d'intégration et des traitements Spark pour transformer et préparer les données. - Améliorer la qualité et les performances : contrôler, nettoyer les données et optimiser les traitements existants. - Participer à la migration vers Databricks : contribuer à l'évolution de l'architecture et des traitements dans le cadre de cette migration. - Assurer la fiabilité des développements : réaliser les tests, documenter les solutions, participer aux déploiements et assurer la maintenance.
Ne postulez pas si vous ne justifiez pas d'au moins 5 ans d'expérience et d'une parfaite maîtrise de Python et de Spark. Contexte de la mission Dans le cadre du renforcement de ses équipes Data, notre client, acteur majeur du secteur des services financiers, recherche un Data Engineer Scala ou Python / Spark. Vous intégrerez une équipe technique en charge de la conception, du développement et de la maintenance de solutions de traitement et d'exploitation de données à grande échelle. Missions principales Concevoir, développer et maintenir des pipelines de traitement de données. Développer des traitements distribués avec Apache Spark en Scala ou Python. Participer à la collecte, à la transformation et à l'intégration de données provenant de différentes sources. Optimiser les performances et la fiabilité des traitements Data. Garantir la qualité, la cohérence et la disponibilité des données. Participer à l'industrialisation et à l'automatisation des flux de données. Collaborer avec les équipes Data, IT et métiers. Contribuer aux bonnes pratiques de développement, de documentation et de mise en production. Compétences techniques requises Bonne maîtrise de Scala ou Python. Expérience significative avec Apache Spark. Bonne connaissance des architectures et traitements Big Data. Maîtrise des concepts ETL / ELT et des pipelines de données. Bonne compréhension des bases de données SQL. Connaissance des environnements distribués. Utilisation de Git et des bonnes pratiques de développement.
Nous recherchons un Data Engineer Senior pour renforcer une équipe Data et intervenir sur une plateforme AWS traitant d'importants volumes de données. Vous participerez à la conception, à l'optimisation et à l'industrialisation des pipelines Data, avec des enjeux forts de performance, de qualité et de scalabilité. Missions principalesConcevoir, développer et maintenir des pipelines Data sur AWS. Développer et optimiser les traitements en Python, SQL et PySpark. Orchestrer les workflows avec Airflow / MWAA. Optimiser les traitements Spark sur des volumes importants. Concevoir et faire évoluer les modèles de données au sein du Data Lake. Garantir la qualité, la fiabilité et la performance des données. Mettre en place le monitoring et optimiser les coûts des traitements. Collaborer avec les équipes Data Science et métiers. Exploiter les outils d'IA générative et agentique pour améliorer les pratiques de développement. Environnement techniqueStack principale : AWS : S3, Glue, Athena, EMR, MWAA, ECS, Lambda Python : Pandas, PySpark, AWS Wrangler SQL avancé Apache Spark Apache Airflow / MWAA Parquet, Iceberg, Delta Lake Compétences complémentaires : Terraform IAM / Sécurité Cloud Data Lake / Data Modeling IA générative et agentique
Nous sommes à la recherche d'un(e) : Data Engineer confirmé - Réaliser les intégrations de données, les traitements et les reportings - Comprendre les besoins métier et faire les investigations nécessaires pour une réalisation optimale - Concevoir et réaliser les développements et configurations dans Palantir - Documenter les réalisation, présenter le résultat et participer aux recettes - Intégrer l'équipe BI, travailler en collaboration avec tous les membres et participer à la communité technique. - Participer au suivi quotidien des applications
Basée à Lille, Lyon, Nantes, Grenoble, Marseille, Paris et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s'imposer comme une référence en matière de freelancing par son expertise dans l'IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Data Engineer Big Data Confirmé (H/F) à Lyon, France. Les missions attendues par le Data Engineer Big Data Confirmé (H/F) : Développement & Industrialisation Big Data : Concevoir, développer et optimiser des pipelines de données massives en pySpark, gérer leur ordonnancement et garantir un haut niveau de qualité logicielle (couverture de tests > 80 %, CI/CD). Supervision & Run : Mettre en place des tableaux de bord de suivi de performance et de qualité de données et assurer le MCO et la gestion des incidents en production. Architecture & Accompagnement : Proposer des évolutions d'architecture de données (approche Médaillon compatible Cloud) et accompagner les Data Scientists de l'équipe dans l'industrialisation de leurs modèles et codes d'expérimentation. Migration Cloud (Databricks) : Préparer, tester et réaliser la migration des pipelines existants (Hadoop/HDFS) vers Databricks / Delta Lake. Conseil & Partage : Assurer une veille technologique active, animer des ateliers de bonnes pratiques (performance Spark, qualité de code) Environnement technique Langages & Big Data : Python, pySpark, SQL (PostgreSQL) Plateformes Data : Hadoop / HDFS (actuel) /Databricks / Delta Lake (cible 2027) Orchestration & DevOps : Airflow, GitLab, GitLab-CI/CD BI & Gestion de projet : PowerBI, Jira, Confluence Impératifs Data Engineering & pySpark massif : Au moins 5 ans d'expérience en Data Engineering, dont une pratique approfondie de pySpark (conception et mise en production de pipelines traitant plusieurs dizaines de millions de lignes). Maîtrise Spark en production (Databricks / Hadoop) Expérience avérée du Run en production : Une expérience significative en mise en production, optimisation, maintenance (MCO) et supervision de pipelines Spark (monitoring, contrôles qualité de données, gestion des incidents). Localisation : Lyon Démarrage : ASAP TJM : 440 €
Dans le cadre de l'amélioration et de la structuration de son environnement Data nous recherchons un(e) Data Engineer spécialisé(e) en Data Quality. Vous interviendrez sur des données opérationnelles issues d'une plateforme de supervision industrielle, avec pour objectif d'améliorer durablement leur qualité, leur fiabilité et leur exploitabilité. Vous évoluerez au sein d'une architecture Data en médaillon sous Microsoft Fabric et contribuerez à l'industrialisation des flux et traitements nécessaires aux activités de supervision, de suivi de performance et de reporting. Vos missions En tant que Data Engineer / Data Quality, vous serez notamment amené(e) à : Définir et maintenir des règles de qualité sur les données de production, de disponibilité, de pertes et d'états opérationnels. Mettre en place des contrôles automatisés, des indicateurs de qualité et des mécanismes d'alerte. Concevoir, développer et maintenir des pipelines d'ingestion et de transformation de données. Développer des traitements en SQL et Python/PySpark dans un environnement Microsoft Fabric. Garantir la robustesse, la traçabilité et la réexécution des pipelines. Mettre à disposition des jeux de données fiables et documentés pour les équipes BI et les usages analytiques. Appliquer les bonnes pratiques de développement : versionnement, tests, journalisation, revue de code et déploiement. Assurer la documentation technique et le transfert de connaissances. Collaborer avec les équipes Data, IT, Exploitation et Performance ainsi qu'avec les différents interlocuteurs techniques. Livrables attendus Référentiel de règles et de contrôles qualité. Pipelines et traitements industrialisés, testés et documentés. Tableau de bord de suivi de la qualité des données. Documentation technique et procédures d'exploitation. Supports et sessions de transfert de compétences.
Nous recherchons pour une mission longue chez notre client secteur banque/finance en région parisienne un Data Engineer confirmé. Vous rejoignez une équipe qui construit un hub de données de marchés sur AWS, avec Apache Iceberg comme format de stockage central. Un projet structurant, qui s'inscrit dans la stratégie SI du client et interagit avec plusieurs grands programmes. Vos missions : - Concevoir et mettre en œuvre les pipelines d'ingestion depuis les référentiels de données de marchés. - Structurer et modéliser des datasets cohérents à partir des référentiels sources. - Exploiter Apache Iceberg : partitionnement, time travel, évolution de schéma, compaction. - Développer les traitements de transformation et de chargement en Python / PySpark (EMR ou Glue ETL). - Garantir la qualité et la traçabilité des données : lineage, contrôles de cohérence, gouvernance. - Assurer la fiabilité en production : monitoring, alertes, reprises et gestion des incidents. - Échanger avec les équipes métier, data et infrastructure. Vous êtes recruté en CDI cadre chez Ingéniance et rejoignez notre communauté d'experts data. Ref : O-LPXHD
Freelance | 3 mois renouvelables (prolongation très probable de 6 à 12 mois) | Démarrage ASAP | Anglais Contexte Notre client construit une intégration de référence entre ses outils de modélisation actuarielle, notamment Prophet, et son socle de données finance. La première phase consiste à migrer les traitements Prophet / SQL Server vers Prophet / Databricks. Vous rejoignez l'équipe data pour concevoir, livrer et maintenir les pipelines et l'orchestration sur votre périmètre. Missions Migrer les traitements Prophet / SQL Server existants vers Databricks Construire et orchestrer les pipelines Databricks qui alimentent le socle de données finance avec les résultats des modèles actuariels Développer en Python, PySpark et SQL sur des volumes de données importants, selon une architecture médaillon Mettre en place des contrôles de qualité et de cohérence des données jusqu'à la source Documenter et tester unitairement le code, en suivant les pratiques gitflow Travailler avec les actuaires, la finance et les équipes data pour comprendre les données et leur sens métier
Dans le cadre du développement et de l'évolution de sa plateforme Data, notre client recherche un Tech Lead Data Engineering disposant d'une expertise avancée sur Databricks, PySpark et Unity Catalog. Le consultant interviendra comme référent technique pour accompagner les équipes dans la conception, le développement et l'industrialisation des solutions Data. MissionsPiloter les choix techniques et accompagner la conception des architectures Data sur Databricks. Concevoir, développer et optimiser les pipelines de traitement de données avec PySpark et Spark SQL. Mettre en œuvre et administrer Unity Catalog pour structurer la gouvernance, la gestion des accès et la traçabilité des données. Garantir la qualité, la performance et la fiabilité des traitements Data, notamment sur les environnements Delta Lake. Encadrer techniquement les Data Engineers, réaliser les revues de code et diffuser les bonnes pratiques de développement. Accompagner l'industrialisation des pipelines, l'automatisation des déploiements et l'intégration des pratiques CI/CD.
Au sein de l'équipe, vous concevez, développez et maintenez les pipelines de données et les architectures de données de la plateforme, en lien avec les enjeux métiers. Missions principales Être force de proposition et participer à la conception des solutions techniques avec les membres de l'équipe Comprendre les enjeux métiers afin de concevoir des solutions répondant aux besoins fonctionnels Participer aux cérémonies Agile SAFe : PI Planning, macro-chiffrage, raffinements, rétrospectives, etc. Concevoir et faire évoluer les architectures de données selon l'approche Databricks Medallion Architecture (Bronze, Silver, Gold) Garantir la qualité, la fiabilité et la performance des traitements en production : jobs Databricks et API Contribuer à l'amélioration continue de la plateforme en proposant des optimisations, des bonnes pratiques et des innovations Activités Concevoir, développer et maintenir des pipelines de données (ETL) pour les flux d'intégration et les flux métiers Mettre en œuvre et orchestrer les traitements de données avec Databricks Modéliser les données dans des tables Delta Lake en appliquant les bonnes pratiques de partitionnement, d'indexation, d'optimisation et de gouvernance Optimiser les performances des traitements Databricks : Spark, Delta Lake, coûts et temps d'exécution Assurer le développement, les tests et le déploiement des composants techniques via des processus CI/CD Concevoir, développer et maintenir des API pour l'exposition et la consommation des données Mettre en place des mécanismes de Data Quality, de monitoring et d'alerting Identifier, analyser et résoudre les incidents de production, avec suivi des actions correctives Rédiger et maintenir la documentation technique des solutions mises en œuvre Accompagner les équipes dans l'adoption des bonnes pratiques de Data Engineering Environnement technique Langages : Python, SQL Data processing : Spark, PySpark, DBUtils API et tests : FastAPI, Pytest Data platform : Databricks, Unity Catalog Orchestration : Airflow, avec migration vers Databricks Workflows AWS : Lambda, Secrets Manager, S3, ECS Versioning : Git Industrialisation : pipelines CI/CD