ContexteDans le cadre du renforcement de son équipe Data, notre client recherche un Développeur Data Snowflake / Cortex confirmé pour participer au développement et à l'évolution de sa plateforme Data Cloud et de ses usages autour de l'IA. MissionsConcevoir et développer des pipelines de données et des traitements ETL/ELT. Développer et optimiser les modèles de données sur Snowflake. Mettre en œuvre les transformations de données avec dbt. Participer à l'intégration et à l'exploitation des fonctionnalités Snowflake Cortex et des services d'IA associés. Développer des traitements Data en Python / PySpark / SQL. Participer à la mise en qualité, au contrôle et à la sécurisation des données. Optimiser les performances des traitements et des requêtes Snowflake. Participer à l'industrialisation et à l'orchestration des pipelines. Contribuer aux pratiques Git / CI-CD et à l'amélioration continue de la plateforme Data. Environnement techniqueSnowflake, Snowflake Cortex, dbt, SQL, Python, PySpark, Spark, Azure, Azure Data Factory, Azure Databricks, ADLS, Airflow, Git, CI/CD, Power BI.
Dans le secteur des services, au sein d'une direction en charge des projets Data et Intelligence Artificielle, vous intervenez en tant que Tech Lead Data Cloud afin d'accompagner les équipes de développement sur des programmes stratégiques liés aux domaines immobilier et véhicule. Vous participez à la conception des solutions Data conformément à l'architecture définie et prenez en charge l'analyse ainsi que l'instruction des sujets techniques complexes. Vous accompagnez les équipes dans leur montée en compétence et veillez à l'application des standards de développement et de qualité. Vos responsabilités incluent notamment : Contribuer à la conception et à l'évolution des solutions Data Cloud. Accompagner et encadrer les équipes de développement. Réaliser des développements en Python, Spark et PySpark. Garantir la qualité du delivery et la cohérence des versions déployées en production. Veiller au respect des bonnes pratiques FinOps et à l'optimisation de l'usage des ressources Cloud. Participer aux activités de support N3 et à la résolution des incidents complexes. Produire et maintenir la documentation technique. Rédiger les spécifications techniques et fonctionnelles détaillées. Assurer la modélisation des données. Réaliser les tests unitaires et veiller à leur couverture. Maintenir à jour le suivi des travaux et des tickets. Environnement technique : Microsoft Azure Azure Databricks Azure Data Factory Spark / PySpark Python SQL GitLab Nexus Terraform Jira Confluence
Contexte de la mission : C'est pour accompagner notre client, un grand groupe national du secteur du transport, dans l'évolution et l'industrialisation de sa plateforme Data Cloud Azure que nous recherchons un Ingénieur Data orienté DevOps. Au coeur d'un environnement Data à forts enjeux, la plateforme centralise des données issues de différents référentiels techniques, applicatifs, organisationnels et financiers afin de produire des indicateurs de pilotage et des tableaux de bord décisionnels. Vous rejoindrez une équipe intervenant sur des sujets à la fois Data, Cloud et DevOps, avec un rôle clé dans la conception et l'industrialisation des traitements de données. Votre périmètre couvrira notamment : - La conception et le développement de traitements Databricks / PySpark selon une architecture Bronze / Silver / Gold ; - L'industrialisation et l'optimisation des pipelines Data ; - L'automatisation et la gestion des infrastructures Azure avec Terraform ; - La mise en oeuvre et le maintien des chaînes CI/CD avec Jenkins et GitHub ; - La supervision et l'exploitation de la plateforme Data. La mission offre également une véritable dimension de conseil et d'accompagnement : études d'opportunité, sujets d'innovation, réflexions autour des architectures Data et recommandations visant à optimiser les performances, la fiabilité et les coûts des solutions. Responsabilités : * Concevoir et industrialiser les traitements de données Databricks (PySpark) selon une architecture Bronze / Silver / Gold ; * Développer, optimiser et maintenir les pipelines de données en garantissant performance, qualité et maîtrise des coûts ; * Exploiter les formats de données (Delta, Parquet, CSV) et mettre en oeuvre les bonnes pratiques associées ; * Assurer la supervision de la plateforme data via Azure Data Factory : monitoring, alerting, suivi de la qualité des données et reporting ; * Renforcer la fiabilité et la résilience des traitements en participant à la gestion des incidents, à la détection d'anomalies et à l'amélioration continue ; * Contribuer aux activités DevOps et Cloud en maintenant les infrastructures et pipelines CI/CD (Terraform, Jenkins, GitHub) et en collaborant avec les équipes métiers et techniques.
Dans le cadre du renforcement d'une équipe Data, nous recherchons un(e) Data Engineer pour intervenir sur une plateforme Data à fort volume, au sein d'un environnement international et orienté produit. Vous rejoindrez une équipe technique en charge de construire, industrialiser et faire évoluer des solutions permettant de collecter, transformer, fiabiliser et exposer la donnée à destination des équipes Data et métiers. L'environnement repose sur une Modern Data Stack, avec une architecture de type Lakehouse, et de forts enjeux autour de la scalabilité, de l'automatisation et de la qualité des données. Vos missionsConcevoir, développer et maintenir des pipelines de données robustes et scalables. Collecter, transformer et mettre à disposition des données provenant de différentes sources. Développer des traitements en Python / PySpark / SQL. Orchestrer les pipelines de données et les workflows avec Airflow. Participer à la modélisation et à la structuration des données. Développer et maintenir les transformations avec dbt. Mettre en place des contrôles permettant de garantir la qualité et la fiabilité des données. Optimiser les performances et les coûts des traitements. Participer à l'amélioration continue de la plateforme Data. Contribuer aux sujets de Data Governance, Data Lineage et Data Contracts. Appliquer les bonnes pratiques de Software Engineering : Git, GitHub, CI/CD, tests et documentation. Travailler en étroite collaboration avec les Data Engineers, Analytics Engineers, Data Analysts et Data Scientists. Environnement techniqueCloud : AWS / GCP Data Platform : Databricks, S3 Processing : Spark / PySpark Langages : Python, SQL, idéalement Scala Orchestration : Airflow Transformation : dbt Data Quality : Great Expectations Versioning / Delivery : Git, GitHub, CI/CD Data : Lakehouse, Data Lineage, Data Governance, Data Contracts Méthodologies : Agile / Scrum / Kanban
Nous recherchons un Expert Technique Senior pour participer à un projet stratégique de refonte de notre Data Lake. Ce projet vise à répondre de manière flexible et agile aux besoins métiers, et apporter une valeur ajoutée autour de la donnée. Missions principales : Participer au développement du Framework de gestion des flux de données Contribuer à la conception et l'architecture technique de la solution cible Proposer des solutions innovantes Être force de proposition sur le design des solutions techniques Rédiger les dossiers techniques et autres documentations nécessaires Assurer la cohérence technique des différents modules du projet Réaliser et automatiser les tests sur les outils/modules développés Veiller au respect des délais Accompagner la phase de validation business en UAT et PROD Préparer le roadbook de migration et participer à la mise en production
Nous recherchons pour l'un de nos clients un Data Engineer Databricks & DBT sénior (H/F) Dans le cadre du développement de notre plateforme Data, nous recherchons un(e) Data Engineer passionné(e) par les technologies Cloud et les architectures modernes de traitement de données. Vous rejoindrez une équipe Data dynamique afin de concevoir, développer et optimiser des pipelines de données robustes, scalables et performants, en vous appuyant sur Databricks, dbt et les meilleures pratiques d'ingénierie Data. Vos missions Concevoir, développer et maintenir des pipelines de données fiables et performants. Développer des transformations de données avec dbt. Concevoir et optimiser des traitements de données sur Databricks (Spark/PySpark). Participer à la modélisation des données (Data Warehouse, Data Lakehouse). Mettre en œuvre les bonnes pratiques de qualité, de tests et de documentation. Industrialiser les traitements via des pipelines CI/CD. Collaborer avec les équipes Data Analysts, Data Scientists et métiers. Participer à l'amélioration continue de la plateforme Data.
RésuméLe projet a pour objectif la création et l'évolution d'un produit de données à destination des actuaires, qui utiliseront ces données pour l'entraînement de leurs modèles (tarifaires par exemple). Le candidat rejoindra une équipe de 4 data engineers (dont un lead) pour participer à la mise en place de ce produit de données. Responsabilités :Proposer et valider des solutions techniques Mettre en œuvre des solutions performantes dans un cadre Agile Participer aux activités opérationnelles courantes Must Haves :Expérience avec Cloud Azure (Data Factory, ADLS, Databricks) Compétences obligatoires en PySpark et Python Bonnes connaissances des architectures de données Compétences en SQL Nice to Haves :Connaissance de Scala Expérience sur les processus DevOps et CI/CD Autres Détails :Localisation : Hauts-de-Seine (92) Télétravail : 3 jours
