ContexteDans le cadre du renforcement de son équipe Data, notre client recherche un Développeur Data Snowflake / Cortex confirmé pour participer au développement et à l'évolution de sa plateforme Data Cloud et de ses usages autour de l'IA. MissionsConcevoir et développer des pipelines de données et des traitements ETL/ELT. Développer et optimiser les modèles de données sur Snowflake. Mettre en œuvre les transformations de données avec dbt. Participer à l'intégration et à l'exploitation des fonctionnalités Snowflake Cortex et des services d'IA associés. Développer des traitements Data en Python / PySpark / SQL. Participer à la mise en qualité, au contrôle et à la sécurisation des données. Optimiser les performances des traitements et des requêtes Snowflake. Participer à l'industrialisation et à l'orchestration des pipelines. Contribuer aux pratiques Git / CI-CD et à l'amélioration continue de la plateforme Data. Environnement techniqueSnowflake, Snowflake Cortex, dbt, SQL, Python, PySpark, Spark, Azure, Azure Data Factory, Azure Databricks, ADLS, Airflow, Git, CI/CD, Power BI.
Contexte de la mission : C'est pour accompagner notre client, un grand groupe national du secteur du transport, dans l'évolution et l'industrialisation de sa plateforme Data Cloud Azure que nous recherchons un Ingénieur Data orienté DevOps. Au coeur d'un environnement Data à forts enjeux, la plateforme centralise des données issues de différents référentiels techniques, applicatifs, organisationnels et financiers afin de produire des indicateurs de pilotage et des tableaux de bord décisionnels. Vous rejoindrez une équipe intervenant sur des sujets à la fois Data, Cloud et DevOps, avec un rôle clé dans la conception et l'industrialisation des traitements de données. Votre périmètre couvrira notamment : - La conception et le développement de traitements Databricks / PySpark selon une architecture Bronze / Silver / Gold ; - L'industrialisation et l'optimisation des pipelines Data ; - L'automatisation et la gestion des infrastructures Azure avec Terraform ; - La mise en oeuvre et le maintien des chaînes CI/CD avec Jenkins et GitHub ; - La supervision et l'exploitation de la plateforme Data. La mission offre également une véritable dimension de conseil et d'accompagnement : études d'opportunité, sujets d'innovation, réflexions autour des architectures Data et recommandations visant à optimiser les performances, la fiabilité et les coûts des solutions. Responsabilités : * Concevoir et industrialiser les traitements de données Databricks (PySpark) selon une architecture Bronze / Silver / Gold ; * Développer, optimiser et maintenir les pipelines de données en garantissant performance, qualité et maîtrise des coûts ; * Exploiter les formats de données (Delta, Parquet, CSV) et mettre en oeuvre les bonnes pratiques associées ; * Assurer la supervision de la plateforme data via Azure Data Factory : monitoring, alerting, suivi de la qualité des données et reporting ; * Renforcer la fiabilité et la résilience des traitements en participant à la gestion des incidents, à la détection d'anomalies et à l'amélioration continue ; * Contribuer aux activités DevOps et Cloud en maintenant les infrastructures et pipelines CI/CD (Terraform, Jenkins, GitHub) et en collaborant avec les équipes métiers et techniques.
Dans le cadre du renforcement d'une équipe Data, nous recherchons un(e) Data Engineer pour intervenir sur une plateforme Data à fort volume, au sein d'un environnement international et orienté produit. Vous rejoindrez une équipe technique en charge de construire, industrialiser et faire évoluer des solutions permettant de collecter, transformer, fiabiliser et exposer la donnée à destination des équipes Data et métiers. L'environnement repose sur une Modern Data Stack, avec une architecture de type Lakehouse, et de forts enjeux autour de la scalabilité, de l'automatisation et de la qualité des données. Vos missionsConcevoir, développer et maintenir des pipelines de données robustes et scalables. Collecter, transformer et mettre à disposition des données provenant de différentes sources. Développer des traitements en Python / PySpark / SQL. Orchestrer les pipelines de données et les workflows avec Airflow. Participer à la modélisation et à la structuration des données. Développer et maintenir les transformations avec dbt. Mettre en place des contrôles permettant de garantir la qualité et la fiabilité des données. Optimiser les performances et les coûts des traitements. Participer à l'amélioration continue de la plateforme Data. Contribuer aux sujets de Data Governance, Data Lineage et Data Contracts. Appliquer les bonnes pratiques de Software Engineering : Git, GitHub, CI/CD, tests et documentation. Travailler en étroite collaboration avec les Data Engineers, Analytics Engineers, Data Analysts et Data Scientists. Environnement techniqueCloud : AWS / GCP Data Platform : Databricks, S3 Processing : Spark / PySpark Langages : Python, SQL, idéalement Scala Orchestration : Airflow Transformation : dbt Data Quality : Great Expectations Versioning / Delivery : Git, GitHub, CI/CD Data : Lakehouse, Data Lineage, Data Governance, Data Contracts Méthodologies : Agile / Scrum / Kanban
RésuméLe projet a pour objectif la création et l'évolution d'un produit de données à destination des actuaires, qui utiliseront ces données pour l'entraînement de leurs modèles (tarifaires par exemple). Le candidat rejoindra une équipe de 4 data engineers (dont un lead) pour participer à la mise en place de ce produit de données. Responsabilités :Proposer et valider des solutions techniques Mettre en œuvre des solutions performantes dans un cadre Agile Participer aux activités opérationnelles courantes Must Haves :Expérience avec Cloud Azure (Data Factory, ADLS, Databricks) Compétences obligatoires en PySpark et Python Bonnes connaissances des architectures de données Compétences en SQL Nice to Haves :Connaissance de Scala Expérience sur les processus DevOps et CI/CD Autres Détails :Localisation : Hauts-de-Seine (92) Télétravail : 3 jours
Nous recherchons pour l'un de nos clients un Data Engineer Databricks & DBT sénior (H/F) Dans le cadre du développement de notre plateforme Data, nous recherchons un(e) Data Engineer passionné(e) par les technologies Cloud et les architectures modernes de traitement de données. Vous rejoindrez une équipe Data dynamique afin de concevoir, développer et optimiser des pipelines de données robustes, scalables et performants, en vous appuyant sur Databricks, dbt et les meilleures pratiques d'ingénierie Data. Vos missions Concevoir, développer et maintenir des pipelines de données fiables et performants. Développer des transformations de données avec dbt. Concevoir et optimiser des traitements de données sur Databricks (Spark/PySpark). Participer à la modélisation des données (Data Warehouse, Data Lakehouse). Mettre en œuvre les bonnes pratiques de qualité, de tests et de documentation. Industrialiser les traitements via des pipelines CI/CD. Collaborer avec les équipes Data Analysts, Data Scientists et métiers. Participer à l'amélioration continue de la plateforme Data.
