Dans le cadre d'un projet stratégique au sein d'un grand environnement bancaire, nous recherchons un Data Engineer / Data Lake Developer expérimenté pour renforcer une équipe IT Data et accompagner le déploiement d'une nouvelle plateforme Databricks. Le consultant interviendra sur la conception, le développement et l'industrialisation des composants nécessaires à l'alimentation et à l'exploitation du Data Lake, au sein d'un environnement Agile et international. MissionsConcevoir et développer des pipelines d'ingestion et de transformation de données robustes et scalables, en batch et temps réel. Développer et maintenir les flux ETL Talend alimentant le Data Lake et les systèmes consommateurs. Développer des traitements Python / PySpark sur Databricks. Mettre en œuvre et optimiser les modèles de données cibles. Automatiser les transformations, la documentation et les tests avec dbt. Développer et configurer des flux CDC (Change Data Capture). Mettre en place les bonnes pratiques de Data Quality, monitoring, alerting et logging. Développer des composants réutilisables : templates de pipelines, librairies partagées et frameworks CI/CD. Réaliser les développements et tests associés. Participer aux mises en production et à l'industrialisation des solutions. Compétences techniques recherchéesForte expertise sur Talend ETL : développement, debugging et industrialisation. Bonne maîtrise de Python et PySpark. Expérience significative sur Databricks : Jobs, Workflows, Delta Lake, Notebooks et optimisation. Excellente maîtrise de SQL, notamment sur les requêtes complexes et l'optimisation des performances. Expérience pratique de dbt pour la transformation et la modélisation des données. Bonne connaissance des problématiques CDC / Change Data Capture. Une expérience sur Qlik Replicate / Attunity est fortement appréciée. Connaissance de Kafka appréciée. Connaissances en Java. Expérience DevOps : Git, CI/CD, automatisation des tests et des déploiements. Utilisation d'outils d'IA générative pour accélérer les développements Python, PySpark et SQL, le refactoring et les tests. Profil recherchéVous justifiez d'au moins 3 ans d'expérience en Data Engineering / Data Lake. Vous êtes autonome, rigoureux, proactif et disposez de solides capacités d'analyse. Vous êtes également à l'aise dans des environnements exigeants et possédez un bon relationnel client. Anglais courant obligatoire.
Dans le cadre d'un projet stratégique pour un de nos clients nous recherchons un(e) Data Analyst Senior expérimenté(e), capable d'évoluer dans un environnement exigeant et de communiquer efficacement avec les équipes métiers et techniques. Environnement:SQL et gestion de bases de données Power BI Microsoft Fabric Python Modélisation et analyse de données Méthodologie ITIL ServiceNow Snowflake Framework DBT Mission basée à Lyon centre ..........;;..........,........,........ ..........,..........,.......;
La chaîne data suit le parcours suivant : collecte et stockage dans Google Cloud Storage, orchestration des pipelines par DAG sous Airflow (on-premise et managé), transformation et nettoyage avec dbt, entreposage dans BigQuery, puis restitution dans Looker. L"nfrastructure est gérée en code avec Terraform et Terragrunt, et les développements passent par une CI Git. Objectifs et activités de la mission La mission consiste à concevoir, livrer et maintenir des tableaux de bord financiers et extra-financiers dans Looker, en lien direct avec les équipes métiers. 1. Cadrage des besoins Animer les ateliers avec les équipes métiers (investissement, finance, conformité, relations investisseurs). Formaliser les besoins en indicateurs, règles de calcul et maquettes. 2. Modélisation des données Définir le modèle de données adapté dans BigQuery, en cohérence avec les transformations dbt existantes. Concevoir la couche sémantique Looker en LookML (views, explores, models). 3. Développement des tableaux de bord Développer les dashboards et visualisations dans Looker. Contrôler la qualité et la cohérence des chiffres restitués avec les métiers. 4. Administration de Looker Contribuer à l'administration de l'instance : gestion des utilisateurs, des groupes et des droits d'accès. Appliquer les bonnes pratiques de versioning Git et de déploiement. 5. Maintien en conditions opérationnelles Garantir la continuité de production des tableaux de bord existants. Assurer la maintenance corrective et évolutive. Documenter les modèles, indicateurs et dashboards. Exemples de tableaux de bord et livrables attendus Les tableaux de bord couvrent le pilotage de l'activité et le suivi des fonds, par exemple : pilotage de l'activité de la société de gestion ; suivi des investissements et du portefeuille ; calcul et suivi des frais de gestion ; indicateurs extra-financiers (ESG, finance durable). Livrables attendus : modèles LookML versionnés et documentés ; tableaux de bord validés par les métiers ; documentation fonctionnelle (définition des indicateurs, règles de calcul) et technique ; suivi des évolutions et des incidents de production.
RésuméLe poste de Data Engineer sur Snowflake a pour objectif principal d'intégrer l'équipe Data & AI Procurement, en se concentrant sur l'ingestion et la transformation des données, afin de répondre aux besoins des métiers. Responsabilités :Assurer l'ingestion et la transformation des données à partir de sources variées. Créer et maintenir des pipelines de données de bout en bout. Collaborer avec les Data Analysts pour comprendre les besoins métiers. Travailler avec d'autres Data Engineers pour optimiser les meilleures pratiques de développement. Must Haves :Maîtrise avancée de SQL. Maîtrise avancée de Python. Expérience sur Snowflake. Connaissance de dbt pour la modélisation et les transformations. Expérience avec Airflow pour l'orchestration des pipelines. Nice to Have :Bonne maîtrise de Gitlab. Connaissance des bonnes pratiques de développement (clean code, tests, documentation, CI/CD). Détails contextuels :Localisation : International, les échanges se font en anglais. Équipe : Intégration au sein de l'équipe Data Foundation. Contexte : Projet lié à la Data Foundation.
La mission consiste à : - Exposer les données utiles à l'entreprise pour les analyser et les utiliser afin d'améliorer l'expérience utilisateur et la productivité - Transformer des données issues du DataLake afin de les normaliser - Modéliser la sphère de données - Développer les flux - Exposer des données brutes et/ou agrégées au bon niveau de granularité aux différents métiers de l'entreprise - Travailler en lien avec des Data Scientists sur les données qu'il aura exposées - Mettre en place des rapports de Dataviz - Mission basée en métropole lilloise avec présence sur site 3j/semaine obligatoire Compétences demandées : - Première expérience en Data Engineering indispensable - Snowflake, GCP, BigQuery, DBT, SQL, Semarchy, Airflow, Python ... - Data Analyse sur Power BI un + - Excellents savoir-être : rigueur, esprit analytique et de synthèse, communication... - Méthode Agile - Anglais
Présentation du posteDans le cadre du développement de notre activité Data, nous recherchons un Data Analyst / Analytics Engineer pour intervenir sur des projets de transformation, de modélisation et de valorisation des données. Vous travaillerez à l'interface entre les équipes métiers, BI et Data Engineering afin de transformer les besoins opérationnels en modèles de données fiables, indicateurs pertinents et tableaux de bord exploitables. Vos missionsRecueillir et analyser les besoins des équipes métiers. Définir les indicateurs et les règles de gestion associées. Extraire, transformer et analyser les données avec SQL. Concevoir et maintenir des modèles de transformation avec dbt. Construire des modèles dimensionnels et des architectures en étoile. Développer et faire évoluer des rapports Power BI. Créer et optimiser des mesures et calculs DAX. Exploiter les données disponibles dans BigQuery. Mettre en place des contrôles de qualité et des tests de non-régression. Participer aux projets de migration et de modernisation des environnements décisionnels. Documenter les modèles, les traitements et les indicateurs. Restituer les analyses et formuler des recommandations auprès des métiers. Stack techniqueData Visualisation : Power BI Langages : SQL, DAX, Python Transformation : dbt Cloud : GCP, BigQuery Orchestration : Cloud Composer, Airflow Bases et outils décisionnels : SQL Server, PostgreSQL, SSIS Modélisation : modèles dimensionnels, modèles en étoile, Data Warehouse Qualité et déploiement : tests dbt, Git, CI/CD Data Science et IA : Vertex AI, RAG, LangChain, API OpenAI Compétences recherchéesTrès bonne maîtrise de SQL. Bonne connaissance de Power BI et DAX. Expérience opérationnelle avec dbt. Maîtrise de la modélisation dimensionnelle. Bonne compréhension d'une chaîne décisionnelle de bout en bout. Connaissance des principes de qualité, de fiabilisation et de gouvernance des données. Capacité à comprendre et formaliser les besoins métiers. Une première expérience sur GCP et BigQuery est appréciée. Une sensibilité aux sujets Data Science et IA générative constitue un plus.
Data Engineer SENIOR AWS / SPARK/PYTHON 500 e par jour Data Engineer Senior – Data Services Profil très orienté AWS / Spark / Python / DBT / Iceberg / Airflow, avec une bonne maîtrise des architectures Big Data / Lakehouse et de la modélisation Médaillon. REcherchent quelqu'un de t senior, avec 8 ans d'expérience minimum. Mission à temps plein, avec 3 jours de remote par semaine. AWS, Python, Spark et modélisation Médaillon. Terraform et Datadog sont également appréciés. Mission Asap 500 e par jour
