Trouvez votre prochaine offre d’emploi ou de mission freelance SQL

ContexteDans le cadre de la transition vers une architecture Data Mesh, nous recherchons un(e) Data Product Engineerspécialisé(e) dans le développement de pipelines sur la plateforme Talend Real Time BigData et de data products sur la plateforme Starburst (Trino). La mission consiste à concevoir, collecter, intégrer, construire et opérer des jeux de données fiables, auto-descriptifs et interopérables, en collaboration avec les domain teams et les data owners. MissionsConcevoir des flux de données et des Data Products Développer des pipelines d'intégration de données optimisés via la Talend Data Fabric / Talend Real Time BigData Développer des requêtes SQL optimisées pour Starburst/Trino (push-down predicates, partitionnement, formats de fichiers comme Iceberg/Parquet) Automatiser les pipelines de données (ETL/ELT) avec des outils comme Airflow, dbt, ou Starburst Galaxy Configurer des accès sécurisés (RBAC, row-level security) et des politiques de gouvernance (tagging, lineage) Collaborer avec les domain teams pour identifier les sources de données et les cas d'usage Documenter les data products (métadonnées, ownership, qualité) via des outils comme Amundsen, DataHub, ou Starburst Discover Participer à la définition des standards d'interopérabilité (formats communs, APIs de données) Monitorer la performance (latence, coût des requêtes) et la qualité des données (frais, complétude) Mettre en place des alertes et des dashboards (Grafana, Metabase) pour le suivi des data products Contribuer à l'amélioration continue de la plateforme Starburst (scaling, caching, federation) Compétences techniques requisesTalend RealTime BigData : expérience avancée en développement de pipelines sur Talend Studio en mode batch ou route (runtime) Starburst/Trino : expérience avancée en SQL sur Starburst/Trino (jointures, CTEs, fonctions analytiques) Data Modeling Pipelines : expérience avec Airflow/Astronomer, Spark, Talend Real Time Big Data / Talend Data intégration Stockage : connaissance des formats Iceberg, Parquet, S3 Gouvernance : familiarité avec les outils de sécurité (Ranger, RBAC) DevOps/DataOps : pratiques CI/CD pour les pipelines, infrastructure-as-code (Terraform, Kubernetes) Langages : SQL avancé (mandatory), Python (Pandas, PySpark), bash Compétences transverses (Data Mesh)Compréhension des principes Data Mesh (domain-oriented ownership, self-serve platform, federated governance) Capacité à travailler en mode produit (roadmap, priorisation, collaboration avec les métiers) Sensibilité à la data quality (tests, monitoring, remédiation) et à la documentation (data contracts, métadonnées) Soft SkillsEsprit collaboratif : travail avec les équipes métiers, data scientists, et DevOps Pédagogie : capacité à expliquer des concepts techniques à des non-experts Autonomie : prise d'initiative dans un cadre agile Environnement techniqueExpertise écosystème zoo Hadoop Connaissance / maîtrise Data Connaissance / maîtrise technique de l'environnement DevOps Maîtrise technique de l'environnement Data Expertise couche d'accès et d'échange (Kafka, Nifi, …) Expertise Java, Scala, Python, Hive, Spark Expertise ETL, Bash Expertise SQL / NoSQL

Tu auras l'opportunité d'intégrer une squad constituée d'expert·e·s chez Okara, avec pour mission principale d'accompagner un grand compte dans la transformation de son système d'information. Ton rôle sera déterminant pour mener à bien la modernisation technologique de la structure et pour soutenir la montée en charge exponentielle de ses architectures backend. Plongé(e) au cœur des défis techniques liés aux enjeux cruciaux de performance et de résilience, tu interviendras sur l'intégralité du cycle de vie des projets. Tu participeras ainsi très activement à la conception préliminaire, au développement approfondi et au déploiement continu de services distribués, conçus pour être hautement disponibles. Au sein de cet environnement particulièrement stimulant et exigeant, tu seras amené(e) à traiter et à manipuler des volumes de données très importants au quotidien. Par ailleurs, ton expertise et ta vision globale te permettront de contribuer de manière stratégique aux grands choix d'architecture applicative afin de garantir la robustesse et la pérennité des solutions mises en place.

Contexte : Renfort au sein d'une équipe de 5 personnes en charge de la maintenance évolutive et corrective des applications ALM, Prudentiel et reporting crédits. Environnement bancaire avec forte interaction entre métiers, IT et partenaires externes. Missions : Pilotage et coordination de projets ALM, Prudentiel et crédits Rédaction des spécifications fonctionnelles et techniques Organisation et exécution des campagnes de tests Accompagnement des métiers lors des recettes utilisateurs Coordination des équipes métiers, IT, éditeurs et hébergeurs Maintien de la documentation applicative

La Direction des Systèmes d'Information recrute un Data Engineer pour concevoir, développer et maintenir les architectures Data nécessaires à l'exploitation des données par les analystes métiers et data scientists. Vos principales missions consisteront à : - Mener les projets d'intégration (temps réel) et data (big data & insights) - Comprendre, analyser et proposer des solutions techniques répondant aux besoins des divers acteurs de la donnée (spécialistes métier, domain managers, architecte, data analystes et scientists) - Apporter un éclairage technique sur les architectures Cloud, dialoguer avec les fournisseurs de solutions et les consultants techniques - Dans une logique de mise en production, créer et déployer des pipelines de données robustes pour les data scientists et data analysts (collecte, stockage, transformation et exploitation) - Assurer une bonne qualité des données pour les projets Machine Learning (préparation, complétude, épuration, enrichissement) dans le but d'optimiser les performances des modèles - Améliorer les processus internes : localisation et traçabilité de la donnée, standardisation des flux et des scripts de traitement des données, documentation - Collaborer avec les équipes basées aux Pays-Bas pour faciliter le Data-Sharing, échanger sur les best-practices et les moyens d'optimiser les architectures - Contribuer à l'amélioration de la gouvernance sur la protection et la confidentialité des données

Détailler, mettre en œuvre et piloter le plan de migration Data Achats selon la stratégie et le planning définis. Piloter et accompagner 2 ETP déjà présents sur le projet. Animer les ateliers avec les équipes métiers afin de définir les règles de gestion et de transformation des données. Identifier et analyser les écarts entre les différentes sources de données. Définir les mappings et règles de transformation vers les référentiels cibles. Paramétrer l'usine de migration / Migration Fabric. Réaliser les phases de tests, ajustements, itérations et validation. Garantir la qualité des données avant et après migration. Organiser les différentes vagues de migration en coordination avec le planning projet. Assurer la conservation de l'historique nécessaire au reporting avec les nouveaux référentiels communs. Garantir la traçabilité des transformations et des règles appliquées. Mettre en place une démarche d'amélioration continue entre les vagues de migration. Garantir l'application des règles Data et de sécurité du groupe. Concevoir le modèle de données cible. Mettre en place les reportings BI nécessaires au pilotage de l'activité Achats. Développer / faire évoluer les reportings Power BI, avec environ 40 à 45 indicateurs couvrant l'ensemble du processus Achats. Collaborer étroitement avec les équipes Data, IT, métiers et projet. Compétences techniques: Indispensables: - Expertise en migration de données, idéalement dans le domaine Achats - Python – Confirmé - SQL – Confirmé - Modélisation de bases de données – Expert - Power BI / Data Visualization – Expert - Azure Data Factory / environnement Azure Data Platform – Confirmé - Expérience des projets de transformation Data complexes - Maîtrise des problématiques de mapping, transformation et qualité des données - Expérience dans la mise en œuvre de plans de migration et de stratégies de bascule Très appréciées: - Ivalua, notamment S2CP / S2CP2P - Expérience de migration vers Ivalua v182 - Connaissance des données et processus Achats / Procurement - Expérience SAP et/ou Oracle - Connaissance de Migration Fabric

Contexte de la missionDans le cadre du renforcement de sa stratégie de gouvernance, de sécurité et de conformité des données, notre client recherche un Consultant Microsoft Purview. Le consultant interviendra sur la mise en œuvre, la configuration et l'évolution de Microsoft Purview, afin d'améliorer la connaissance, la classification, la protection et la gouvernance des données de l'entreprise. Missions principalesRecueillir et analyser les besoins des équipes métier, Data, IT, Sécurité et Conformité. Participer à la définition et à la mise en œuvre de la stratégie Data Governance. Administrer et configurer Microsoft Purview. Mettre en place et maintenir le Data Catalog. Organiser le référencement et la cartographie des sources de données. Configurer les mécanismes de Data Discovery et de classification. Mettre en œuvre la Data Lineage afin de tracer l'origine et les transformations des données. Définir et gérer les classifications et les labels de sensibilité. Participer à la mise en place des politiques de protection et de gouvernance des données. Identifier les données sensibles et contribuer à leur protection. Participer à la mise en œuvre des politiques de Data Loss Prevention (DLP). Collaborer avec les équipes Microsoft 365, Azure, Data et Cybersecurity. Assurer le suivi des règles, politiques et contrôles de conformité. Participer aux audits et à la production des indicateurs de gouvernance. Documenter les configurations, processus et règles de gouvernance. Accompagner les équipes dans l'adoption des bonnes pratiques Data Governance. Assurer une veille sur les évolutions de Microsoft Purview et de l'écosystème Microsof