Find your next tech and IT Job or contract SQL

ContexteDans le cadre de la transition vers une architecture Data Mesh, nous recherchons un(e) Data Product Engineerspécialisé(e) dans le développement de pipelines sur la plateforme Talend Real Time BigData et de data products sur la plateforme Starburst (Trino). La mission consiste à concevoir, collecter, intégrer, construire et opérer des jeux de données fiables, auto-descriptifs et interopérables, en collaboration avec les domain teams et les data owners. MissionsConcevoir des flux de données et des Data Products Développer des pipelines d'intégration de données optimisés via la Talend Data Fabric / Talend Real Time BigData Développer des requêtes SQL optimisées pour Starburst/Trino (push-down predicates, partitionnement, formats de fichiers comme Iceberg/Parquet) Automatiser les pipelines de données (ETL/ELT) avec des outils comme Airflow, dbt, ou Starburst Galaxy Configurer des accès sécurisés (RBAC, row-level security) et des politiques de gouvernance (tagging, lineage) Collaborer avec les domain teams pour identifier les sources de données et les cas d'usage Documenter les data products (métadonnées, ownership, qualité) via des outils comme Amundsen, DataHub, ou Starburst Discover Participer à la définition des standards d'interopérabilité (formats communs, APIs de données) Monitorer la performance (latence, coût des requêtes) et la qualité des données (frais, complétude) Mettre en place des alertes et des dashboards (Grafana, Metabase) pour le suivi des data products Contribuer à l'amélioration continue de la plateforme Starburst (scaling, caching, federation) Compétences techniques requisesTalend RealTime BigData : expérience avancée en développement de pipelines sur Talend Studio en mode batch ou route (runtime) Starburst/Trino : expérience avancée en SQL sur Starburst/Trino (jointures, CTEs, fonctions analytiques) Data Modeling Pipelines : expérience avec Airflow/Astronomer, Spark, Talend Real Time Big Data / Talend Data intégration Stockage : connaissance des formats Iceberg, Parquet, S3 Gouvernance : familiarité avec les outils de sécurité (Ranger, RBAC) DevOps/DataOps : pratiques CI/CD pour les pipelines, infrastructure-as-code (Terraform, Kubernetes) Langages : SQL avancé (mandatory), Python (Pandas, PySpark), bash Compétences transverses (Data Mesh)Compréhension des principes Data Mesh (domain-oriented ownership, self-serve platform, federated governance) Capacité à travailler en mode produit (roadmap, priorisation, collaboration avec les métiers) Sensibilité à la data quality (tests, monitoring, remédiation) et à la documentation (data contracts, métadonnées) Soft SkillsEsprit collaboratif : travail avec les équipes métiers, data scientists, et DevOps Pédagogie : capacité à expliquer des concepts techniques à des non-experts Autonomie : prise d'initiative dans un cadre agile Environnement techniqueExpertise écosystème zoo Hadoop Connaissance / maîtrise Data Connaissance / maîtrise technique de l'environnement DevOps Maîtrise technique de l'environnement Data Expertise couche d'accès et d'échange (Kafka, Nifi, …) Expertise Java, Scala, Python, Hive, Spark Expertise ETL, Bash Expertise SQL / NoSQL

ContexteAu sein du Data Office de Coface, le consultant intervient dans un contexte international pour développer et industrialiser des solutions autour de la Data Management, Data Quality, Data Governance et de l'IA générative. Missions 1. Data Management, Data Governance & Data QualityConcevoir, développer et maintenir des applications et services Python destinés à automatiser les processus de Data Governance et Data Quality. Développer des mécanismes de contrôle de la qualité des données, de détection d'anomalies et de monitoring. Industrialiser les traitements de collecte, d'analyse et de reporting liés à la qualité des données. Développer des APIs REST et services MCP permettant d'interconnecter les outils du Data Office, Data Marketplace, catalogues de données, plateformes data et outils BI. Automatiser et optimiser les processus de gestion des données. Contribuer à la mise en place de solutions robustes, maintenables et conformes aux standards d'architecture et de sécurité du Groupe. 2. IA Générative & Agentic AIConcevoir et développer des assistants IA spécialisés pour les besoins du Data Office. Développer des solutions de Text-to-SQL permettant d'interroger des bases de données en langage naturel. Concevoir des architectures Agentic AI basées sur des LLM, avec mécanismes d'orchestration, raisonnement et accès aux différentes sources d'information. Développer des connecteurs et intégrations via le Model Context Protocol (MCP). Mettre en œuvre des architectures de type RAG et intégrer différentes sources de données et de connaissances. Participer à l'industrialisation et au déploiement des solutions IA en environnement de production. Veiller au respect des exigences de sécurité, gouvernance, architecture et exploitation. Contribuer aux initiatives IA existantes du Data Office, notamment : l'agent Jira permettant d'évaluer la qualité des tickets entrants et d'anticiper leur criticité ; l'agent de requêtage de bases de données en Text-to-SQL. 3. Industrialisation & accompagnementProduire du code, packages Python, APIs et services documentés, testés et maintenables. Mettre en place les pipelines d'intégration et de déploiement nécessaires à l'industrialisation des solutions. Rédiger la documentation technique et d'exploitation ainsi que les procédures de déploiement. Participer aux phases de tests, mise en production et maintien en conditions opérationnelles. Assurer un reporting régulier sur l'avancement, les risques, les dépendances et les arbitrages nécessaires. Communiquer efficacement les résultats et sujets techniques auprès d'interlocuteurs techniques et métiers.

Vous interviendrez sur des plateformes qui gèrent le booking , le pricing de transactions financière et le calcule des indicateurs de risque. vous participerez à : Développement et amélioration de solutions techniques (.NET) Création d'outils de monitoring applicatif Participation à l'amélioration continue ( Revue de code, Bonne pratique.. ) Réalisation de tests techniques Travailler sur des flux de données via Apache Kafka Gérer et optimiser les bases de données Via SQL server Participation aux réunions d'équipe et rituels agiles Environnement technique Langage : C# / .NET (.NET Core, .NET Framework) Architectures : applications distribuées, services, API, microservices Bases de données : SQL Server, Oracle Outils : Git, CI/CD, outils de monitoring Environnements : Windows, Linux (selon projets)

Contexte du projetNous cherchons à renforcer les capacités en Business Intelligence et en analyse de données dans le cadre de l'évolution d'un écosystème de services numériques destiné aux citoyens et aux entreprises, au sein du secteur public belge. La mission est proposée à temps partiel, à raison de 2 jours par semaine. Responsabilités principalesLe consultant sera amené à : Participer aux réunions de travail et sessions de brainstorming. Comprendre les concepts métiers liés aux démarches et services numériques. Analyser les différentes sources de données disponibles. Analyser les rapports existants réalisés notamment sous Excel et SAP BusinessObjects. Identifier les besoins de consolidation et de croisement des données. Concevoir et faire évoluer le modèle de la base de données décisionnelle. Concevoir un modèle conceptuel et un modèle en étoile. Développer le Data Warehouse associé. Développer les processus ETL : Extraction, Transformation et Chargement. Intégrer les différentes sources de données. Développer les procédures de chargement. Construire les couches sémantiques. Développer les rapports et tableaux de bord. Participer à l'automatisation de l'intégration des sources. Préparer l'extension du POC vers une solution industrialisée. Documenter les choix techniques et les travaux réalisés.

Contexte Dans le cadre du maintien et de l'évolution de son socle applicatif et infrastructure, le client recherche un profil polyvalent, à l'aise aussi bien en administration système qu'en développement web. Le poste s'inscrit dans un environnement varié, avec de nombreux sujets de tailles diverses à traiter en parallèle : un véritable rôle de « couteau suisse » technique. Missions principales Sur le volet administration / exploitation, le consultant assure l'administration et l'exploitation de serveurs Linux en environnement Red Hat, le maintien en conditions opérationnelles des plateformes, ainsi que le suivi et la fiabilisation des environnements. Sur le volet développement, il prend en charge le développement et la maintenance de petits sites et applications en PHP, adossés à des bases de données PostgreSQL, en réponse aux différents besoins métier. De façon transverse, il intervient sur une multitude de petits sujets techniques au fil de l'eau, en autonomie et avec polyvalence.