Trouvez votre prochaine offre d’emploi ou de mission freelance ETL (Extract-transform-load) à Bordeaux

En tant qu'Intégrateur, et en coordination avec le reste de l'équipe, vos missions principales seront : Analyse détaillée des besoins métiers, conception et structuration de flux ETL complexes sous Talend Développement, transformation, enrichissement et intégration de données provenant de multiples systèmes Rédaction, optimisation et industrialisation de requêtes SQL avancées, procédures, vues et mécanismes de contrôle Supervision des traitements, diagnostic et résolution des incidents, amélioration continue des performances Mise en place de règles de qualité, documentation technique complète et collaboration étroite avec les équipes métiers et IT

IDENTIFICATION ET SÉLECTION DES TECHNIQUES DU PROJET : • Définit, sous la responsabilité du chef de projet, l’architecture fonctionnelle et technique du système d’information sur le périmètre applicatif dont il a la charge • Sélectionne les options techniques les plus adéquates pour la conception d’applications en optimisant l’équilibre entre coûts et qualité. • Réalise les flux inter applicatifs nécessaire au bon fonctionnement du projet CONCEPTION, VALIDATION ET ASSEMBLAGE DE CES COMPOSANTS : • Mobilise les techniques de conception pour développer une application adaptée en accord avec les besoins du client. • Adapte les solutions existantes en procédant par exemple au portage d’une application vers un autre système d’exploitation. • Code, débugue, teste, documente et communique sur les étapes de développement du produit. • Choisit les options techniques appropriées au développement comme la réutilisation, l’amélioration ou la reconfiguration de composants existants. • Optimise efficacité, coûts et qualité. Valide les résultats avec les représentants des utilisateurs type, intègre et garantit la solution dans son ensemble. DÉFINITION DES INTERFACES ET DES ÉVENTUELLES ÉVOLUTIONS À APPORTER AUX COMPOSANTS POUR PERMETTRE LEUR INTÉGRATION : • Le cas échéant, modifie ou créée de nouveaux composants • Définit et réalise des interfaces • Met au point et exécute des procédures systématiques de test sur des systèmes informatiques ou les exigences d’utilisabilité du client pour s’assurer de la conformité avec les spécifications de conception. • S’assure que les nouveaux composants ou systèmes ou ceux mis à jour fonctionnent comme prévu. • Garantit la conformité aux standards internes et externes : ce qui inclut les normes de santé, de sécurité, d’utilisabilité, de performance, de fiabilité et de compatibilité. • Produit des documents et des rapports attestant des exigences de certification FOURNITURE DU SYSTÈME DÉVELOPPÉ EN VUES D'EXPLOITATION : • Participe à l’élaboration de didacticiels et documente le système livré • Réalise les premières formations aux référents et utilisateurs à la suite de la livraison du projet • Effectue, sur la base de bonnes pratiques générales, les interventions programmées nécessaires pour mettre en œuvre la solution, y compris l’installation, la mise à jour ou de mise hors service. • Configure le matériel, le logiciel ou le réseau afin de garantir l’interopérabilité des composants du système et corrige toutes anomalies ou incompatibilités liées. • Délivre formellement une solution entièrement opérationnelle à l’utilisateur et complète la documentation avec les informations pertinentes, y compris les caractéristiques des équipements, ainsi que les paramètres de configuration et les données relatives à la performance

Expérience requise : 5 à 10 ans Anglais obligatoire Compétences recherchées : Data Engineer AWS (S3, Glue, Athena, Python) Tâches à traiter : Compréhension des données scientifiques dans le domaine pharma CMC Clarification des besoins avec les parties prenantes, estimation de l’effort pour la planification PI Bonne connaissance des pratiques Lean & Agile Ingénierie de données AWS : S3, Glue (Jobs/Workflows), Athena Développement ETL/ELT : Python, Glue ETL, évolution de schémas, partitionnement Modélisation de données : modèles de domaine harmonisés, schémas en étoile/flocon, gestion des métadonnées Optimisation SQL : amélioration des performances sous Athena, conception de requêtes optimisées en coût, stratégies de partitionnement/pruning Tests et qualité : tests unitaires/intégration pour les pipelines, frameworks de qualité des données Documentation et transfert de connaissances : runbooks, diagrammes d’architecture, planification et exécution du KT Expérience en migration : stratégie de fonctionnement parallèle, planification du cutover, backfill, rapprochement des données

Garantir la mise en œuvre et la maintenance d’une solution MongoDB Atlas hébergée sur Azure robuste, performante et conforme aux exigences réglementaires (PDP, RGPD), tout en répondant aux besoins métiers : disponibilité, traçabilité, sécurité, gouvernance des données et exploitation BI (Grafana, Power BI). Responsabilités principales Architecture et conception Définir l’architecture cible MongoDB Atlas sur Azure (topologie, multi-régions, interconnexion, réseaux, haute disponibilité, sauvegarde et reprise d’activité). Concevoir les schémas documentaires et le modèle de données optimisé selon les cas d’usage applicatifs et les contraintes réglementaires (rétention, anonymisation, traçabilité). Élaborer la stratégie de sauvegarde, restauration et gestion des incidents (playbooks, tests de restauration). Sécurité et conformité Définir et implémenter les mécanismes de sécurité : chiffrement at-rest et in-transit , gestion des clés (BYOK / Azure Key Vault), contrôle d’accès (RBAC, LDAP/AD, IAM), audit et journalisation. Garantir la conformité PDP / RGPD des données et des traitements. Intégration et performance Piloter l’intégration technique avec les pipelines ETL/ELT , les solutions de streaming ( Kafka , Azure Data Factory , Functions , iPaaS , etc.). Optimiser la performance : indexation, sharding, agrégations, profiling, tuning des requêtes et gestion de la charge. Observabilité et supervision Mettre en place les pratiques d’observabilité : alerting, dashboards, métriques et logs centralisés via Grafana , Zabbix , Azure Monitor ou équivalents. Intégrer MongoDB avec les outils de visualisation Grafana et Power BI (connecteurs, sécurité, gouvernance des accès). Projet et documentation Participer aux phases projet : ateliers d’architecture, proof of concept, accompagnement en RUN (SLA, runbooks, transfert de compétences). Rédiger les livrables techniques : architecture cible, schémas de données, règles de sécurité, runbooks, plans de tests et documents d’exploitation. Compétences techniques requises Base de données & Cloud Expertise MongoDB Atlas : déploiement, configuration, sécurité, scaling, sharding, sauvegarde/restore, performance tuning. Très bonne connaissance d’ Azure : VNet, ExpressRoute/VPN, Managed Identities, Azure Key Vault, Azure AD, Storage, Log Analytics. Développement & intégration Maîtrise des drivers MongoDB (Java, Node.js, .NET, Python selon la stack applicative). Connaissance des principes de data modelling NoSQL : embedding vs referencing, patterns de consultation, conception pour volumes variables. Expérience avec les outils d’intégration et ingestion : Azure Data Factory , Kafka , SnapLogic , Functions . Sécurité & conformité Chiffrement, BYOK, IAM, RBAC, audit, conformité PDP/RGPD . Observabilité & reporting Monitoring MongoDB, alerting, dashboards ( Grafana , Zabbix , Azure Monitor ). Intégration MongoDB ↔ Power BI / Grafana (connecteurs, APIs, performances). DevOps Bonnes pratiques Infrastructure as Code : Terraform , ARM , Bicep . CI/CD et tests automatisés pour les déploiements. Notions de DevSecOps appréciées.

En tant que Développeur, et en coordination avec l’équipe, vos missions seront de : Développer et maintenir des pipelines de traitement de données (batch ou temps réel) Intégrer, transformer et charger des données depuis différentes sources (APIs, bases de données, fichiers, flux, etc.) Concevoir et optimiser des jobs ETL/ELT pour alimenter les environnements analytiques (Data Lake, Data Warehouse) Implémenter les logiques de nettoyage, d’enrichissement et de validation des données Participer à la modélisation des structures de données pour répondre aux besoins métiers et analytiques Assurer la performance, la fiabilité et la scalabilité des traitements de données Automatiser les processus de collecte et de transformation via des scripts et outils d’orchestration (Airflow, Azure Data Factory, etc.) Collaborer avec les Data Scientists, Data Analysts et les équipes DevOps pour garantir la disponibilité et la qualité des données Surveiller et corriger les anomalies dans les flux de données Rédiger la documentation technique des pipelines et des processus mis en place

En tant que Data Engineer, et en coordination avec l’équipe, vos missions principales seront de : Concevoir, développer et maintenir des pipelines de données robustes et scalables (ETL / ELT) Intégrer et transformer des données issues de sources variées (APIs, bases SQL/NoSQL, fichiers, flux temps réel, etc.) Assurer la qualité, la cohérence et la fiabilité des données tout au long de la chaîne de traitement Participer à la modélisation et à l’optimisation des architectures data (Data Lake, Data Warehouse, etc.) Collaborer étroitement avec les Data Scientists, Data Analysts et les équipes métier pour répondre à leurs besoins en données Mettre en place des bonnes pratiques de développement, de versioning et d’automatisation (CI/CD, monitoring, tests, documentation) Contribuer à la sécurisation, la gouvernance et la conformité des données (RGPD, gestion des accès, traçabilité) Optimiser les performances des traitements et la consommation des ressources cloud Participer à la veille technologique et proposer des améliorations continues sur les outils et les architectures data