Trouvez votre prochaine offre d’emploi ou de mission freelance ETL (Extract-transform-load)

Data Engineer Semarchy xDM / xDI Montpellier Stambia Python/Java, ETL/MDM, Git, Docker, Kubernetes. Missions Développer et industrialiser les flux Data Integration avec Semarchy xDI. Concevoir et administrer les modèles MDM sous Semarchy xDM. Assurer la qualité, la fiabilité et la gouvernance des données. Automatiser les traitements (CI/CD, DataOps) et collaborer avec les équipes IA et Data Science. Participer aux rituels Agile et rédiger la documentation technique. Profil Bac+5 en informatique / Data, 3 à 5 ans d’expérience en Data Engineering. Maîtrise Semarchy xDM / xDI, SQL avancé, Python/Java, ETL/MDM, Git, Docker, Kubernetes. Connaissance des bases SQL / NoSQL et orchestration (Kafka, Airflow…). Autonomie, travail en équipe, force de proposition. Data Engineer Semarchy xDM / xDI Montpellier Stambia

Intégré(e) à nos équipes sur notre Factory ou chez nos clients, vous interviendrez sur un projet de développement PL/SQL. Vos missions ? - Concevoir, développer et optimiser des requêtes et des scripts PL/SQL sur des bases de données Oracle. - Rédiger et maintenir la documentation technique des développements réalisés. - Assurer la performance et l'optimisation des requêtes SQL. - Participer à l'analyse des besoins des utilisateurs et proposer des solutions techniques adaptées. - Assurer la maintenance corrective et évolutive des applications en lien avec les bases de données. - Effectuer des tests et valider les développements. La stack technique : Maîtrise du langage PL/SQL et des bases de données Oracle. Connaissance des performances et de l'optimisation des bases de données. Connaissance des outils ETL et reporting

Contexte du poste Dans le cadre d’un programme de migration des solutions décisionnelles Microsoft vers Google Cloud Platform (GCP) , nous recherchons un Consultant Data Engineer expérimenté capable d’assurer la transition technique et fonctionnelle d’un environnement MSBI on-premise vers un écosystème GCP cloud-native . L’objectif est de moderniser la plateforme BI existante (SSIS, SSAS, SQL Server) vers des architectures Cloud basées sur BigQuery , Dataflow , Cloud Storage et Looker Studio , tout en garantissant la continuité des flux , la performance et la qualité des données . Missions principales Participer aux ateliers de cadrage technique et fonctionnel pour définir la stratégie de migration MSBI → GCP. Analyser l’existant MSBI (packages SSIS, cubes SSAS, rapports SSRS / Power BI) et identifier les dépendances techniques. Concevoir la nouvelle architecture cible GCP (BigQuery, Dataflow, Composer, Cloud Storage, IAM). Assurer la migration et la réécriture des flux ETL vers GCP (Dataflow / DBT / Python). Mettre en place les pipelines d’intégration continue et les jobs d’orchestration (Airflow / Cloud Composer). Optimiser les performances et les coûts d’exécution des traitements cloud. Garantir la gouvernance, la sécurité et la qualité des données dans le nouvel environnement. Accompagner les équipes internes dans la montée en compétences sur GCP . Compétences techniques requises Environnements Microsoft : SQL Server (T-SQL, procédures stockées, optimisation requêtes) SSIS (conception de flux ETL complexes) SSAS (tabular / multidimensionnel) Power BI / SSRS pour la partie reporting Environnements Google Cloud : BigQuery (datawarehouse cloud, modélisation, partitionnement, optimisation) Dataflow / Cloud Composer (orchestration et traitement de données) Cloud Storage, Pub/Sub, IAM Looker Studio pour la restitution Autres atouts : Connaissance de DBT , Python , ou Terraform Notions de DataOps , CI/CD , gouvernance des données Expérience sur des projets de migration cloud (Azure, AWS, ou GCP)

La mission consiste à : - Maîtrise de la donnée et garant de la qualité de son utilisation - Analyser les besoins des utilisateurs et proposer des solutions innovantes - Développer les solutions data - Maintenir les solutions existantes - Mettre en oeuvre des pipelines de données Compétences attendues : - Expériences significatives comme Data Engineer / Data Analyst - Maîtrise de SQL, Python, PowerBI, GCP, CI/CD, Terraform, Github et les ETL/ELT - Anglais un + Mission basée sur la métropole lilloise avec télétravail hybride

Bonjour, Pour le compte de l'un de mes clients dans le secteur pharmaceutique, je suis à la recherche d'un tech-lead TALEND. Objectif de la mission : Assurer le rôle de Tech Lead Talend au sein de l’équipe Data client. Le consultant pilotera les développements ETL, encadrera les développeurs Talend, et participera à l’architecture des flux de données dans un environnement pharmaceutique exigeant. Compétences techniques requises : • Expertise Talend (v7.x, Talend Cloud, CI/CD avec Git) • Maîtrise des bases de données Oracle et SQL • Connaissance des environnements GCP + DBT (souhaitée) • Expérience en mise en place de pipelines CI/CD pour Talend • Connaissance des outils de monitoring et de gestion des flux Responsabilités : • Encadrement technique d’une équipe de développeurs Talend • Participation aux choix d’architecture et à la conception des flux • Mise en œuvre et suivi des bonnes pratiques de développement • Support aux équipes projets et coordination avec les métiers • Participation aux comités techniques et aux revues de code

CONTEXTE EXPERIENCE : 5 ans et plus Métiers Fonctions : Etudes & Développement Lead Tech Spécialités technologiques : ETL Secteurs d'activités Administration Publique Au sein d’une direction numérique regroupant une soixantaine de collaborateurs, le consultant interviendra sur des projets décisionnels stratégiques. L’équipe accompagne plusieurs métiers dans la construction, l’évolution et la maintenance de produits data et BI, au service d’organisations publiques et de leurs partenaires. La mission vise à renforcer les équipes existantes et à garantir la pérennité des solutions décisionnelles, tout en participant à la création de nouveaux composants transverses. Rôle et responsabilités - Concevoir, maintenir et faire évoluer le système décisionnel complet (de l’ingestion des données à la restitution). - Assurer le développement ETL via Talend Studio, selon les patrons de conception en vigueur. - Créer et maintenir les rapports et tableaux de bord via Superset, Business Objects ou outils équivalents. - Garantir la qualité logicielle : tests unitaires, d’intégration et de non-régression, selon les principes du TDD. - Gérer les mises à jour et migrations de versions (Talend, bases de données). - Participer à la mise en place des pipelines CI/CD et à la gestion des versions via Git et Talend Administration Console. - Contribuer à la modélisation décisionnelle (Datastore, DataStage, Datawarehouse) et à l’historisation des données. - Participer activement aux cérémonies Agiles et aux comités techniques de la Dev Team. Environnement technique - ETL / Intégration : Talend Studio 8 - Bases de données : PostgreSQL, PostGIS, Oracle - Reporting / BI : Superset, Business Objects, Metabase - CI/CD : Git, Talend Administration Console Expertise souhaitée Expérience confirmée en développement décisionnel, avec une maîtrise des outils suivants : - ETL / Intégration : Talend Studio (v8 souhaitée) - Bases de données : PostgreSQL, PostGIS, Oracle - Reporting / BI : Superset, Business Objects, Metabase - CI/CD et versioning : Git, Talend Administration Console - Solides compétences en SQL et en modélisation décisionnelle. - Expérience dans la mise en place et la maintenance d’ETL et d’univers décisionnels. - Capacité à évoluer dans un contexte Agile, à collaborer étroitement avec les autres développeurs et à partager les bonnes pratiques. - Autonomie, rigueur, curiosité et goût pour la qualité logicielle.

Contexte : Dans le cadre d’un projet de transformation IT au sein d’un acteur international, nous recherchons un(e) Consultant Migration de Données (SQL/TALEND) pour accompagner la migration des données d’un système legacy vers une nouvelle solution métier. Vous interviendrez sous la responsabilité d’un Data Migration Lead basé en Espagne. Missions principales : Participer à la migration des données depuis le système legacy vers la nouvelle plateforme. Développer des scripts SQL pour l’extraction, la manipulation et le chargement des données. Utiliser Talend pour assurer la transformation et le mapping des données vers le format attendu. Collaborer avec les équipes internationales pour garantir la qualité et la conformité des données migrées. Documenter les processus et assurer un suivi rigoureux des flux de données. Mission 3 à 6 mois.

Vos missions ? Intégré(e) à nos équipes ou chez nos clients, vous contribuez à développer et valoriser l'ensemble des données en résolvant des problématiques business concrètes via les technologies liées à la Data A ce titre, vos missions seront les suivantes : - Concevoir et mettre en place des architectures de données en choisissant les technologies adaptées aux besoins. - Gestion des bases de données en garantissant la performance et la scalabilité des solutions de stockage. - Analyser et explorer les données avec les différents outils. - Mettre en place des tableaux de bord avec Power BI ou Tableau en exploitant les données transformées via Talend. - Interagir avec les équipes métier pour comprendre et les besoins. - Utiliser TALEND pour extraire des données depuis plusieurs sources (SQL, API, Excel ...). - Automatiser les processus ETL pour centraliser les données dans un Data Wrehouse (Snowflake). - Participation aux projets IA. Compétences requises : • ETL: Talend • Analyse de données (PowerBI, Tableau) • Base de données (SQL, GCP) • Langages: Python, SQL

Nous recherchons un Senior Data Engineer expérimenté pour rejoindre notre équipe Data. La personne sera responsable de la conception, du développement et de la maintenance de solutions de données robustes et scalables, tout en assurant la qualité et la gouvernance des données. Le candidat idéal maîtrise les environnements cloud, les pipelines de données et les outils de gestion des données modernes. Missions principales Concevoir, développer et maintenir des pipelines de données robustes et scalables pour ingestion, transformation et intégration de données. Assurer la qualité, la sécurité et la gouvernance des données en collaboration avec les équipes Data & BI. Participer à la conception d’architectures data modernes sur Snowflake et autres plateformes cloud. Développer des solutions ETL/ELT avec Talend et automatiser les processus de traitement des données. Intégrer et orchestrer des flux de données en temps réel avec Kafka. Collaborer avec les équipes métiers pour comprendre les besoins en données et proposer des solutions adaptées. Mettre en place et suivre les métriques de performance des pipelines de données. Assurer la documentation technique et le respect des bonnes pratiques de développement. Compétences techniques requises Bases de données & Cloud : Snowflake, SQL avancé, modélisation de données, optimisation des requêtes. Gouvernance & Qualité des données : Collibra, gestion des métadonnées, data lineage. Langages de programmation : Python pour le développement de scripts ETL, automatisation et analyses. ETL / Intégration : Talend, conception et maintenance de flux ETL/ELT. Streaming & Event-driven : Kafka, gestion de flux en temps réel. Autres : Git, CI/CD, tests automatisés, bonnes pratiques de développement logiciel. Compétences comportementales Forte capacité analytique et rigueur. Autonomie et prise d’initiative sur les projets techniques. Excellente communication pour travailler avec des équipes transverses. Capacité à mentor et encadrer des profils juniors. Profil recherché Bac +5 en Informatique, Data ou équivalent. Minimum 5 ans d’expérience en Data Engineering dans des environnements complexes. Expérience avérée sur Snowflake, Talend, Kafka et Python. Bonne connaissance des processus de gouvernance et de qualité des données avec Collibra. Maîtrise des concepts d’architecture data moderne et des bonnes pratiques DevOps pour pipelines data. Télétravail : 2 jour / semaine Langues : Français, Anglais

Ton quotidien chez Komeet sera rythmé par : Animation des ateliers afin d’étudier et cadrer les besoins clients Préconisation, conception et mise en œuvre des plateformes Data (datawarehouse, datalake/lakehouse ) Rédaction de dossiers d’architecture et spécifications techniques Mise en œuvre des stratégies d’exploitation de plateformes Data Construction et déploiement des pipelines de données (ETL / ELT) à l’aide de langage de programmation ou d’outils de type Low-Code Mis en œuvre des flux d’intégration (en batch ou streaming) de données structurées/non structurées et volumineuses. Tests, validation et documentation des développements Réalisation d'audits et projets d’optimisation

CONTEXTE Experience : 8 ans et plus Métiers Fonctions : Etudes & Développement, Consultant expert Spécialités technologiques Compétences Technologies et Outils SQL Python Informatica Secteurs d'activités Services Informatiques MISSIONS Au sein de l'équipe Marketing & Data , vous intervenez sur les projets d'évolution ou de run sur nos plateformes data client (le DataWarehouse et la CDP : Customer Data Plateforme). Vous évoluez dans un environnement Agile et intervenez à la fois comme développeur et comme garant de la qualité des livrables et des bonnes pratiques d’ingénierie logicielle et de conception. Vous aurez en charge les évolutions du Data model et des jobs de traitement de la données. Vos missions : Participer à l'étude, à la conception et au codage des applications et en assurer le support Maîtriser la dette technique, en sensibilisant vos interlocuteurs (Product Owner, Développeurs…) Pilotage de projets technique Support Technico Fonctionnel à la recette Réalisation des tests techniques Expertise souhaitée Outils : Maîtrise du langage Python et SQL. Maîtrise des outils ETL Informatica PowerCenter, SQL SERVER, T-SQL, UNIX

Vous aimez comprendre les besoins métiers autant que concevoir des solutions techniques ? Prenez une minute, cette opportunité peut vous intéresser. Client final Contrat : CDI Localisation : Lyon Télétravail : 2 jours/semaine Vous travaillez au sein de l'équipe décisionnelle pour connecter nos logiciels métiers à l'outil d'analyse de données. Vous créez et maintenez les flux de données, assurez leur qualité, et accompagnez les utilisateurs. Vos missions principales : - Comprendre les besoins des clients (ateliers, échanges). - Rédiger des documents techniques - Créer des flux de données (ETL/ELT) entre les systèmes et l'entrepôt de données. - Tester les flux et corriger les erreurs. - Créer des rapports et tableaux de bord si besoin. - Former les utilisateurs et rédiger des guides simples. - Assurer le suivi des projets et corriger les anomalies. - Optimiser les performances des flux. - Contribuer à l'amélioration des outils et des méthodes internes. - Participer à des projets transverses (formation interne, R&D…). Rémunération : 45K€ brut annuel, selon expérience CDI statut cadre 2 jours de télétravail / semaine RTT TR Mutuelle d'entreprise Environnement collaboratif, rythme de travail flexible, management accessible

Nous recherchons pour le compte de l’un de nos clients un Data Engineer Snowflake (H/F) dans le cadre d’un remplacement : Missions : Concevoir et maintenir des pipelines de données dans Matillion vers Snowflake. Intégrer diverses sources de données (API, bases, fichiers plats) dans Snowflake. Optimiser les traitements SQL et les configurations pour améliorer la performance et réduire les coûts. Mettre en place le monitoring et résoudre les anomalies sur les workflows ETL. Garantir la qualité, la fiabilité et la sécurité des données en production.

Vous serez en charge de la conception et du pilotage des architectures techniques dans une logique de standardisation, mutualisation des services et industrialisation via l’Infrastructure as Code. Votre rôle Infrastructure & Automatisation Concevoir, automatiser et maintenir des infrastructures Cloud via des outils IaC (Terraform, Ansible, etc.). Gérer des environnements hybrides et multi-cloud Middleware & Architectures applicatives Concevoir des architectures intégrant des couches d’intermédiation performantes et résilientes Déployer des passerelles applicatives sécurisées (Reverse Proxy) et optimisées Flux de données & Intégration Intégrer et transformer des données entre systèmes via ETL et MessageBus (Kafka) Faciliter la circulation des données pour des usages analytiques et IA Sécurité & Gestion des secrets Déployer et gérer HashiCorp Vault pour sécuriser les accès et les clés d’infrastructure et d’application Garantir la conformité et la protection des données sensibles Architecture & Bonnes pratiques Appliquer une architecture hexagonale pour séparer clairement les couches métier, d’infrastructure et d’interfaces Standardiser les pratiques pour optimiser la qualité, la maintenabilité et le testing des systèmes

En tant que Développeur, et en coordination avec l’équipe, vos missions seront de : Développer et maintenir des pipelines de traitement de données (batch ou temps réel) Intégrer, transformer et charger des données depuis différentes sources (APIs, bases de données, fichiers, flux, etc.) Concevoir et optimiser des jobs ETL/ELT pour alimenter les environnements analytiques (Data Lake, Data Warehouse) Implémenter les logiques de nettoyage, d’enrichissement et de validation des données Participer à la modélisation des structures de données pour répondre aux besoins métiers et analytiques Assurer la performance, la fiabilité et la scalabilité des traitements de données Automatiser les processus de collecte et de transformation via des scripts et outils d’orchestration (Airflow, Azure Data Factory, etc.) Collaborer avec les Data Scientists, Data Analysts et les équipes DevOps pour garantir la disponibilité et la qualité des données Surveiller et corriger les anomalies dans les flux de données Rédiger la documentation technique des pipelines et des processus mis en place

Résumé Ce poste vise à moderniser et optimiser nos systèmes de données en intégrant une expertise en administration de bases de données et en culture DevOps/Cloud. Responsabilités : Administrer et optimiser les bases de données OnPrem : PostgreSQL, Vertica, MariaDB, Oracle (11g, 19c – sortie progressive en cours). Accompagner la migration et la gestion des bases sur AWS (RDS, Aurora MySQL, Redshift, Glue). Concevoir et maintenir des pipelines ETL/ELT robustes et industrialisés. Mettre en place les standards de gouvernance des données (qualité, sécurité, conformité). Optimiser les performances (requêtes SQL, tuning, architectures de stockage). Garantir la haute disponibilité, le PRA et la continuité de service. Automatiser la gestion des environnements via IaC (Terraform, Ansible) et intégrer la donnée dans les chaînes CI/CD. Contribuer au monitoring et à l’observabilité (Prometheus, Grafana, ELK). Collaborer avec les équipes Data, BI et IT pour fournir des données fiables et performantes. Effectuer une veille sur les évolutions technologiques (Cloud, Data Lake, Big Data). Gérer l’évolution des schémas BDD via des outils de migration comme Liquibase. Compétences : Bases OnPrem : PostgreSQL, Vertica, MariaDB, Oracle 11g/19c. Cloud : AWS (RDS, Aurora MySQL, Glue, Redshift) – Maîtrise AWS = pré-requis. ETL / Data pipelines : Airflow, Dollar Universe ou équivalent. Langages : SQL avancé, Python, Shell. IaC & DevOps : Terraform, Ansible, Git, Docker, CI/CD – pré-requis. Gestion de schémas BDD : Liquibase (pré-requis). Détails : Localisation: Neuilly sur Seine (92) Télétravail: 2 jours par semaine