Trouvez votre prochaine offre d’emploi ou de mission freelance ETL (Extract-transform-load)

4. Description de la prestation et des missions attendues Le/La Data Engineer sera intégré(e) à l'équipe produit TOPASE NLS et interviendra sur les missions suivantes : 🔹 Conception, développement et optimisation des pipelines de données (GCP) Concevoir, développer et maintenir des pipelines robustes et performants pour la collecte, la transformation et le chargement des données depuis diverses sources (Oracle, fichiers, API, etc.) vers BigQuery et autres cibles. Exploiter et orchestrer les services Google Cloud Platform (Dataflow, Dataproc, Cloud Composer/Airflow, Pub/Sub, Cloud Storage, BigQuery) afin de construire des architectures data scalables et fiables. Automatiser les traitements, gérer les dépendances et orchestrer les jobs de données. Optimiser les performances des pipelines ainsi que la consommation des ressources GCP. 🔹 Modélisation et gestion des données Participer à la conception et à l'évolution des modèles de données dans BigQuery, en lien avec les Data Analysts et les équipes métiers. Garantir la qualité, la cohérence et l'intégrité des données. Mettre en œuvre des stratégies de versioning des schémas et de gestion du cycle de vie des données. 🔹 Run opérationnel, maintenance et support N2/N3 Assurer le support opérationnel de niveau 2/3 de la solution TOPASE (environnement GCP + solution éditeur). Développer et maintenir des scripts Bash pour automatiser les tâches récurrentes (supervision, traitement de données, maintenance). Rédiger, optimiser et exécuter des requêtes SQL complexes (BigQuery et Oracle) pour l'analyse, le diagnostic d'incidents et la restitution de données. Gérer les incidents en collaboration avec les équipes internes et l'éditeur. Participer à la qualification des livraisons de patchs éditeur impactant les flux de données. Suivre les incidents via le CRM éditeur et contribuer aux comités de suivi. 🔹 Monitoring, logging et alerting Mettre en place et maintenir des dispositifs de supervision des flux de données, de la qualité, des performances et de l'utilisation des ressources (Stackdriver, Grafana, Looker Studio). Définir et implémenter des alertes permettant la détection proactive des anomalies. Concevoir des tableaux de bord pour le suivi des KPI opérationnels et métier. 🔹 Infrastructure as Code (IaC) Contribuer à la définition et à l'implémentation de l'infrastructure data via Terraform. Garantir la reproductibilité et la traçabilité des environnements (Dev, Recette, Pré-prod, Prod). 🔹 Collaboration et conseil Travailler en étroite collaboration avec les équipes Data (Data Scientists, Data Analysts), les Product Owners et les métiers. Proposer des solutions techniques adaptées et conseiller sur les bonnes pratiques en Data Engineering. Participer aux rituels Agile/Kanban de l'équipe produit. 5. Compétences et expériences requises5.1 Expertise technique Cloud GCP : Expertise confirmée des services data (BigQuery, Dataflow, Cloud Storage, Pub/Sub, Composer/Airflow, Stackdriver, Data Catalog). Bases de données : Maîtrise avancée SQL (optimisation, requêtes complexes), expérience sur BigQuery et Oracle 19 (MySQL/PostgreSQL appréciés). Scripting : Excellente maîtrise de Bash (indispensable pour le run). Systèmes : Bonne maîtrise des environnements Linux (RedHat). IaC : Solide expérience avec Terraform. CI/CD : Maîtrise d'un outil comme GitLab CI. Monitoring/Logging : Stackdriver, Grafana, ELK, Looker Studio. Versioning : Git (GitLab). Réseaux : Connaissances solides (TCP/IP, HTTP/S, DNS, load balancing, firewall). Data Engineering : Maîtrise des concepts ETL/ELT, Data Warehouse, Data Lake et streaming. 5.2 Environnement technique TOPASE NLS OS : RedHat Enterprise 9.4 Cloud : Azure (solution éditeur) & GCP (data, monitoring, pipelines) CI/CD : GitLab CI IaC : Terraform Monitoring : Looker Studio, GANTI, Grafana, ELK Bases : Oracle, BigQuery Langage : Bash 5.3 Méthodologies et soft skills Expérience en environnement Agile (Scrum, Kanban). Excellentes capacités d'analyse et de résolution de problèmes, notamment en situation d'incident. Autonomie, proactivité et sens de l'amélioration continue. Bonnes compétences de communication (français courant, anglais technique). Esprit d'équipe et partage des connaissances. Sens des responsabilités, notamment en environnement de production. 5.4 Expérience Minimum 3 ans d'expérience en tant que Data Engineer, idéalement sur GCP. Expérience sur des environnements à forte volumétrie, avec des enjeux de performance, fiabilité et disponibilité.

STORM GROUP, ESN spécialisée en banque, assurance et finance recherche actuellement un administrateur informatica. Dans un cadre de migration vers la solution CDI-PC d'informatica, l'expert solution informatica aura les missions ci-dessous : Gérer et administrer les systèmes de l’application Informatica PowerCenter de l'entreprise, en assurant la cohérence, la qualité et la sécurité. Prendre en charge le maintien en conditions opérationnelles des infrastructures powercenter Traiter les incidents et problèmes pouvant survenir sur les plates-formes. Fiabiliser et optimiser le fonctionnement des infrastructures en anticipant les évolutions de capacité et de performance. Documenter les configurations et rédiger les consignes destinées aux supports niveaux 1 et 2 Travailler en relation étroite et permanente avec les équipes de production et Infrastructures et Sécurité. Administrer les systèmes de gestion de données/référentiel de l'entreprise. Exploiter les environnements notamment en assurant leur intégrité, en réglant leurs paramètres et en mettant en œuvre les outils de surveillance Effectuer un support technique de niveau 3 sur la solution Créer, à la demande des domaines ou de l'exploitation, les outils spécifiques d'aide à l'exploitation. Suivre et contrôler les évolutions de versions retenues par l'entreprise. Astreinte du domaine Assurer une astreinte sur le périmètre ETL / BI (windows/linux)

Almatek recherche pour l'un de ses clients Un Data Ingénieur DevOps / AWS sur Plaisir. Contexte de la mission Dans le cadre de la mise en place d’une dataplateforme d’entreprise, la DSI du client souhaite intégrer un expert Data Ingénieur & DevOps AWS afin de : Mettre en place l’ingestion de différents types de données (structurées, semi?structurées, non structurées) Industrialiser l’ingestion des données depuis un datalake existant vers la nouvelle dataplateforme Automatiser l’intégration des données dans la couche standardisée AWS (RAW DATA vers STANDARDIZED) Réaliser la documentation et assurer le transfert de connaissances L’objectif principal est de finaliser un premier use case incluant l’ingestion de plus de 100 tables issues d’un ERP, tout en accompagnant la montée en compétences des équipes internes (équipe data et Data Engineer). Environnement Technique Data Engineering & Cloud AWS Services AWS Data : S3, Glue, Redshift, Athena, EMR, Lambda Pipelines et orchestration : Step Functions, Airflow, Lambda Python Patterns d’architecture data : Data Lake, ETL / ELT, Data Mesh Transformation data : dbt DevOps & Industrialisation Infrastructure as Code : Terraform CI/CD : GitLab CI/CD Gestion des environnements DEV / PREPROD / PROD Versionning du code et de la data : Git, DVC, LakeFS Sécurité & Gouvernance IAM, gestion des accès, chiffrement Gouvernance et catalogage : Glue Data Catalog, Collibra ou équivalent

Objectif : Intégrer l'équipe de Responsables d'Application INFOLOG Compétences techniques WMS INFOLOG de l'éditeur GENERIX - Expert - Impératif SQL - Expert - Impératif Expériences significatives de RA INFOLOG - Expert - Impératif Profil Informatique Etudes - Expert - Impératif Description détaillée Renfort de l'équipe de responsables d'applications INFOLOG actuelle. Contexte : Près de 50 entrepôts opérés / Projet de passage en SaaS pour 2 pilotes en 2027. Le candidat aura donc à intervenir à la fois sur le RUN et le BUILD (MEV / PRJ). En lien avec les autres RA : 1. Gestion de projets et engagement : o Contribuer aux évolutions fonctionnelles et techniques, en veillant au respect des engagements qualité, délais et budgets. o Garantir l’application des normes, méthodes et outils, pour assurer une intégration homogène et performante de chaque base logistique au sein du système. 2. Maintenance applicative : o Assurer et coordonner les activités de maintenance corrective et évolutive de l’application Infolog. o Diagnostiquer et piloter les corrections des dysfonctionnements applicatifs et des flux interfaces. 3. Maintenance évolutive : o Identifier et mettre en œuvre des évolutions fonctionnelles, en apportant de la valeur ajoutée au WMS. o Rédiger et maintenir la documentation technique et fonctionnelle des évolutions et optimisations liées au projet de déploiement. 4. Relation avec les parties prenantes : o Être l’interlocuteur privilégié du Métier et assurer l’interface avec les contributeurs internes et externes : - Notamment dans le cadre PRJ / MEV (chefs de projet, experts Métier, Exploitants, architecture, sécurité, réseau, équipes de développement, testeurs, éditeurs partenaires). o Participer aux phases d’études et de cadrage des projets, incluant l’analyse des besoins, la rédaction et la gestion des contrats d’interface entre les différents systèmes. Qualifications et compétences recherchées : Profil technique et fonctionnel : - Une expérience ou des notions dans les domaines suivants seront fortement appréciées : o API et webservices, manipulation de fichiers XML et gestion d’interfaces inter-applicatifs. o Connaissances en normes GS1, bases de données SQL, protocoles de communication (MFT, MQ-Series, API, ETL) et environnements Windows, Linux, et Oracle. - Connaissance du WMS Infolog et maîtrise de sa base de données sont des pré requis pour ce poste. Formation et expérience : - Diplôme en informatique ou domaine similaire, avec une expérience significative en tant que Responsable Applicatif, idéalement dans la logistique ou le transport. Savoir-être et savoir-faire : - Solides capacités relationnelles pour collaborer avec les métiers (MOA, utilisateurs finaux) et les équipes techniques internes/externes. - Aptitudes d’animation : savoir communiquer clairement, animer des comités de pilotage avec décideurs et éditeurs. Esprit d’analyse, de synthèse et force de proposition, avec d’excellentes qualités rédactionnelles.

Compétences techniques : WMS INFOLOG de l'éditeur GENERIX - Expert - Impératif SQL - Expert - Impératif Expériences significatives de RA INFOLOG - Expert - Impératif Profil Informatique Etudes - Expert - Impératif Contexte : Près de 50 entrepôts opérés / Projet de passage en SaaS pour 2 pilotes en 2027. Le candidat aura donc à intervenir à la fois sur le RUN et le BUILD (MEV / PRJ). En lien avec les autres RA : 1. Gestion de projets et engagement : o Contribuer aux évolutions fonctionnelles et techniques, en veillant au respect des engagements qualité, délais et budgets. o Garantir l’application des normes, méthodes et outils définis par le Groupement, pour assurer une intégration homogène et performante de chaque base logistique au sein du système. 2. Maintenance applicative : o Assurer et coordonner les activités de maintenance corrective et évolutive de l’application Infolog. o Diagnostiquer et piloter les corrections des dysfonctionnements applicatifs et des flux interfaces. 3. Maintenance évolutive : o Identifier et mettre en œuvre des évolutions fonctionnelles, en apportant de la valeur ajoutée au WMS. o Rédiger et maintenir la documentation technique et fonctionnelle des évolutions et optimisations liées au projet de déploiement. 4. Relation avec les parties prenantes : o Être l’interlocuteur privilégié du Métier et assurer l’interface avec les contributeurs internes et externes : - Notamment dans le cadre PRJ / MEV (chefs de projet, experts Métier, Exploitants, architecture, sécurité, réseau, équipes de développement, testeurs, éditeurs partenaires). o Participer aux phases d’études et de cadrage des projets, incluant l’analyse des besoins, la rédaction et la gestion des contrats d’interface entre les différents systèmes. Qualifications et compétences recherchées : Profil technique et fonctionnel : - Une expérience ou des notions dans les domaines suivants seront fortement appréciées : o API et webservices, manipulation de fichiers XML et gestion d’interfaces inter-applicatifs. o Connaissances en normes GS1, bases de données SQL, protocoles de communication (MFT, MQ-Series, API, ETL) et environnements Windows, Linux, et Oracle. - Connaissance du WMS Infolog et maîtrise de sa base de données sont des pré requis pour ce poste.