Find your next tech and IT Job or contract Python

Contexte Nous recherchons un Cloud Data Engineer disposant d'une solide expérience sur les environnements Snowflake et AWS, afin d'intervenir sur des sujets de modernisation et d'automatisation des plateformes de données dans un contexte industriel. Répartition des activités • 60 % Data Engineering / Snowflake • 40 % Cloud & DevOps AWS Compétences attendues Data Engineering (60%) • Snowflake • SQL avancé • Modélisation de données • ETL / ELT • Data Quality & Data Governance • Pipelines de données • AWS Glue, S3, DMS, Kinesis • Automatisation des traitements de données Cloud & DevOps AWS (40%) • AWS • Terraform (Infrastructure as Code) • CI/CD (GitLab, GitHub, Jenkins) • Python / Bash • Docker, Kubernetes • AWS Lambda • DevOps / DevSecOps • Sécurisation et automatisation des environnements Cloud

En tant que Système et Administrateur MFT, vous occupez un rôle central mêlant l'exploitation quotidienne, le conseil technique et la gestion de projets de migration complexes. Vos principales missions se divisent en plusieurs axes : Administration et Exploitation : Vous administrez les plateformes MFT (notamment Secure Transport, CFT, SFTP, AS2, FTPS) et assurez la supervision quotidienne des flux ainsi que la résolution des incidents (support de niveau 2 et 3). Vous gérez les comptes, les clés, les certificats et maintenez la cartographie des flux à jour. Projet de Migration Stratégique : Vous avez pour objectif d'accompagner la migration des flux Axway de la plateforme Gateway vers Secure Transport. Il s'agit d'un projet à forte contrainte où vous devrez impérativement raccourcir les délais de migration. Vos livrables incluront le listing des flux et le plan de migration. Sécurité et Conformité : Vous mettez en œuvre les règles de sécurité (TLS), appliquez les politiques internes (PSSI) sur les transferts de données sensibles et garantissez la traçabilité des échanges. Expertise et Amélioration continue : En tant qu'expert système d'exploitation, vous assistez, conseillez et diagnostiquez les dysfonctionnements. Vous participez au design de nouveaux flux, proposez des améliorations d'automatisation (scripting) et mettez à jour la documentation technique.

ContexteDans le cadre de la transition vers une architecture Data Mesh, nous recherchons un(e) Data Product Engineerspécialisé(e) dans le développement de pipelines sur la plateforme Talend Real Time BigData et de data products sur la plateforme Starburst (Trino). La mission consiste à concevoir, collecter, intégrer, construire et opérer des jeux de données fiables, auto-descriptifs et interopérables, en collaboration avec les domain teams et les data owners. MissionsConcevoir des flux de données et des Data Products Développer des pipelines d'intégration de données optimisés via la Talend Data Fabric / Talend Real Time BigData Développer des requêtes SQL optimisées pour Starburst/Trino (push-down predicates, partitionnement, formats de fichiers comme Iceberg/Parquet) Automatiser les pipelines de données (ETL/ELT) avec des outils comme Airflow, dbt, ou Starburst Galaxy Configurer des accès sécurisés (RBAC, row-level security) et des politiques de gouvernance (tagging, lineage) Collaborer avec les domain teams pour identifier les sources de données et les cas d'usage Documenter les data products (métadonnées, ownership, qualité) via des outils comme Amundsen, DataHub, ou Starburst Discover Participer à la définition des standards d'interopérabilité (formats communs, APIs de données) Monitorer la performance (latence, coût des requêtes) et la qualité des données (frais, complétude) Mettre en place des alertes et des dashboards (Grafana, Metabase) pour le suivi des data products Contribuer à l'amélioration continue de la plateforme Starburst (scaling, caching, federation) Compétences techniques requisesTalend RealTime BigData : expérience avancée en développement de pipelines sur Talend Studio en mode batch ou route (runtime) Starburst/Trino : expérience avancée en SQL sur Starburst/Trino (jointures, CTEs, fonctions analytiques) Data Modeling Pipelines : expérience avec Airflow/Astronomer, Spark, Talend Real Time Big Data / Talend Data intégration Stockage : connaissance des formats Iceberg, Parquet, S3 Gouvernance : familiarité avec les outils de sécurité (Ranger, RBAC) DevOps/DataOps : pratiques CI/CD pour les pipelines, infrastructure-as-code (Terraform, Kubernetes) Langages : SQL avancé (mandatory), Python (Pandas, PySpark), bash Compétences transverses (Data Mesh)Compréhension des principes Data Mesh (domain-oriented ownership, self-serve platform, federated governance) Capacité à travailler en mode produit (roadmap, priorisation, collaboration avec les métiers) Sensibilité à la data quality (tests, monitoring, remédiation) et à la documentation (data contracts, métadonnées) Soft SkillsEsprit collaboratif : travail avec les équipes métiers, data scientists, et DevOps Pédagogie : capacité à expliquer des concepts techniques à des non-experts Autonomie : prise d'initiative dans un cadre agile Environnement techniqueExpertise écosystème zoo Hadoop Connaissance / maîtrise Data Connaissance / maîtrise technique de l'environnement DevOps Maîtrise technique de l'environnement Data Expertise couche d'accès et d'échange (Kafka, Nifi, …) Expertise Java, Scala, Python, Hive, Spark Expertise ETL, Bash Expertise SQL / NoSQL