Trouvez votre prochaine mission ou futur job IT.

Cherry Pick est à la recherche d'un Data Engineer Python AWS pour l'un de ses clients dans le secteur de l'énergie. Missions : Le Data Engineer sera responsable de la conception, du développement et de la mise en production de l'architecture de données. Il devra notamment :  Collecter les exigences des métiers et des utilisateurs  Concevoir l'architecture de données  Concevoir les pipelines de données  Mettre en production l'architecture  Assurer la maintenance et l'évolution de l'architecture Le Data Engineer travaillera en étroite collaboration avec : Les Product Owners Les Data Analysts Les équipes métiers (marketing, trading, exploitation, supply chain…) Les équipes DataOps / MLOps

Conception & développement de pipelines Implémenter de nouveaux flux de données batch et streaming . Développer des pipelines ETL / ELT en Python et Airflow pour les traitements planifiés, et via NiFi ou Kafka pour les données en temps réel. Assurer l’intégration et la mise à disposition des données dans Snowflake . Industrialisation & bonnes pratiques Participer aux revues de code , aux tests unitaires et d’intégration . Contribuer à l’ industrialisation des pipelines avec des pratiques CI/CD robustes. Maintenir la documentation technique à jour et contribuer à l’amélioration continue des process. Maintenance & optimisation Garantir la maintenance corrective et évolutive des flux existants. Participer à la mise en place du monitoring , des alertes et des bonnes pratiques d’exploitation. Optimiser les performances, la fiabilité et la qualité des traitements de données.

Descriptif du poste Le prestataire interviendra comme développeur senior / Data Engineer sur les différentes applications IT du périmètre : Application de data management : ingestion, stockage, supervision et restitution de time series. Application de visualisation de données de marché et des analyses produites Application de calcul de prévision de prix Le prestataire devra accompagner les évolutions et assurer la maintenance corrective et évolutive sur ces différentes applications dans les meilleurs délais (time to market) tout en garantissant la qualité des livrables. Mission • Conception et développement d'outils d'aide à la décision • Conception et développement de nouvelles architectures data • Collecte, ingestion, traitement, transformation et restitution des données (météo, fundamentales..) • Optimisation des coûts et des performances • La gestion du cycle de développement, de l'infra et des mises en production (DevOps) • Maintenance évolutive et support technique / accompagnement des utilisateurs (analystes, data scientists...) • Coaching de l'équipe autour des thématiques Big Data et AWS : workshops, présentations…

La Mission à réaliser se déclinera notamment à travers ces activités : • Collecte, ingestion, traitement, transformation et restitution des données • Optimisation des coûts et des performances. • Conception et développement d'outils d'aide à la décision • Maintenance évolutive et support technique / accompagnement des utilisateurs Langages & Frameworks Python v3 — Avancé (5 à 8 ans) Design Patterns / Architecture logicielle — Confirmé (3 à 5 ans) Cloud & Infrastructures AWS — Confirmé (3 à 5 ans) Data & Big Data Lakehouse Fundamentals & Database Systems — Confirmé (3 à 5 ans) Big Data Architecture & Technologies — Confirmé (3 à 5 ans) Data Management Systems — Confirmé (3 à 5 ans) Domaines fonctionnels Marchés des matières premières (Gaz, Électricité, etc.) — Junior (< 3 ans) Soft Skills / Compétences transverses Anglais — Avancé (5 à 8 ans) Esprit d’analyse et de synthèse — Avancé (5 à 8 ans) Proactivité / Prise d’initiative / Orientation solution — Junior (< 3 ans)