Trouvez votre prochaine offre d’emploi ou de mission freelance Pandas

Profil: Ingénieurie Data expérimenté pour concepion, construction et maintenance d' une infrastructure de données robuste et performance dans un environnement entièrement on-premise. Étroite collaboration avec les équipes Data pour garantir des pipelines fiables et de haute qualité sur notre infrastructure autogérée. - Expertise Python en contexte professionnel et en production - Maîtrise des paradigmes avancés : décorateurs, générateurs, context managers, métaclasses, typage statique avec mypy - Conception de packages Python structurés et réutilisables, gestion de dépendances - Écriture de tests robustes : pytest, mocking, fixtures, tests paramétrés, couverture de code - Développement de clients Kafka en Python (confluent-kafka, kafka-python) : producteurs, consommateurs, gestion des offsets et des erreurs - Expérience avec les clients Elasticsearch en Python (elasticsearch-py) pour l'indexation et la recherche - Développement d'opérateurs et de hooks Airflow custom en Python - Manipulation de données avec pandas et PyArrow pour les formats colonnaires (Parquet, ORC) - Maîtrise des outils de qualité de code : black, ruff, pylint, pre-commit - Bonne connaissance de la programmation asynchrone (asyncio, aiohttp) pour les pipelines I/O-bound - Maitrise kubernetes et CI/CD (gitops, etc )

TEKsystems recherche pour l'un de ses clients grand compte un(e) Data ingénieur (H/F) Les tâches : Établir et sécuriser des connexions techniques robustes et évolutives avec les systèmes sources Corporate identifiés (ERP, Plateformes Financières, RH, ITSM etc.). Extraire et charger les données des domaines fonctionnels Corporate clés : finance, ressources humaines, référentiels, achats, etc. Concevoir et implémenter des pipelines d'ingestion automatisés fiables et performants, garantissant l'intégrité et la fraîcheur des données. Structurer et modéliser les données dans un entrepôt de données (Data Warehouse Snowflake) de manière logique, modulaire, réutilisable et optimisée pour l'analyse et la restitution. Mettre en place des mécanismes de gouvernance des données : gestion des métadonnées, logiques de rafraîchissement, suivi de la qualité des données et gestion des erreurs. Développer des vues et agrégats de données spécifiques aux besoins de restitution et d'analyse des différents départements Corporate. Documenter de manière exhaustive les pipelines d'ingestion, les modèles de données (logique et physique), les règles de transformation et les points de reprise pour assurer la maintenabilité et la transférabilité. Environnement technique Sources : Multiples systèmes Corporate (Systèmes Financiers, Plateformes Achats, Outils ITSM. - via APIs, exports ou connecteurs natifs). Destination : Snowflake(Data Warehouse Cloud). Orchestration : Airflow. Transformation : DBT Core / SQL, Python (Pandas/PySpark) ou équivalent. Modélisation : DrawIO, Lucidchart ou autre support outil libre. Visualisation / Restitution : Tableau. CI/CD / versioning : GitLab, GitHub. Documentation : Confluence, Jira, SharePoint.