Mission freelance Data Engineer Senior

Objectifs et livrables

Dans le cadre du lancement de notre nouveau projet, nous recherchons une prestation de Data Engineer senior pour concevoir et mettre en œuvre des pipelines de données dans un environnement serverless exigeant.

Le prestataire Data Engineer senior doit être capable de produire, mais aussi de comprendre les enjeux métier, de cadrer les sujets en amont, de faire les bons choix de conception et de diffuser son savoir-faire au sein de la squad.

Missions principales :

• Concevoir et développer des pipelines de données en Python

• Implémenter des traitements batch et des orchestrations via Azure Durable Functions

• Manipuler des données volumineuses, notamment au format Parquet

• Mettre en place des validations de schémas et des contrôles de qualité de données

• Assurer l’intégration avec des APIs externes

• Participer à la modélisation et à l’optimisation des bases Azure SQL

• Mettre en œuvre l’observabilité de la solution : traces, métriques, logs

• Industrialiser les déploiements via CI/CD • Garantir la qualité et la sécurité du code

• Contribuer à l’analyse des besoins et au cadrage des sujets avant implémentation

• Porter une réflexion de conception sur les choix techniques, les compromis et la maintenabilité

• Utiliser l’IA comme un levier d’ingénierie concret : accélérer l’exécution, explorer des options, challenger des choix, améliorer la qualité et gagner en efficacité, sans déléguer la réflexion ni baisser le niveau d’exigence

• Partager ses pratiques, expliciter ses choix et contribuer à la montée en compétence de la squad

• Travailler efficacement dans un environnement international, y compris en anglais sur des sujets techniques et de conception

Profil recherché :

• Capable de comprendre rapidement les enjeux métier et de les traduire en solutions robustes et pragmatiques

• Capable de penser le problème avant de se focaliser sur l’implémentation

• Doté d’une vraie expertise d’ingénierie et de conception, au-delà de la seule maîtrise d’un langage, d’un framework ou d’une version spécifique

• Capable d’utiliser les outils d’IA de manière avancée, critique et pertinente, et non comme un simple générateur de code

• Proactif, précis et honnête sur ses capacités, ses limites et les risques associés à ses choix

• Capable de produire de la synthèse utile à la décision

• Attiré par l’immersion dans les sujets, le partage, la transmission et le travail transverse

Compétences requises :

Langage :

• Python

Cloud :

• Expérience des Azure Functions, notamment Durable Functions v2

• Capacité à récupérer et exploiter des données depuis différentes sources Azure : Data Lake, Blob Storage, Azure DB

Data processing:

• Pandas

• Polars

• PyArrow

Langues : Bon niveau d’anglais, permettant de participer de manière autonome à des échanges techniques et de conception, à l’écrit comme à l’oral

La valeur attendue réside aussi dans la capacité à comprendre les enjeux, concevoir les bonnes solutions, utiliser l’IA avec discernement, expliciter les choix et faire progresser l’équipe.

Compétences demandées

PYTHON - Expert

POLARS - Confirmé

PYARROW - Confirmé

PANDAS - Confirmé

Fonctions Azure - Expert

Niveau de langue

Anglais - Courant