Mission freelance Data Architecte AWS / Iceberg

Data Engineer Senior afin d’accompagner la conception, l’industrialisation et l’évolution de ses solutions data. Le prestataire interviendra sur les sujets d’architecture, de modélisation, d’optimisation des pipelines et contribuera activement à la stratégie Lakehouse de l’entreprise.

• Concevoir, développer et optimiser des pipelines de données à grande échelle.

• Mettre en œuvre des flux batch, streaming et ingestion via API.

• Structurer les transformations selon un modèle Médaillon (Bronze / Silver / Gold).

• Développer et industrialiser les pipelines via DBT, Spark et Iceberg.

• Contribuer à l’évolution de l’architecture Lakehouse de l’entreprise.

• Déployer et maintenir les pipelines dans un environnement cloud (AWS ou équivalent).

• Orchestrer les workflows ETL/ELT via Airflow.

• Mettre en œuvre l’Infrastructure as Code (Terraform).

• Exécuter les traitements dans des environnements conteneurisés (Docker, Kubernetes).

• Garantir la disponibilité, la supervision et l’observabilité des traitements.

• Participer à la gestion des incidents et à l’amélioration continue.

• Définir et mettre en œuvre les règles de qualité des données (tests, validation, contrôles automatisés).

• Documenter les architectures, pipelines et règles métier.

• Garantir la conformité des flux, notamment dans le cadre RGPD.