Trouvez votre prochaine offre d’emploi ou de mission freelance Amazon Redshift

Dans le cadre d’un programme de transformation data, nous recherchons un Architecte Data AWS pour définir et piloter l’évolution des plateformes de données cloud natives sur Amazon Web Services. Vous analyserez les architectures existantes, identifierez les limites techniques et proposerez des trajectoires cibles adaptées aux enjeux métiers, techniques et opérationnels. Vous guiderez la conception de nouvelles architectures en intégrant des services et technologies AWS tels que S3, Glue, Redshift, Athena, EMR, Kinesis ou des approches lakehouse lorsque pertinent. Vous serez responsable des choix structurants en matière de stockage, de traitement, de gouvernance, de sécurité et de qualité des données, en veillant à la performance, à la scalabilité et à la résilience des plateformes. Vous travaillerez étroitement avec les équipes Data Engineering, Cloud et DevOps pour garantir une mise en œuvre industrialisée, alignée avec les standards d’entreprise et les contraintes d’exploitation. Vous aurez également un rôle clé dans l’animation d’ateliers techniques, la formalisation de patterns d’architecture et l’accompagnement des équipes dans l’adoption des meilleures pratiques data sur AWS.

Dans le cadre d’un programme de transformation data, nous recherchons un Data Engineer AWS pour concevoir, optimiser et industrialiser des plateformes analytiques cloud natives sur AWS. Vous analyserez des architectures existantes, proposerez des trajectoires d’évolution (refonte des pipelines, modernisation vers des traitements serverless, optimisation des modèles analytiques) et guiderez leur mise en œuvre avec des services tels que AWS Glue, Athena, Redshift, S3 et Kinesis. Vous serez responsable de la conception et de la fiabilisation des pipelines d’ingestion et de transformation, de l’amélioration des performances et de l’intégration de mécanismes d’observabilité et de qualité des données. Vous travaillerez main dans la main avec les équipes Cloud et DevOps pour intégrer les traitements dans des pipelines CI/CD robustes et adaptés aux contraintes d’exploitation. Vous aurez également un rôle clé dans la transmission de connaissances, l’animation d’ateliers techniques et l’accompagnement des équipes client sur les meilleures pratiques de data engineering cloud native et d’usage avancé d’AWS. Votre mission combinera expertise technique, rigueur méthodologique et capacité à structurer des solutions scalables et pérennes.

Dans le cadre du développement de son système d’information décisionnel, un grand groupe français renforce sa plateforme data dédiée au pilotage des activités immobilières. La mission s’inscrit dans l’évolution d’un hub de données centralisé , permettant de consolider, partager et valoriser les données métiers pour des usages analytiques avancés : pilotage opérationnel, reporting, data visualisation et ouverture vers des cas d’usage d’intelligence artificielle. Cette plateforme data, déployée depuis 2022, repose sur une architecture Lakehouse moderne dans le cloud AWS , et s’appuie sur des technologies telles que Databricks, NiFi, Redshift et Power BI . L’équipe data actuelle développe et maintient plusieurs applications analytiques visant à améliorer l’exploitation et la qualité des données au service des métiers. En tant qu’ Expert Data Engineer , vous interviendrez sur la conception, l’évolution et l’exploitation du hub de données. Vos principales responsabilités seront : Engineering & Data Platform Assurer la maintenance et l’optimisation des chaînes de traitement existantes (Python, SQL, Databricks, Power BI) Développer de nouveaux pipelines de données pour intégrer de nouvelles sources dans le Data Lake (Batch, API) Participer aux travaux de modélisation et d’urbanisation du hub de données Identifier, collecter, transformer et stocker les données nécessaires à l’alimentation des modèles analytiques Implémenter des algorithmes et traitements avancés exploitant les données du Data Lake Analyse & accompagnement métier Participer aux ateliers avec les métiers afin de formaliser les besoins Rédiger les expressions de besoins et spécifications fonctionnelles Définir les règles de calcul et d’agrégation des indicateurs Proposer des solutions adaptées aux enjeux d’analyse et de pilotage Descriptif de la mission Data visualisation & reporting Concevoir et développer des tableaux de bord et rapports Power BI Automatiser les processus de reporting Produire des indicateurs et restitutions analytiques pour les utilisateurs métiers Documentation & gouvernance Rédiger les spécifications techniques et fonctionnelles Documenter les règles d’alimentation du datawarehouse et les modèles de données Contribuer à la documentation des règles de sécurité et de gouvernance des données Participer aux plans de tests, recettes et supports utilisateurs

Rattaché·e au CTO, vous encadrerez un Data Engineer et prendrez la responsabilité de la plateforme data et des initiatives d’ingénierie data. Dans un contexte cloud-first (AWS) et de structuration de la stratégie data, votre rôle consistera à définir l’architecture cible, organiser les flux de données et piloter la mise en œuvre des solutions permettant de soutenir les enjeux métiers et business. À ce titre, vos principales missions seront les suivantes : - Définir et piloter l’architecture data cible (Data Lake, Data Warehouse, flux batch et temps réel). - Aligner les initiatives data avec les priorités business et métier, et structurer la roadmap associée. - Concevoir et faire évoluer la plateforme data et les solutions techniques sous-jacentes dans un environnement cloud AWS. - Définir les standards d’ingestion, de transformation et demodélisation des données (dbt pour la transformation notamment). - Mettre en place les mécanismes d’exposition des données via APIs ou services internes/externes. - Structurer les pratiques de gouvernance de données, data quality et data lifecycle. - Superviser les plateformes permettant le déploiement des cas d’usage Data Science et IA. - Piloter les partenaires et prestataires intervenant sur les projets data et garantir la qualité des livrables. - Assurer le suivi des coûts de la plateforme data et optimiser l’usage des ressources cloud (FinOps). - Contribuer aux réflexions autour de l’évolution de l’écosystème data, notamment sur les solutions d’intégration (ex. iPaaS). Le poste combine vision d’architecture, capacité technique et pilotage, avec une part d’exécution technique mais une orientation progressive vers le pilotage et la structuration. Environnement technique : Python (requis), AWS (souhaité), Make (souhaité), RedShift (souhaité), PostgreSQL (souhaité), GitHub Actions (souhaité), SQL (requis), NOSQL (requis), Amazon S3 (souhaité), AWS Lambda (souhaité), Amazon ECS (souhaité), R (souhaité),

Contexte Dans le cadre de la modernisation d’une plateforme data, vous concevez et mettez en œuvre des architectures cloud-native orientées événements sur AWS. L’objectif est de remplacer les traitements batch par des pipelines distribués, temps réel ou quasi temps réel, robustes et scalables. Missions principales Vous définissez des architectures data serverless event-driven, concevez des pipelines d’ingestion et de transformation distribués et mettez en place des systèmes découplés basés sur la messagerie en garantissant la scalabilité, la résilience et l’optimisation des coûts. Vous transformez les flux ETL batch en pipelines cloud-native, implémentez les patterns asynchrones (retry, DLQ, idempotence, gestion des timeouts) et industrialisez les déploiements via l’Infrastructure as Code et la CI/CD. Vous déployez le monitoring, le logging et le tracing afin de suivre la performance, la latence et la qualité des flux. Compétences clés Solide expérience des architectures event-driven et des systèmes distribués, de l’event sourcing et du message brokering, de la gestion du backpressure et de la latence ainsi que de la transformation distribuée et du traitement de gros volumes. Ce poste n’est pas orienté BI, reporting ou data engineering batch classique Positionnement Rôle transverse avec une forte interaction avec les équipes data, cloud, DevOps et applicatives, impliquant une responsabilité importante sur les choix techniques et les bonnes pratiques. Synthèse Profil d’architecte data AWS spécialisé en serverless et en architectures orientées événements, capable de concevoir des pipelines distribués scalables et résilients.

Nous recherchons un Senior Data Analysr Power BI . La mission implique la conception, le développement et la mise en œuvre de solutions analytiques avancées pour répondre aux besoins des métiers. 🎯 Missions principales Accompagner les utilisateurs dans la définition et la formalisation des besoins et des enjeux de restitution et de datavisualisation. Animer des ateliers de type “Design” pour clarifier les besoins et proposer des solutions adaptées. Participer aux travaux de cadrage SI , études d’opportunité et de faisabilité. Recueillir et rédiger les expressions de besoins et spécifications fonctionnelles de solutions analytiques, et valider les livrables. Concevoir et réaliser les restaurations Power BI : rapports, indicateurs et tableaux de bord. Participer à la documentation des règles de sécurité des données et des applications. Élaborer les manuels utilisateurs et les supports de formation aux applications de datavisualisation. Rédiger les spécifications techniques et cahiers des charges pour les POC ou déploiements. Préconiser les adaptations et améliorations des processus existants . 📊 Livrables Développement et déploiement des cas d’usage (cartographies, tableaux de bord, data quality, alimentation du DatalakeHouse…). Documentation des règles de calcul et d’agrégation pour les indicateurs. Rédaction de plans de tests, cahiers de recette et supports utilisateurs . Production et mise à disposition des tableaux de bord . 🛠️ Environnement technique Power BI (Desktop et Service) Databricks, Nifi, RedShift Power Automate, Power Platform Cloud AWS Smart Data, API REST

Nous recherchons plusieurs AWS Data Engineers Seniors pour renforcer une équipe Data Platform . 🎯 Contexte de la mission Vous intégrerez une équipe en charge de la plateforme Data , avec des enjeux forts de scalabilité, industrialisation et fiabilité des flux de données . Les missions s’inscrivent dans un environnement cloud moderne, orienté bonnes pratiques et performance. ⚙️ Missions principales Concevoir, développer et maintenir des pipelines de données robustes et scalables . Contribuer à l’évolution de la plateforme Data . Mettre en place et maintenir l’ infrastructure as code . Participer à l’industrialisation des traitements (CI/CD, containerisation). Travailler en collaboration avec les équipes Data, Produit et Architecture. Être force de proposition sur les choix techniques et les optimisations.

Dans le cadre de la phase 2 de construction de sa plateforme Data Groupe, un acteur majeur du secteur de l’énergie recherche un Data Engineer expérimenté afin de renforcer son équipe Data. L’objectif est de consolider le socle technique existant, d’industrialiser les pipelines et de contribuer aux projets d’ingénierie Data & IA, tout en assurant le Run des assets déjà en production. 🎯 Missions principales 🔹 Build – Data Platform Participer à la construction et à l’évolution de la plateforme Data Concevoir et développer des pipelines de données Réaliser des POC et spiker le backlog Contribuer aux choix d’architecture en respectant les standards définis Optimiser les requêtes Amazon Redshift (point clé de la mission) 🔹 Run – Exploitation Assurer le maintien en conditions opérationnelles Superviser les traitements Garantir la performance et la stabilité des assets 🔹 Contribution IA Participer aux projets d’AI Engineering Collaborer avec les squads Data Métier Être force de proposition sur les solutions techniques 🔹 Optimisation des coûts Maîtriser les coûts des services cloud (dimension FinOps importante) 🛠 Environnement technique☁ Cloud AWS (Redshift, RDS, Lambda, SQS, SNS, API Gateway…) GCP 💾 Data & Big Data SQL / NoSQL Data Warehouse Spark / Hadoop / HDFS Scalabilité & clustering ⚙ Dev & DevOps Python APIs (FastAPI / Flask) Airflow Docker Terraform GitLab CI/CD Linux Git (code review, merge request) 📊 Outils analytiques (bonus) Tableau Dataiku Alteryx

Nous recherchons pour le compte de notre client dans l'énergie, un data Engineer Objectifs : Participer au développement des assets de la nouvelle plateforme de données. Participer au cadrage et au lancement des projets d'ingénierie et d’intelligence artificielle. Prise en main des sujets pilotes et d’assurer le Run La conception, la modélisation et l’optimisation des requêtes Redshift est un point clé dans cette mission Missions : Vous participer à la construction de la data plateform dans sa deuxième phase permettant de consolider le socle et mettre à disposition les moyens technique pour exploiter la donnée Vous participez à l’étude opérationnelle de cadrage et d’architecture en anticipant les différentes contraintes avec les référents de l’équipe. Vous serez amené à réaliser des POC et de spiker le backlog. Vous complétez l’équipe avec vos compétences en ingénierie de données et en développement (scripting python, d’expertise sur les API, les tests, les bonnes pratiques, etc.) Vous consacrer votre temps à travailler avec un squad Data Métier, de proposer des solutions technique pour les clients associé, d’assurer le Run et de développer la plateforme associée, et, ce, toute en respectant les consignes d’architecture Participer à la mise en place des projets d’AI engineering - Savoir maîtriser les coûts des services est un Must pour ce poste et être force de proposition

Missions principales -Industrialiser et optimiser les traitements de données en s'appuyant sur Dataiku (scénarios, plugins, recettes avancées...). -Mettre en place une architecture data fiable et optimisée, principalement sur des solutions AWS (S3, Redshift, le Common Data Hub Engie). -Développer des solutions techniques de collecte de la donnée via des API. -Modéliser les données nécessaires aux analyses et aux usages métiers. -Assurer la qualité, la sécurité et le monitoring des flux de données. -Collaborer avec la Data Analyst pour garantir la mise à disposition des données pertinentes. -Participer à la définition des bonnes pratiques Data et à leur diffusion au sein de l'entreprise. -Contribuer à la documentation technique et à l'amélioration continue des environnements. -Assurer une veille technologique sur les solutions de stockage et traitement des données