ContexteDans le cadre du renforcement d'une équipe, nous recherchons un consultant Data Engineer Senior/Expert capable d'intervenir de manière autonome sur la conception, l'industrialisation et l'exploitation de produits et pipelines Data. La mission s'inscrit dans un environnement Lakehouse AWS, avec des enjeux de qualité, performance, fiabilité des traitements et maîtrise du RUN. MissionsLe consultant interviendra notamment sur les activités suivantes : Concevoir, développer et optimiser des pipelines de données. Développer et industrialiser les traitements avec Spark/PySpark, Python, SQL et dbt. Exploiter des données au format Apache Iceberg dans une architecture Lakehouse / Medallion. Orchestrer les traitements avec Airflow. Déployer et maintenir les traitements sur AWS et contribuer à l'Infrastructure as Code avec Terraform. Mettre en œuvre les contrôles de Data Quality, tests et mécanismes d'observabilité. Participer au RUN, à l'analyse des incidents et au traitement des causes racines. Contribuer à la documentation, au Data Lineage, aux Data Contracts et au Data Catalog. Travailler avec les Product Owners et interlocuteurs métier afin de traduire les besoins Marketing en solutions Data robustes et maintenables. LivrablesLes livrables de la prestation pourront comprendre : Pipelines Data développés, testés et industrialisés. Transformations Spark et Modèles dbt. Workflows Airflow. Infrastructure Terraform nécessaire aux traitements. Tests automatisés et contrôles de Data Quality. Monitoring et alerting associés aux traitements. Documentation technique et fonctionnelle. Documentation des modèles et règles métier. Contribution aux Data Contracts, lineage et métadonnées. Analyse et résolution des incidents. Plans de remédiation pour les incidents ou problèmes récurrents. Contribution aux standards et bonnes pratiques Data Engineering de l'équipe.
Bonjour, Je suis à la recherche d'un Lead Data Engineer : Missions principales : • Optimiser et faire évoluer les mécanismes d'orchestration existants pour permettre le passage à l'échelle • Réduire les coûts d'exploitation et améliorer les temps de résolution d'incidents • Renforcer la robustesse et la résilience de la plateforme Data • Mettre en place l'observabilité de bout en bout, l'alerting et le monitoring avancé • Définir et appliquer les politiques de gestion et rotation des secrets • Concevoir des mécanismes de reprise automatique et d'isolation des flux • Étudier les alternatives à AWS MWAA (Airflow sur ECS/EKS, Astronomer, Dagster, Prefect, etc.) • Réaliser les recommandations d'architecture et piloter les migrations si nécessaire • Faire évoluer les DAG Factories existantes et industrialiser les processus d'orchestration • Mettre en œuvre les bonnes pratiques de résilience (DLQ, retry strategies, circuit breakers) • Définir et faire respecter les standards techniques, patterns et conventions de développement • Former et accompagner les équipes Dev et Ops vers une autonomie opérationnelle complète • Assurer le suivi des plans d'amélioration, le reporting et la priorisation des chantiers techniques
Bonjour, Nous recherchons pour notre client basé à Châtillon un Data Engineer BI confirmé à senior (4 à 10 ans d'expérience selon le code profil), avec au moins 5 ans d'expérience en Data. Objectif global Concevoir, développer et livrer des pipelines de données et des produits analytiques sur Azure et Databricks, ainsi que des tableaux de bord sous Power BI. Livrables attendus La fiche de mission prévoit la livraison des développements et de la documentation technique, notamment les dossiers d'analyse technique et les release delivery notes, ainsi que la réalisation de tableaux de bord Power BI. Le champ « Livrable » du résumé ne précise pas de livrable distinct. Compétences techniques • Data — minimum 5 ans. • Databricks — expert, impératif — minimum 3 ans. • Azure — confirmé, impératif — minimum 3 ans. • Spark — expert, impératif — minimum 3 ans. • Python — minimum 5 ans. • SQL — minimum 5 ans. • Power BI — confirmé, impératif — minimum 3 ans. • Maîtrise de la CI/CD et d'Azure DevOps — minimum 3 ans. • Connaissance des outils Agile (Jira) et expérience de travail en mode Agile — minimum 1 an. Le profil doit être polyvalent et disposer d'une forte expertise sur Azure, Databricks, Spark, Python et SQL, ainsi que de compétences en Power BI. Une première mission en Supply Chain ou en logistique est un atout. Connaissances linguistiques Français courant impératif. Aptitudes personnelles Force de proposition, rigueur, réactivité et bon relationnel. Description détaillée Contexte de la mission La DSI du client joue un rôle central dans sa transformation numérique. La mission contribue à des projets stratégiques et innovants qui répondent aux enjeux métiers. Rattachée à la Direction des SI Mutualisés, l'équipe Data Lab accompagne un programme de modernisation du système d'information sur les sujets Data, IA et Analytics. Vous rejoignez la Data Factory, qui réunit les équipes de la DSI et les Directions Data métiers. Elle conçoit, développe et déploie des produits analytiques pour les fonctions support, la logistique, les points de vente et les consommateurs. L'organisation Agile est structurée en domaines et squads. Vous intégrez la squad Équipement de la Maison, qui développe des cas d'usage BI, Analytics et Data Science sur une plateforme Data fondée sur Azure et Databricks. Activités principales • Concevoir et construire des pipelines pour transformer, enrichir et traiter les données au sein du Data Lake. • Développer des notebooks Databricks pour les traitements avancés de données. • Mettre en œuvre des solutions de Cloud Data Warehousing, optimiser les traitements et affiner les performances des requêtes SQL. • Rédiger la documentation technique, dont les dossiers d'analyse technique et les release delivery notes. • Réaliser des revues de code pour assurer la qualité et l'application des bonnes pratiques. • Concevoir et exécuter des tests unitaires. • Réaliser des tableaux de bord sous Power BI. • Livrer les développements dans un environnement DevOps qui intègre les processus CI/CD et les outils associés. Conception • Concevoir l'architecture technique nécessaire à la valorisation des données et les solutions qui permettent de les traiter. • Apporter l'expertise technologique nécessaire pour développer les solutions data adaptées à chaque cas d'usage. • Définir ou réaliser les croisements de données et les travaux de validation, de correction et de qualité nécessaires. • Documenter et tenir à jour les référentiels et catalogues de données avec les architectes d'entreprise Data. Conseil • Organiser les données en tenant compte de leur cycle de vie et identifier précisément les sources à utiliser. • Vérifier la cohérence de l'intégration des données dans les projets accompagnés et le respect des exigences de traitement et de sécurité. • Appliquer et documenter la gouvernance des données avec l'architecte d'entreprise Data. • Référencer les données et suivre leur bon usage. Modalités de la mission • Démarrage souhaité dès que possible et au plus tard à la mi-décembre 2026. • Lieu de réalisation à Châtillon. • Trois jours de présence obligatoire sur site par semaine. • Aucun déplacement à prévoir et aucune astreinte. Processus d'entretien Un premier entretien a lieu sur Teams. Il est suivi d'un test technique en présentiel sur site pour valider les compétences du candidat. Si vous êtes intéressé par cette mission, merci de nous transmettre votre CV au format Word, avec votre disponibilité et vos prétentions salariales ou votre tarif journalier si vous êtes indépendant ?
- Analyser les besoins fonctionnels et contribuer aux choix de conception technique. - Développer et maintenir des traitements distribués en Java avec Apache Spark. - Concevoir des pipelines de transformation et d'agrégation de données volumineuses. - Optimiser les performances des traitements : partitionnement, jointures, gestion de la mémoire et utilisation des ressources. - Développer les tests et garantir la qualité du code à travers les revues et les bonnes pratiques. - Participer à l'industrialisation des développements et aux déploiements via les pipelines CI/CD. - Diagnostiquer les anomalies et contribuer au maintien en conditions opérationnelles des applications. - Rédiger la documentation technique et collaborer avec les équipes métiers, Data et infrastructure. ENVIRONNEMENT TECHNIQUE : Java, Apache Spark, Spark SQL, SQL, Git, Maven ou Gradle, CI/CD, Linux.
At CGI, we're helping clients unlock the full value of their data by building modern, scalable platforms that power better decisions and drive meaningful outcomes. As a Senior Data Engineer, you'll play a pivotal role in developing and enhancing enterprise-scale data solutions, working with cutting-edge Azure technologies in a collaborative DevOps environment. You'll partner with clients and multidisciplinary teams to deliver resilient, high-quality data pipelines while helping shape best practices, mentoring colleagues and contributing to innovative solutions that make a lasting impact. CGI was recognised in the Sunday Times Best Places to Work List 2025 and has been named a UK 'Best Employer' by the Financial Times. We offer a competitive salary, excellent pension, private healthcare, plus a share scheme (3.5% + 3.5% matching) which makes you a CGI Partner not just an employee. We are committed to inclusivity, building a genuinely diverse community of tech talent and inspiring everyone to pursue careers in our sector, including our Armed Forces, and are proud to hold a Gold Award in recognition of our support of the Armed Forces Corporate Covenant. Join us and you'll be part of an open, friendly community of experts. We'll train and support you in taking your career wherever you want it to go. Due to the secure nature of the programme, you will need to hold UK Security Clearance or be eligible to go through this clearance. This is a hybrid position with some infrequent (expensed) travel to workshops at various locations, usually Birmingham, London, Manchester, Leeds.
ContexteDans le cadre du renforcement d'une équipe , nous recherchons un consultant Data Engineer Senior/Expert capable d'intervenir de manière autonome sur la conception, l'industrialisation et l'exploitation de produits et pipelines Data. La mission s'inscrit dans un environnement Lakehouse AWS, avec des enjeux de qualité, performance, fiabilité des traitements et maîtrise du RUN. MissionsLe consultant interviendra notamment sur les activités suivantes : Concevoir, développer et optimiser des pipelines de données. Développer et industrialiser les traitements avec Spark/PySpark, Python, SQL et dbt. Exploiter des données au format Apache Iceberg dans une architecture Lakehouse / Medallion. Orchestrer les traitements avec Airflow. Déployer et maintenir les traitements sur AWS et contribuer à l'Infrastructure as Code avec Terraform. Mettre en œuvre les contrôles de Data Quality, tests et mécanismes d'observabilité. Participer au RUN, à l'analyse des incidents et au traitement des causes racines. Contribuer à la documentation, au Data Lineage, aux Data Contracts et au Data Catalog. Travailler avec les Product Owners et interlocuteurs métier afin de traduire les besoins Marketing en solutions Data robustes et maintenables. LivrablesLes livrables de la prestation pourront comprendre : Pipelines Data développés, testés et industrialisés. Transformations Spark et Modèles dbt. Workflows Airflow. Infrastructure Terraform nécessaire aux traitements. Tests automatisés et contrôles de Data Quality. Monitoring et alerting associés aux traitements. Documentation technique et fonctionnelle. Documentation des modèles et règles métier. Contribution aux Data Contracts, lineage et métadonnées. Analyse et résolution des incidents. Plans de remédiation pour les incidents ou problèmes récurrents. Contribution aux standards et bonnes pratiques Data Engineering de l'équipe.
Nous recherchons un(e) data engineer Databricks capable de trouver des solutions innovantes et robustes à l'ensemble des problématiques Data. Vous aurez la charge de : • Participer à la conception et réalisation d'une solution Data depuis l'acquisition jusqu'à l'exploitation de la donnée en accompagnant la réflexion des directions métiers • Identifier, collecter et intégrer les données nécessaires à la résolution de problématiques métier et opérationnelles • Garantir la qualité des données en mettant en place les outils de mesure et de suivi adéquats en appliquant les règles de Data Gouvernance et de Data Management • Transcrire des besoins métier en règles de gestion data • Industrialiser le déploiement de vos réalisations à travers l'implémentation de tests unitaires, d'intégration et de non-régression Référence de l'offre : ydz1qjgta5
Bonjour à tous 😀 🚀Nous avons une nouvelle opportunité au sein de notre client. Nous recherchons un(e) Data Engineer BI confirmé(e) pour rejoindre son équipe data. L'objectif : consolider les données de l'entreprise à des fins analytiques et statistiques, sur des projets stratégiques comme les lancements de produits, la consolidation des données et le suivi d'activité. Tu travailleras en lien étroit avec les équipes métiers, dans un contexte agile. Vos missions : Challenger, cadrer, chiffrer et prioriser les besoins métiers Développer et optimiser des traitements ETL et SQL Explorer et analyser les données Industrialiser et déployer les flux de données Assurer le suivi du run et améliorer en continu la qualité des livrables Participer à des POC sur de nouvelles technologies Maintenir la documentation et présenter tes travaux à l'équipe Environnement technique : SSIS SQL Server / Transact-SQL IBM Cognos Analytics Tableau SSAS multidimensionnel Java (un plus)
Hanson Regan recherche un IA and Data engineer pour une mission freelance de 10 mois à Paris. Nous recherchons un nouveau talent pour rejoindre notre équipe Data Analytics & IA AV. Expertise requise : frameworks de Deep Learning (TensorFlow, PyTorch) et bibliothèques de Machine Learning en Python. Expérience en MLOps, notamment MLflow, sérialisation de modèles ML, gestion de versions avec Git et packaging de code. Maîtrise des processus CI/CD, des tests, de la conteneurisation (Docker, Kubernetes) et, idéalement, du provisionnement de ressources cloud (Terraform). Expérience en modélisation du langage (LLM) et techniques avancées telles que les embeddings, les bases de données vectorielles et l'ingénierie des prompts. Vous justifiez d'une solide expérience technique (minimum 5 ans à un poste similaire) et êtes à l'aise avec les environnements cloud. Vous communiquez efficacement avec les clients et au sein de votre équipe. kills : Exploration de données, principes d'architecture de données, accès aux données, gouvernance des données, techniques et méthodologies de modélisation de données, outils d'entrepôt de données Langues : Français (C2), Anglais (B1) Localisation : Paris (Saint-Denis) À distance : Possible (2 à 3 jours par semaine) Conformément aux exigences du client, les freelances doivent pouvoir travailler via leur propre entreprise. Nous n'acceptons malheureusement pas les candidatures via des sociétés de portage salarial pour ce poste. Si cette opportunité vous intéresse, veuillez nous contacter au plus vite.
Recherche Data Engineer Freelance Localisation : Paris ou Nantes Télétravail : 3 jours par semaine TJM : 580 €/jour Profil recherché : Data Engineer Freelance, Senior ou Confirmé. Stack technique : AWS Spark Python Deux profils sont envisagés : Orientation Infrastructure Bonne maîtrise de Kubernetes. Orientation Data Modeling Bonne maîtrise de dbt et SQL. Contact : [Entreprise anonymisée] (via LinkedIn). Les candidats intéressés ou les personnes ayant des profils à recommander sont invités à contacter [Entreprise anonymisée] en message privé ou à commenter la publication.
Contexte : Dans le cadre du développement de sa plateforme de données groupe, notre client recherche un Senior Data Engineer expérimenté pour rejoindre une équipe en charge de la conception et de la mise en œuvre de produits de données temps réel à forte valeur ajoutée. Vous interviendrez sur des architectures modernes orientées événements et participerez à la construction de solutions robustes, scalables et industrialisées permettant l'exploitation de données en temps réel à l'échelle du groupe. Vous serez également un référent technique auprès de l'équipe et contribuerez à la définition des bonnes pratiques de développement et d'exploitation. Vos missions : Concevoir et développer des pipelines de données temps réel basés sur Apache Kafka et Apache Flink Mettre en place des architectures orientées événements (Event-Driven Architecture) Développer et maintenir des APIs REST et microservices à destination des consommateurs de données Concevoir des pipelines d'ingestion, de transformation et de diffusion de données en streaming et batch Garantir la qualité, la fiabilité et la gouvernance des données Mettre en œuvre les bonnes pratiques CI/CD et DevOps Assurer le monitoring, l'observabilité et le support en production Participer aux choix d'architecture et aux revues de code Encadrer techniquement les membres moins expérimentés de l'équipe Produire la documentation technique et les procédures d'exploitation Environnement technique : Data & StreamingApache Kafka Apache Flink Event-Driven Architecture Data Modeling API Design OpenAPI Cloud AWSAmazon MSK Kinesis Amazon Managed Service for Apache Flink AWS Lambda API Gateway ECS / EKS Amazon S3 IAM DevOps & ObservabilitéGitLab CI / GitHub Actions CloudWatch OpenTelemetry Prometheus Grafana SécuritéOAuth2 OpenID Connect (OIDC) Secrets Management Encryption IAM & Least Privilege
