Trouvez votre prochaine mission ou futur job IT.

Bonjour ☺️ Nous recherchons un DATA ENGINEER orienté sur les technologies SPARK / SCALA / PYTHON/ AWS pour le compte de notre client ! Mission : Maintenir la plateforme en conditions opérationnelles : Garantir la disponibilité des données et des services de la plateforme, Assurer la communication avec les utilisateurs de la plateforme, Répondre aux demandes de données (données ad hoc, analyses d’anomalies), Développer les correctifs et évolutions nécessaires, Contribuer à la qualité des données et à l’industrialisation de leur exploitation. Concevoir et développer des services et pipelines de données fiables et performants : Mettre en place des flux de données (acquisition, transformation, export), Concevoir et modéliser les données, Développer et optimiser les pipelines de transformation, Réaliser les tests unitaires et d’intégration, Garantir la qualité des développements via les revues de code, Ordonnancer et gérer les dépendances entre traitements, Déployer sur l’ensemble des environnements, Enrichir et maintenir la documentation de la plateforme. Profil recherché : Minimum 5 ans d'expériences dans un contexte de grande volumétrie de données, Capacité à collaborer avec une pluralité d'interlocuteurs en même temps, Excellent esprit d’équipe, Capacité d'adaptation, Maitrise impérative de : Spark Scala, Python et SQL, Expérience significative sur AWS. Apprécié : Connaissance de Dataiku, Méthodologie Scrum/Safe, Airflow N'hésitez pas à envoyer votre CV !

Profil : Expert Collibra Responsabilités principales : Métadonnées & Traçabilité Vérifier si Collibra propose des connecteurs pour interagir avec les catalogues SMUS (AWS) et DBX. Définir comment Collibra peut ingérer les métadonnées et la traçabilité depuis AWS SMUS et le Unity Catalog de DBX. Déterminer la gestion de la traçabilité inter-systèmes (exemple : début d’une transformation sur AWS et fin sur DBX). Gestion des accès Définir l’intégration de Collibra avec AWS IAM / IDC / Lake Formation via les API de SMUS et avec le Unity Catalog de Databricks. Évaluer si Collibra peut automatiser l’octroi et la révocation des accès via des connecteurs existants ou via un développement dédié basé sur des API. Vérifier si Collibra propose un workflow de gestion des accès prêt à l’emploi et s’il est personnalisable. Déterminer si Collibra peut appliquer des règles d’accès au niveau des tables, colonnes ou lignes via une intégration avec les plateformes sous-jacentes. Définir comment les audits et journaux seront capturés lors des changements d’accès et si Collibra propose des revues périodiques des accès. Compétences requises : Collibra AWS Databricks Data Intelligence Platform

Dans le cadre d’un programme stratégique de pilotage financier, nous recherchons un Ingénieur Logiciel Data Cloud AWS confirmé (+7 ans d’expérience) pour rejoindre une équipe de développement et d’ingénierie orientée données et services cloud. Vous interviendrez sur la conception, l’implémentation et l’amélioration continue des services AWS nécessaires au traitement, à l’analyse et à la planification financière. Le contexte est exigeant : réglementaire, sécurité, performance, optimisation des coûts et démarche DevOps/DORA. Vous intégrerez une équipe de 9 personnes, dont un pôle cloud/data AWS déjà en place. Vos missions : Concevoir, développer et faire évoluer les services applicatifs AWS (Glue Spark, Lambda, Step Functions, Athena, S3, IAM). Intégrer les services aux différents écosystèmes techniques (plateforme Data, MDM, ZDP, Data Link, Anaplan). Proposer des optimisations, améliorer les architectures existantes, renforcer la robustesse et la performance. Prendre en compte les exigences métiers, réglementaires, sécuritaires et environnementales. Participer à une démarche d’amélioration continue (Lean, DevOps, DORA). Documenter les architectures, formaliser les conceptions, assurer un bon niveau de qualité. Implémenter les bonnes pratiques TDD / BDD. Collaborer en équipe dans un environnement cloud industriel avancé.

Client : Entreprise de transport Poste : Architecte technique Senior DSM Expérience : Plus de 8 ans TJM d’achat max : 5 15€ Localisation : Banlieue parisienne Deadline réponse : 09/12 Démarrage : 01/01/2025 Durée : Mission très longue DESCRIPTION DE LA MISSION Objectifs La prestation, objet du présent cahier des charges, est une prestation à temps plein de Data Engineer Senior Scala/Spark. Vous interviendrez en tant que contributeur individuel sur l’étude, le chiffrage, la réalisation et l’exploitation de tâches liées à la constitution de traitements Data complexes. Les projets sont menés en équipe de 2 à 6 Data Engineers, accompagnés d’opérateurs, d’architectes et encadrés par un chef de projet. Description détaillée des tâches qui constituent la mission Dans le cadre de cette prestation, il est notamment demandé de réaliser les livrables décrits ci-dessous. S'agissant d'un projet mené en méthodologie agile, le découpage des livrables est réalisé par sprints. Le contenu de chaque sprint est variable mais toujours constitué sur la base d’US (User Stories). Les livrables liés aux US sont donc variables mais suivent généralement une recette commune liée à la Definition of Done du projet. Ces livrables sont réalisés par l'équipe projet, sans responsabilité de production individuelle. Les sprints s’échelonnent généralement sur 2 semaines. Contenu général des sprints : Développement des US et tests associés ; Documentation du projet, mapping des données, modélisation des pipelines, documents d’exploitation ; Mise en place du CI/CD sur l’usine logicielle ; Mise en place du monitoring ;

Hanson Regan is looking for a Big data / Scala / Spark engineer for a 6 month renewable contract in remote with some travel to Belgium Advanced Data & Application Lifecycle Data Engineering Principles (Datalake, Lakehouse, SCD Types 1 & 2, PIT, ...), Application design, development, testing & deployment, Requirement Analysis Advanced Data Processing & Programming Language Apache Spark, Scala, SQL Advanced Real-time Processing Streaming Technologies (Apache Spark) or Flink Advanced Data Storage Iceberg, Delta Table, Parquet, Avro, CSV,JSON Cloud Platforms AWS, Snowflake (preferred) or Zure Databricks Intermediate Development Tools GIT CI/CD, DBT, Containers Afin de répondre aux besoins de nos clients, nous n'acceptons que les candidatures de freelances travaillant au sein de leur propre entreprise (SAS, SASU, SARL, EURL, etc.). N'hésitez pas à me contacter si vous souhaitez discuter de ce poste plus en détail.

🏭 Secteurs stratégiques : Banque d’investissement PAS DE FULL REMOTE NI SOUS TRAITANCE MERCI 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département a lancé un programme stratégique, qui comporte plusieurs projets d'harmonisation des processus et outils. L'un de ces streams a pour vocation de constituer un datalake sur une stack Hadoop, afin de servir les besoins en data et reporting. Ce datalake a également pour vocation de devenir la brique centrale de l'architecture du SI . Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par les données, capable de s’adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. 🤝Principales missions : Les tâches suivantes seront confiés au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme • Eventuellement mettre en œuvre une couche d'APIs afin d'exposer nos données

Client: Secteur Assurance Dans le cadre d’un programme de transformation Data, nous souhaitons consolider son socle data autour d’une architecture cible fiable, évolutive et sécurisée. L’architecte data interviendra en support de l'équipe existante pour valider cette architecture, en assurer la validation technique et fonctionnelle, et mettre en œuvre les mesures de sécurité nécessaires à la protection des données sensibles. Sous la responsabilité du responsable de centre d'expertise Data, il aura en charge de : - Valider, sécuriser et faire évoluer l’architecture technique de la plateforme Data (Data Lake, Data Mesh, Data Warehouse) en intégrant les exigences de sécurité - Garantir la cohérence, la robustesse et la sécurité des flux de données entre les différents systèmes. - Accompagner les équipes projets dans le choix et l’implémentation des solutions techniques. - Assurer la veille technologique et proposer des améliorations continues. - Collaborer avec les architectes, le RSSI, DPO et équipes cybersécurité pour intégrer les contrôles nécessaires. - Assurer la traçabilité des décisions et la documentation des choix techniques. - Partager avec Apicil les REX sur des solutions et architectures mises en oeuvre chez d'autres clients. - Assurer la veille technologique et proposer des améliorations continues.

Mission sur SOPHIA ANTIPOLIS 4 jours de présentiels (préférable d'habiter la région Alpes maritimes) En vue d'embauche en CDI Notre client, une start-up dans l'énergie, recherche un tech lead pour accompagner les équipes dans le développement de leur solution de prévision météo. Mission principale : Assurer le pilotage technique et la mise en production des solutions de prévision solaire développées, en garantissant la robustesse, la scalabilité et la fiabilité de l’infrastructure data et logicielle. Responsabilités clés : Data Engineering : maintenir et optimiser les pipelines de données (météo, satellite, capteurs PV) pour les modèles de prévision. Infrastructure & DevOps : Déploiement et gestion des environnements cloud (AWS). Mise en place et maintenance de l’Infrastructure as Code (Terraform). Automatisation et optimisation des déploiements via CI/CD (GitHub Actions). Orchestration des tâches : concevoir, monitorer et optimiser les workflows de données et de calcul via Dagster. Opérations métiers : garantir la bonne exécution des codes de prévision (algorithmes, modèles, calculs intensifs) en production. Onboarding & Process : structurer et gérer les procédures d’onboarding technique des nouveaux clients et des PoCs. Qualité & Sécurité : veiller à la résilience, à la sécurité et à la performance des systèmes déployés. Compétences attendues : Solide expérience en Data Engineering et/ou DevOps. Maîtrise de AWS et des outils Terraform. Connaissance des bonnes pratiques CI/CD et expérience avec GitHub Actions. Expérience en orchestration de workflows de données (idéalement Dagster, sinon Airflow ou équivalent). Compétences en scripting (Python, Bash) et monitoring. Capacité à travailler dans un environnement agile, en lien avec des data scientists et des équipes projet. Esprit de structuration et sens des responsabilités pour accompagner la croissance d’une scale-up deeptech.

Intégré(e) au sein d’une équipe Agile, vous participerez à : La conception et la mise en place de pipelines ETL performants L’ingestion, la transformation et la qualité des données La gestion et l’optimisation des flux Data dans un environnement Azure / Databricks / Spark L’automatisation des traitements et le monitoring des workflows La collaboration avec les équipes métier et Data pour répondre aux enjeux opérationnels La collaboration avec les équipes métier et Data pour répondre aux enjeux opérationnels

Localisation : Maisons-Alfort (94) Rythme : 2 jours sur site (lundi & jeudi) / 3 jours télétravail Expérience : +8 ans Démarrage : ASAP Mission longue Expérience en banque obligatoire. Python / Spark / Entrepôts de données / Data Warehouse 1. Description du poste Dans un contexte de transformation globale du SI et d'accélération autour des technologies Data & Cloud, nous recherchons un Data Engineer senior expert en Python , PySpark , traitement de données Spark et parfaitement à l’aise avec l’écosystème AWS . Le rôle implique une forte dimension d’ingénierie logicielle : développement Python , tests unitaires (pytest), participation aux tests fonctionnels automatisés, mise en place de code modulaire , robuste et industrialisé. Au quotidien, le Data Engineer devra concevoir et développer des jobs de traitement de données (notamment via AWS Glue), maîtriser l’ensemble de la stack AWS Data (S3, Athena, Secret Manager…), intervenir ponctuellement sur des instances EC2, et collaborer étroitement avec le Tech Lead afin de respecter les design patterns applicatifs et les standards d'architecture. L’objectif majeur de la mission est de modulariser et architecturer les process Data pour construire des solutions évolutives, intégrées et orientées métier. Le poste nécessite une posture proactive, autonome, dynamique, ainsi qu’un excellent relationnel avec les PM et les équipes métiers, dans un environnement Agile SAFe .

Mission Concepteur Développeur Big Data – Société de l'Énergie Localisation : Courbevoie (3 jours/semaine sur site) Tarif max : 400€/jour Démarrage : 05/01/2026 Durée : 12 mois (fin 04/01/2027) – prolongeable Expérience requise : 4-5 ans minimum Prestations principales : Analyse besoins RH/Finance + rédaction spécifications techniques Conception/développement pipelines ETL/ELT (Spark, Hadoop, Databricks, Snowflake) Intégration sources données/API + contrôle qualité Déploiement cloud (AWS/Azure/GCP) ou clusters Hadoop/Spark Optimisation performances (partitionnement, tuning clusters) Tests unitaires/intégration + revues code Maintenance évolutive, support incidents, veille techno Compétences obligatoires : Big Data, Hadoop, Spark, Python PostgreSQL, Databricks Livrables : Spécifications techniques + diagrammes Code source/scripts + tests complets Documentation exploitation + rapports performances Plan déploiement/rollback Cette mission essentielle vise à confier à un Ingénieur Data expérimenté la responsabilité complète du cycle de vie des solutions de traitement de données pour les domaines RH et Finance . Le professionnel doit maîtriser les technologies Big Data (Spark, Hadoop) , les plateformes analytiques (Databricks, Snowflake) et les environnements Cloud (AWS, Azure, GCP) , afin de garantir la livraison de systèmes ETL/ELT performants, sécurisés et alignés sur les objectifs business.

QODEXIA est une société de services informatiques implantée en France et en afrique du nord. Partenaire performant, innovant, agile pour aider les entreprises dans leur transforamtion digitale. QODEXIA s'est spécialisée dans le digital, SAP et les nouvelles technologies, accompagne au quotidien les plus grands acteurs de l'industrie, de l'énergie, du Luxe, de la Banque et de l'Assurance sur leurs projets. L’IT est notre passion, les valeurs humaines sont notre capital, c'est de quoi notre ADN est composé. Pour le compte de l'un de nos clients grands comptes du secteur transport, ous sommes à la rercherche d'un Profil Data Engineer Senior Scala/Spark (H/F) Client : Secteur d’activité Transport Poste : Architecte technique DSM Expérience : plus de 8 ans Localisation : Saint-Denis Durée : Mission très longue

Redlab cherche pour le compte d'un client grand compte , un ingénieur big Data /bases de données Expert des architectures data : bases de données SQL & NoSQL, Big Data, pipelines, gouvernance, performance, sécurité. Missions clés Administrer et optimiser bases SQL & NoSQL. Concevoir pipelines ETL/ELT sur données hétérogènes. Travailler sur Hadoop, Spark, Hive, Delta Lake. Mettre en place partitionnement, Mettre en place sharding, caches. Déployer en cloud (AWS/Azure/GCP). Forte maitrise des Bases de données

Nous recherchons un Data Engineer AWS Anglais obligatoire Compétences recherchées : Data Engineer AWS (S3, Glue, Athena, Python) Tâches à traiter : - Compréhension des données scientifiques dans le domaine CMC pharmaceutique -Clarification des besoins avec les parties prenantes, estimation des efforts pour la planification des améliorations d'ingénierie (PI) -Bonne connaissance des pratiques Lean et Agile -Ingénierie des données AWS : S3, Glue (Jobs/Workflows), Athena -Développement ETL/ELT : Python, Glue ETL, évolution de schémas, partitionnement -Modélisation des données : modèles de domaine harmonisés, schémas en étoile/flocon de neige, gestion des métadonnées -Optimisation SQL : réglage des performances d'Athena, conception de requêtes optimisée en termes de coûts, stratégies de partitionnement/élagage -Tests et qualité : tests unitaires/d'intégration pour les pipelines, frameworks d'assurance qualité des données -Documentation et transfert de connaissances : manuels d'exploitation, diagrammes d'architecture, planification et exécution du transfert de connaissances -Expérience de migration : stratégie d'exécution parallèle, planification de la bascule, rétrocompatibilité, réconciliation des données TJM : 380-400€ pour 5 ans d’expérience à 480€ pour 10 ans d’expérience

Profil : Senior Data Engineer · Contexte de la mission : L’équipe Supply Zone Forecast (SZF) développe et maintient les modèles de prévision de la demande et des ventes pour l’ensemble des produits Décathlon, par centre d’approvisionnement continental. Aujourd’hui, notre pipeline est en production sur l’Europe, la Chine et l’Inde, et notre ambition pour 2026 est d’étendre la couverture à LATAM et MEA. Dans ce cadre, nous recherchons un Data Engineer Senior expérimenté sur PySpark et l’optimisation de pipelines. Notre Stack Data : AWS (S3, ECR, EKS); Databricks; Airflow; Pyspark; Python Et Github. La mission portera principalement sur la reprise, l’optimisation et la refonte partielle du module de “refining”, hérité d’une autre équipe . Ce module présente aujourd’hui plusieurs limites : lenteur d'exécution (compute), manque de gouvernance, faible modularité, documentation incomplète et difficulté à évoluer ou à scaler à l’échelle mondiale. Le contexte inclut également plusieurs dettes techniques autour de la stabilité, de la qualité du code et du renforcement des tests (unitaires et fonctionnels) La mission se déroulera sur site à Paris , au sein du pôle data Digital Principales responsabilités Refonte et optimisation du module “Refining” : Auditer le code existant, identifier les goulots de performance et axes d’amélioration. Revoir la structure du code pour renforcer la modularité, la lisibilité et la maintenabilité. Mettre en place une documentation claire et partagée (technique + fonctionnelle). Optimiser le traitement PySpark (logique de partitionnement, cache, broadcast, etc.). Proposer une approche flexible pour l’ajout de nouvelles features. Renforcement de la robustesse et de la qualité : Implémenter ou renforcer les tests unitaires et fonctionnels. Améliorer la stabilité globale de la pipeline ML de forecast. Participer à la mise en place de bonnes pratiques d’ingénierie logicielle (CI/CD, gouvernance du code, monitoring). Collaboration et transfert de compétences : Travailler étroitement avec les Data Scientists et lMachine Learning Engineers de l’équipe SZF. Assurer un transfert de connaissances clair et structuré à l’équipe interne. Contribuer à la montée en compétence collective sur PySpark et la scalabilité de pipelines ML. Livrables attendus : Module “refining” refactoré, documenté et testé Rapports d’audit et plan d’optimisation validés Documentation technique centralisée Pipeline stable et industrialisable à l’échelle mondiale

Expérience requise : 5 à 10 ans Anglais obligatoire Compétences recherchées : Data Engineer AWS (S3, Glue, Athena, Python) Tâches à traiter : Compréhension des données scientifiques dans le domaine pharma CMC Clarification des besoins avec les parties prenantes, estimation de l’effort pour la planification PI Bonne connaissance des pratiques Lean & Agile Ingénierie de données AWS : S3, Glue (Jobs/Workflows), Athena Développement ETL/ELT : Python, Glue ETL, évolution de schémas, partitionnement Modélisation de données : modèles de domaine harmonisés, schémas en étoile/flocon, gestion des métadonnées Optimisation SQL : amélioration des performances sous Athena, conception de requêtes optimisées en coût, stratégies de partitionnement/pruning Tests et qualité : tests unitaires/intégration pour les pipelines, frameworks de qualité des données Documentation et transfert de connaissances : runbooks, diagrammes d’architecture, planification et exécution du KT Expérience en migration : stratégie de fonctionnement parallèle, planification du cutover, backfill, rapprochement des données