Trouvez votre prochaine offre d’emploi ou de mission freelance PySpark

INGENIEUR HADOOP - PYSPARK Démarrage : ASAP Durée : 2 ans Localisation : Ile de France (Proche Paris) Télétravail : 50% Mission : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipelines de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme Le consultant idéal devra posséder les compétences suivantes : • Excellente maîtrise de la plateforme Hadoop, ainsi que du développement en Python/PySpark et Hive. Une bonne connaissance de SQL, GIT, Jenkins, Jira, et du shell scripting sous Unix/Linux est également nécessaire. • Maîtrise de l'anglais, tant à l'écrit qu'à l'oral, pour faciliter les échanges avec nos interlocuteurs basés à l'étranger qui représentent une part importante de notre équipe IT. • Expérience dans des environnements agiles, en particulier avec la méthodologie SCRUM. • Connaissances et expériences avec des outils et technologies tels que Indexima, Alteryx, Altair, GCP/Big Query, ainsi que des bibliothèques Python orientées API seraient des atouts appréciables. • Capacité à rédiger des spécifications techniques claires et précises. • Dynamisme, excellent relationnel et capacité à travailler en équipe. • Force de proposition et curiosité technique pour explorer de nouvelles solutions et technologies

Contexte de la mission Le consultant travaillera en étroite collaboration avec les équipes de production applicative et DevOps afin de mettre en œuvre les évolutions techniques de la plateforme. Missions principales Mettre en œuvre de nouvelles ingestions de données. Réaliser les traitements de Data Preparation / transformation. Développer, maintenir et faire évoluer les pipelines de données en PySpark. Réaliser du Shell Scripting sous Unix/Linux. Collaborer avec l'équipe DevOps pour les demandes d'évolution de la plateforme. Participer au maintien en conditions opérationnelles et à l'évolution des traitements Data. Rédiger les spécifications techniques et documenter les solutions mises en œuvre. Compétences indispensables Très bonne maîtrise attendue : Hadoop Python / PySpark Hive SQL Shell Scripting Unix/Linux Environnement/outils : Git Jenkins Jira Méthodologie Agile / Scrum Anglais professionnel indispensable, à l'écrit comme à l'oral, Compétences appréciées / différenciantes Une expérience sur les technologies suivantes constituera un plus : Indexima – Alteryx – Altair – GCP – BigQuery – bibliothèques Python orientées API.

🏭 Secteurs stratégiques : Banque d'investissement PAS DE FULL REMOTE NI SOUS TRAITANCE MERCI 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département a lancé un programme stratégique, qui comporte plusieurs projets d'harmonisation des processus et outils. L'un de ces streams a pour vocation de constituer un datalake sur une stack Hadoop, afin de servir les besoins en data et reporting. Ce datalake a également pour vocation de devenir la brique centrale de l'architecture du SI . Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par les données, capable de s'adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. 🤝Principales missions : Les tâches suivantes seront confiés au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme • Eventuellement mettre en œuvre une couche d'APIs afin d'exposer nos données

En lien avec l'équipe de production applicative / DevOps, vous serez en charge de la mise en œuvre technique des évolutions du Data Lake. Vous interviendrez sur l'ingestion, la préparation et la transformation des données ainsi que sur l'évolution des pipelines. Votre rôle Ingestion et transformation des données · Mettre en œuvre de nouvelles ingestions de données au sein du Data Lake · Développer les traitements de préparation et de transformation des données · Développer les traitements associés en Python, PySpark et Hive Développement et évolution des pipelines · Maintenir et faire évoluer les outils de gestion des pipelines de données · Développer et maintenir les traitements en PySpark et les scripts Shell associés · Analyser et résoudre les problématiques techniques sur le périmètre Evolution de la plateforme Data · Identifier les besoins d'évolution de la plateforme liés aux traitements et pipelines de données · Formaliser et transmettre à l'équipe DevOps les demandes relatives aux évolutions de la plateforme · Rédiger les spécifications techniques nécessaires aux évolutions mises en œuvre

Envie d'un nouveau challenge dans la Data ? CELAD vous attend ! 🚀 Nous recherchons un(e) Data Engineer Hadoop / PySpark pour intervenir au sein de la DSI d'un grand groupe bancaire, sur l'évolution et le maintien d'une plateforme Data stratégique. Vous intégrerez un environnement dynamique et travaillerez en lien avec les équipes Production Applicative et DevOps afin de mettre en œuvre les évolutions techniques du Data Lake. 🎯 Vos missions Mettre en œuvre de nouvelles ingestions de données et traitements de Data Preparation / Data Transformation. Développer, maintenir et faire évoluer les pipelines de données en Python / PySpark et Shell Scripting. Participer aux évolutions et à l'optimisation du Data Lake Hadoop. Collaborer avec les équipes Production et DevOps sur les évolutions de la plateforme. Rédiger les spécifications techniques associées aux évolutions. Participer à la résolution de problématiques techniques complexes. Contribuer à l'amélioration continue des outils et des processus Data. Travailler dans un environnement Agile / Scrum et avec des équipes internationales.

Nous recherchons pour le compte de notre client dans le domaine de la banque, un(e) Data Engineer Hadoop/PySpark. Environnement technique Hadoop, Python, PySpark, Hive, SQL, Git, Jenkins, Jira, Shell scripting (Unix/Linux), méthodologie Agile/SCRUM. Un plus : Indexima, Alteryx, Altair, GCP/BigQuery, bibliothèques Python orientées API. Contexte Au sein de la direction IT d'un grand groupe bancaire, l'équipe Technologies & Opérations met à disposition des différents pôles métiers (transformation, workplace, banque de proximité) l'ensemble des applications nécessaires à leur activité. Dans ce cadre, le consultant interviendra en soutien à l'équipe de production applicative et devops sur les évolutions techniques du datalake du CIO Office. Missions Concevoir et déployer de nouveaux flux d'ingestion ainsi que des traitements de préparation et transformation de données Faire évoluer et fiabiliser les pipelines de données existants, combinant PySpark et scripts shell Assurer l'interface avec l'équipe devops pour transmettre les besoins d'évolution de la plateforme Contribuer à la fiabilité, la performance et la qualité globale du datalake Compétences attendues Hadoop, PySpark, Python, Hive, SQL, Git, Jenkins, Jira, Shell Unix/Linux, Agile/SCRUM, Anglais professionnel, Indexima, Alteryx, Altair, GCP/BigQuery, API Python

Envie d'un nouveau challenge dans la Data ? CELAD vous attend ! 🚀 Nous recherchons un(e) Data Engineer Hadoop / PySpark pour intervenir au sein de la DSI d'un grand groupe bancaire, sur l'évolution et le maintien d'une plateforme Data stratégique. Vous intégrerez un environnement dynamique et travaillerez en lien avec les équipes Production Applicative et DevOps afin de mettre en œuvre les évolutions techniques du Data Lake. 🎯 Vos missions Mettre en œuvre de nouvelles ingestions de données et traitements de Data Preparation / Data Transformation. Développer, maintenir et faire évoluer les pipelines de données en Python / PySpark et Shell Scripting. Participer aux évolutions et à l'optimisation du Data Lake Hadoop. Collaborer avec les équipes Production et DevOps sur les évolutions de la plateforme. Rédiger les spécifications techniques associées aux évolutions. Participer à la résolution de problématiques techniques complexes. Contribuer à l'amélioration continue des outils et des processus Data. Travailler dans un environnement Agile / Scrum et avec des équipes internationales.

Rejoignez-nous ! Nous recherchons un(e) Data Engineer Hadoop / PySpark pour intervenir sur une plateforme Data stratégique et contribuer aux évolutions d'un datalake. Vous serez en charge de la mise en œuvre technique de nouvelles ingestions de données, des traitements de préparation et de transformation, ainsi que de la maintenance et de l'évolution des pipelines de données. Vous travaillerez en étroite collaboration avec les équipes de production applicative et DevOps, dans un environnement Agile, dynamique et international. Ce que vous ferez : Mettre en œuvre de nouvelles ingestions de données au sein du datalake. Développer les traitements de préparation et de transformation des données. Maintenir et faire évoluer les pipelines de données en PySpark et shell scripting. Développer et optimiser les traitements de données sur la plateforme Hadoop. Exploiter Hive et SQL pour la manipulation, la transformation et l'analyse des données. Collaborer avec l'équipe DevOps et lui adresser les demandes relatives aux évolutions de la plateforme. Participer à l'intégration et au déploiement des évolutions via les outils de gestion de code source et d'intégration continue. Rédiger des spécifications techniques claires et précises. Analyser et résoudre des problématiques techniques complexes liées aux traitements et pipelines de données. Contribuer à l'amélioration continue de la plateforme et être force de proposition sur les solutions et technologies à mettre en œuvre. Votre positionnement vous permettra d'intervenir au cœur d'une plateforme Data stratégique, en interaction avec des équipes techniques multidisciplinaires et internationales.

La mission, au sein du domaine « Pertes, Garanties et Entrepôt Risques », consiste à participer à la réalisation du projet basée sur Google Cloud Platform, à forts enjeux au sein d'une équipe engagée et experte sur le sujet. Une expérience dans le domaine du Risques de crédit est appréciée. Développement et Intégration de solutions Python Spark avec les services data et compute de Google Cloud Platform - Excellente maitrise : BigQuery, Dataproc, Composer, Cloud Functions, Cloud Run Jobs, et GCS. - Bonne maitrise de la partie DevOps : XLD, Terraforme, jenkins - Bonne communication, autonomie et fluidité du travail en équipe.

Data Engineers Databricks, PySpark, Python, SQL, Gitlab, Nexus, Terraform Nantes ( 3 à 4 jours de télétravail) 05/10/2026 Databricks, PySpark, Python, SQL, Gitlab, Nexus, Terraform Nous recherchons 2 data Engineers confirmés qui travailleront sur des cas d'usage. Les principales tâches seront: - Participer à la conception des usages suivant l'architecture définie. - Réaliser les développements en langage python/spark, - Être vigilant sur les bonnes pratiques du point de vue FINOPS - Réaliser les travaux jusqu'en environnement de production - Participer au support N3 de la production - Être force de proposition, - Documenter les réalisations. Il est nécessaire de maitriser Databricks, Python, PySpark

Contexte de la missionNous cherchons un candidat capable de s'adapter à l'environnement technique du département Service & Données et aux pratiques de l'équipe qu'il va rejoindre : • Qui saura travailler de manière autonome • Disposant d'un bon sens de l'organisation et de la rigueur • Qui saura synthétiser ses travaux pour communiquer efficacement à ses commanditaires Objectifs et livrablesActivité principale A ce titre, le profil sera amené à assurer les activités suivantes : • Participation à des ateliers avec des experts métiers pour collecter le besoin et comprendre les données • Conception et développement de traitements de données • Réalisation d'études statistiques • Présentation de résultats sous la forme de rapports d'étude ou de tableaux de bord • Diffusion et vulgarisation des résultats d'études Le consultant sera également attendu sur les compétences suivantes : • Lien entre la partie métier et la partie data science • Conception fonctionnelle du besoin métier au sein d'un SI • Préparer et participer aux ateliers avec le métier et ses représentants utilisateurs Activité secondaire o Veille technologique sur les outils utilisés au sein du projet o Partage et formation sur les guides de bonnes conduites

Le consultant interviendra sur l'ensemble du cycle de vie des solutions AI/ML, de l'identification des cas d'usage jusqu'à la mise en production, avec un fort enjeu de sécurité, scalabilité et industrialisation. Missions principales : - Identifier, analyser et prioriser les cas d'usage AI/ML appliqués à la cybersécurité et à l'IAM. - Développer des modèles de Machine Learning permettant de détecter les comportements utilisateurs anormaux, les schémas d'accès suspects et les potentielles menaces de sécurité. - Concevoir, tester et déployer des modèles AI/ML scalables intégrables aux plateformes de cybersécurité. - Développer des solutions AI, LLM et Advanced Analytics. - Concevoir et optimiser les prompts, les sorties structurées et les mécanismes d'évaluation des modèles. - Mettre en place le monitoring et l'évaluation des solutions AI/ML. - Industrialiser les modèles et solutions analytiques jusqu'à leur mise en production. - Garantir la qualité, la maintenabilité, les tests et l'intégration continue. - Prendre en charge les projets de bout en bout, de la phase de découverte jusqu'à la livraison. - Collaborer avec les équipes Engineering, Cybersécurité et métiers.

Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par le développement et le traitement des données, capable de s'adapter à un environnement dynamique et en constante évolution, le candidat doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. Les tâches suivantes seront confiées au consultant : Mettre en œuvre de nouvelles ingestions de données, data prep/transformation Maintenir et faire évoluer nos outils de gestion des pipelines de données (Pyspark + shell scripting) Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme

Dans le cadre d'un renforcement d'une équipe Data pour un de nos clients, nous recherchons un Data Engineer Senior spécialisé Databricks pour intervenir sur des projets de transformation et d'industrialisation des plateformes Data. Vous participerez à la conception, au développement et à l'optimisation de pipelines de données robustes, performants et scalables, dans des environnements Lakehouse et Cloud. Vos principales responsabilités seront : Concevoir, développer et maintenir des pipelines de données sur Databricks. Développer des traitements distribués avec Apache Spark / PySpark. Assurer l'ingestion, la transformation et la mise à disposition des données. Concevoir et faire évoluer les différentes couches d'un Data Lake / Lakehouse. Mettre en œuvre les bonnes pratiques Medallion Architecture. Travailler avec Delta Lake / Delta Tables. Participer à la conception et à l'évolution de l'architecture Data. Optimiser les performances et la scalabilité des traitements. Industrialiser les développements et les déploiements. Mettre en place et maintenir les pipelines CI/CD. Utiliser Git pour la gestion, le versioning et la revue du code. Contribuer à l'automatisation et, lorsque nécessaire, aux pratiques Infrastructure as Code. Participer à l'amélioration continue de la plateforme Data et aux choix techniques.

Dans le cadre du renforcement d'une équipe Data intervenant sur des projets à forts enjeux, nous recherchons un Data Engineer confirmé. Vous participerez à la conception, au développement et à l'industrialisation de pipelines de données, depuis l'ingestion jusqu'à leur mise à disposition pour les différents usages métiers. Vos principales responsabilités : Concevoir et développer des pipelines Data robustes et industrialisés. Développer et maintenir des DAGs Apache Airflow. Réaliser les traitements de données avec Python / PySpark / Spark. Manipuler et optimiser les requêtes SQL. Mettre en œuvre les bonnes pratiques de qualité, tests et monitoring. Participer à la mise en production et à l'amélioration continue des traitements. Collaborer avec les équipes Data, métier, architecture et produit. Documenter les développements et contribuer aux standards techniques de l'équipe.

Contexte :Dans le cadre du renforcement de son équipe Data, notre client recherche un Développeur Data confirmé spécialisé Snowflake / dbt pour participer à la conception et à l'évolution de sa plateforme Data Cloud. Missions :Concevoir et développer des pipelines de données et des traitements ETL/ELT. Développer et maintenir les modèles de données sur Snowflake avec dbt. Développer des traitements Data en Python / PySpark / Spark. Participer à l'ingestion et à la transformation de données issues de différentes sources. Optimiser les traitements SQL et les performances des pipelines. Mettre en place les tests et contrôles de qualité des données. Participer à l'orchestration des pipelines avec Airflow / Azure Data Factory. Contribuer à l'industrialisation des développements via Git et CI/CD. Participer aux évolutions de l'architecture Data et aux bonnes pratiques de développement. Environnement technique :Snowflake, dbt, SQL, Python, PySpark, Apache Spark, Azure, Azure Data Factory, Azure Databricks, ADLS, Airflow, Kafka, Delta Lake, Git, CI/CD, Power BI. Profil recherchéExpérience confirmée en Data Engineering. Très bonne maîtrise de Snowflake, dbt et SQL. Bonne maîtrise de Python et PySpark/Spark. Expérience sur un environnement Cloud Azure. Connaissance des outils d'orchestration et des pratiques CI/CD. Autonomie, rigueur et capacité à travailler dans un environnement Agile