Trouvez votre prochaine offre d’emploi ou de mission freelance PySpark

🏭 Secteurs stratégiques : Banque d’investissement PAS DE FULL REMOTE NI SOUS TRAITANCE MERCI 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département a lancé un programme stratégique, qui comporte plusieurs projets d'harmonisation des processus et outils. L'un de ces streams a pour vocation de constituer un datalake sur une stack Hadoop, afin de servir les besoins en data et reporting. Ce datalake a également pour vocation de devenir la brique centrale de l'architecture du SI . Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par les données, capable de s’adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. 🤝Principales missions : Les tâches suivantes seront confiés au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme • Eventuellement mettre en œuvre une couche d'APIs afin d'exposer nos données

Chaque moment compte. Surtout ceux que vous vivez à fond. Bienvenue chez Consort Group. Consort Group, accompagne depuis plus de 30 ans les entreprises dans la valorisation de leurs données et infrastructures. Elle s'appuie sur deux leaders, Consortis et Consortia, et place l’humain et la responsabilité sociétale au cœur de ses valeurs. C’est votre future équipe Les équipes de ConsortIA , sont des acteurs de référence de la Data, du Développement Digital et de l'Ingénierie Média. En combinant ces expertises, nous concevons des systèmes d’information augmentés, intégrés, agiles et sécurisés, au service de la performance et de la transformation numérique de nos clients. Développeur Python H/F C’est votre mission Vous êtes passionné·e par le développement de solutions data à grande échelle et les environnements Big Data ? Ce poste est fait pour vous. En tant que Développeur Python , vous êtes responsable du développement et de la maintenance de notre écosystème : Côté build : Concevoir et développer des applications et pipelines de traitement de données en Python et PySpark Développer des traitements distribués performants sur des environnements Spark Participer à la conception technique et à l’évolution des architectures Data Mettre en œuvre les bonnes pratiques de développement (qualité de code, tests, documentation) Participer aux revues de code et aux choix techniques de l’équipe Contribuer à l’automatisation des processus de déploiement et d’intégration continue Collaborer avec les équipes Data Engineering, DevOps et métiers dans un contexte Agile Côté run : Assurer le maintien en conditions opérationnelles des traitements de données Analyser et résoudre les incidents de production Optimiser les performances des jobs Spark et des applications Python Superviser les flux de données et garantir leur fiabilité Participer aux actions d’amélioration continue et à la réduction de la dette technique Assurer le support technique de niveau avancé auprès des équipes projet C’est votre parcours Vous avez au moins 5 ans d’expérience . Vous aimez relever des défis techniques autour de la performance, de la scalabilité et de la qualité logicielle, sans jamais cesser d’innover. Vous cherchez un cadre où vos idées comptent et où la technique va de pair avec la collaboration. C’est votre expertise : Python, PySpark, Apache Spark, SQL Environnements Linux, Git, CI/CD (GitLab CI, Jenkins ou équivalent) Méthodologies Agile / Scrum Connaissance des environnements Cloud (AWS, Azure ou GCP) Outils de conteneurisation et d’orchestration (Docker, Kubernetes) Anglais professionnel à l’écrit comme à l’oral C’est votre manière de faire équipe : Esprit d’analyse et capacité à résoudre des problématiques complexes Excellentes capacités de communication et de collaboration Autonomie et sens des responsabilités Curiosité technique et force de proposition Capacité d’adaptation dans des environnements en constante évolution C’est notre engagement Chez Consort Group, vous êtes un·e expert·e qu’on accompagne pour que chaque mission devienne une étape qui compte. Un onboarding attentif et humain Une vraie proximité managériale Des formations accessibles en continu Des engagements concrets : inclusion, égalité, solidarité Un package RH complet : mutuelle, carte TR, CSE, prévoyance Une culture du feedback et des projets qui font sens C’est clair Le process de recrutement : Un premier échange téléphonique avec notre team recrutement Un entretien RH ainsi qu’un échange métier avec un.e ingénieur.e d’affaires Un test ou un échange technique avec un.e de nos expert.es Un dernier point avec votre futur.e manager ou responsable de mission Et si on se reconnaît : on démarre ensemble C’est bon à savoir Lieu : Paris Contrat : CDI Télétravail : Hybride Salaire : De 55 K€ à 62 K€ (selon expérience) brut annuel Famille métier : Data Engineering / Développement Python / Big Data Ce que vous ferez ici, vous ne le ferez nulle part ailleurs. Ce moment, c’est le vôtre.

Dans le cadre du renforcement de son équipe Data Engineering, notre client recherche un Senior Data Engineer afin d'accompagner la conception, l'industrialisation et l'optimisation de ses plateformes de données sur Azure et Snowflake. 🎯 Vos missions : • Concevoir, développer et optimiser des pipelines de données robustes et performants. • Participer à la mise en place et à l'évolution des architectures Data Warehouse, Data Lake et Data Lakehouse. • Déployer et maintenir les infrastructures via Terraform (Infrastructure as Code). • Concevoir et améliorer les pipelines CI/CD sous Azure DevOps. • Garantir la qualité, la performance et la sécurité des traitements de données. • Accompagner les Data Engineers de l'équipe à travers du coaching, du partage de bonnes pratiques et des revues de code. • Participer à la gouvernance des données, à la gestion des métadonnées et à l'optimisation des coûts. • Collaborer étroitement avec les équipes métiers, Data Analysts, Data Scientists et IT. 🛠 Environnement technique : • Azure • Snowflake • Snowpark • dbt • Python • Azure Data Factory • Terraform • Azure DevOps • Git • PowerShell • Azure CLI • PowerDesigner

Contexte Dans le cadre d'un programme stratégique autour de la Data et de l'Intelligence Artificielle, nous recherchons un(e) Business Analyst Data pour renforcer une équipe en charge des référentiels d'entreprise. L'objectif est d'accompagner les évolutions fonctionnelles et techniques d'une plateforme de référentiels transverse utilisée par plusieurs métiers. Vous interviendrez en amont des développements afin d'analyser les besoins, mesurer les impacts et préparer les dossiers destinés aux équipes de réalisation. Missions Recueillir et analyser les besoins métiers. Réaliser les études d'impact sur les différents composants du système d'information. Participer à la définition des solutions fonctionnelles et techniques. Rédiger les spécifications fonctionnelles et techniques. Produire les schémas d'architecture et de flux. Préparer les dossiers de présentation pour les équipes de développement. Assurer les échanges avec les équipes métiers et techniques. Participer aux ateliers de conception et aux revues de solution. Environnement technique API TIBCO Informatica MDM Informatica Data Quality Java ReactJS SQL Jira Confluence Compétences requisesFonctionnelles Analyse d'impact Recueil du besoin Rédaction de spécifications Modélisation de données Communication et animation d'ateliers Techniques Maîtrise du SQL Bonne compréhension des bases de données Connaissance des API Connaissance d'Informatica MDM appréciée Jira et Confluence

Contexte : migration de On premise vers GCP En tant que Data Engineer, vous serez au cœur de notre stratégie data. Vous concevrez et mettrez en œuvre des solutions innovantes pour collecter, transformer et stocker nos données massives. Votre expertise technique sera essentielle pour les projets et offrir des insights précieux à nos équipes métiers. Vos missions : Conception et développement: Définir et mettre en œuvre des architectures de données robustes (data lakes, data warehouses). Concevoir et développer des pipelines de données automatisés (ETL). Optimiser les performances des traitements de données. Technologies: Maîtrise des langages de programmation : Python, Scala, SQL. Expérience avec les outils de traitement de données : Spark, Hadoop, Kafka. Connaissance des bases de données relationnelles et NoSQL. Expérience avec les clouds (GCP) Collaboration: Travailler en étroite collaboration avec les équipes métiers. Participer à la définition de la roadmap data.

Contexte : migration de On premise vers GCP En tant que Data Engineer, vous serez au cœur de notre stratégie data. Vous concevrez et mettrez en œuvre des solutions innovantes pour collecter, transformer et stocker nos données massives. Votre expertise technique sera essentielle pour les projets et offrir des insights précieux à nos équipes métiers. Vos missions : Conception et développement: Définir et mettre en œuvre des architectures de données robustes (data lakes, data warehouses). Concevoir et développer des pipelines de données automatisés (ETL). Optimiser les performances des traitements de données. Technologies: Maîtrise des langages de programmation : Python, Scala, SQL. Expérience avec les outils de traitement de données : Spark, Hadoop, Kafka. Connaissance des bases de données relationnelles et NoSQL. Expérience avec les clouds (GCP) Collaboration: Travailler en étroite collaboration avec les équipes métiers. Participer à la définition de la roadmap data.

Contexte de la mission Dans le cadre d'un programme de transformation digitale visant à démocratiser l'accès aux actifs privés pour la clientèle Retail & Wealth Management, notre client déploie une infrastructure de données pour consolider, transformer et distribuer des données financières et documentaires vers des partenaires de distribution. Le Data Engineer interviendra en autonomie sur la conception et le déploiement de pipelines de données et d'interfaces API dans un environnement cloud Azure / Databricks à forte volumétrie. Responsabilités Architecture & ingestion de données Concevoir et implémenter des pipelines ETL/ELT avec PySpark sur Databricks Construire et maintenir une architecture data lake Bronze–Silver–Gold (architecture médaillon) Développer des jobs de transformation pour des datasets financiers (NAV, capital calls, distributions, reportings) Gérer les tables Delta Lake pour un stockage ACID-compliant APIs & intégrations partenaires Développer et maintenir des Azure Functions pour les intégrations API temps réel avec des partenaires externes Développer des APIs RESTful en Python pour la distribution de données Collaborer avec les data consumers pour comprendre leurs besoins et garantir la qualité des flux Qualité, performance & DevOps Implémenter des contrôles qualité et des frameworks de tests automatisés Optimiser les jobs Spark et fonctions serverless (performance et coûts) Travailler en CI/CD via Azure DevOps Stack technique DomaineTechnologiesLangage principalPython (maîtrise avancée obligatoire)Traitement distribuéPySpark, DatabricksStockage / Data lakeDelta Lake, architecture médaillon (Bronze–Silver–Gold)SQLTransformation et analyse de donnéesCloud AzureDatabricks, Azure Functions, Azure DevOps, PipelinesQualité de codePre-commit hooks, ruff, mypy, blackVersioningGit — stratégies de branchingTestspytest

Nous recherchons un Data Engineer Expert pour intervenir au sein de l’entité Intelligence Artificielle (IA) et robotisation (RPA), d'un grand groupe du secteur des assurances. 🎯 Contexte de la mission : L’entité Intelligence Artificielle a pour objectif d’apporter de la valeur aux clients et collaborateurs via des services efficaces et responsables. Ses domaines d’intervention : Data Engineering Machine Learning Deep Learning Conversationnel / Chatbot Assistant virtuel Analyse multimédia et multicanaux (voix, vidéo, langage naturel…) 🎯 Objectifs de la mission : Développement Data CAS (Contrôle d’Activités Sinistre) Migration Cloud

Nous sommes à la recherche d'un(e) : Data Engineer Senior - Participer activement aux différentes phases de conception, de planification et de réalisation des tâches avec l’équipe - Construire et maintenir de pipelines data robustes et scalables - Accompagner les membres de l’équipe dans l’exploitation et le requêtage des données - Organiser et structurer le stockage des données - Mettre en place et maintenir des infrastructures scalables capable de répondre aux besoins et à l’accroissement rapide du volume de données - Construire et maintenir les workflows de la CI/CD - Partager avec les autres data ingénieurs pour appliquer les bonnes pratiques en vigueur - Assurer l’évolutivité, la sécurité, la stabilité des environnements - Participer aux différentes instances des data ingénieurs - Contribuer et veiller à la mise à jour de la documentation - Faire de la veille technologique active dans le domaine

Contexte Transformer des données sources complexes en données exploitables pour les métiers, dans le respect des standards et de la stratégie data de SNCF Gares & Connexions . Missions principales Comprendre les enjeux métier et les besoins data Modéliser les données Développer et optimiser les traitements en Python / SQL / PySpark Industrialiser, superviser et documenter les traitements Collaborer avec les équipes métier et techniques Être force de proposition Contribuer à l’évolution et à l’optimisation de la plateforme data Travailler dans un cadre agile

Vous rejoignez CGI, leader mondial du conseil et des services numériques à Lyon et accompagnez nos clients. A Lyon, nos équipes accompagnent nos clients grands comptes dans la mise en œuvre de leurs projets stratégiques. Nos services couvrent l'ensemble du cycle de production logiciel, de l’amont des projets à la maintenance de solutions dans des domaines variés comme l'énergie, le transport, la pharma, le secteur public, la finance ou les télécommunications. Notre agence abrite également le centre mondial d'excellence de CGI dédié à la digitalisation de la supply chain, offrant ainsi de multiples perspectives d’évolution de carrière Fonctions et responsabilités Nous recherchons un(e) Développeur/euse Big Data Confirmé(e) pour intervenir sur la migration de traitements legacy vers des architectures modernes et participer à la refonte complète dans le cloud. Travail en Agile Migration de traitements existants (Informatica, PL-SQL) vers Spark Java Conception et développement de pipelines de données robustes et performants Maintenance corrective et évolutive des traitements SQL/PL-SQL existants Participation au projet de migration cloud sur Databricks Garantie de la performance, de la robustesse et de la qualité des données Participation active au RUN et à l'amélioration continue Contribution aux bonnes pratiques de développement Mise à jour du référentiel documentaire et partage de connaissances au sein de l'équipe Stack technique Spark / Java / SQL / PL-SQL / Databricks / Oracle / Informatica / Jenkins / Terraform / Git / Maven / Control-M Qualités requises pour réussir dans ce rôle Maîtrise de Spark (indispensable) Maîtrise de SQL / PL-SQL (indispensable) Programmation orientée objet Java ou Python Expérience sur des systèmes existants et culture du RUN en production

Dans le cadre d’un grand groupe du secteur de l’assurance et de la protection sociale , la Direction Technique Informatique recherche un architecte technique Data pour intervenir sur les socles DATA de la plateforme décisionnelle et Big Data. L’équipe en charge des socles Data assure la conception, l’évolution et l’exploitation des plateformes de données industrielles permettant le pilotage, le reporting décisionnel, la data science et l’exploration de données à grande échelle. La prestation consiste à intervenir sur la conception, l’évolution et le maintien en conditions opérationnelles des plateformes Data Big Data (Hadoop) ainsi que sur les projets de transformation vers des plateformes Data modernes.

Nous recherchons un(e) Consultant(e) Data Platform / DataOps Senior pour intervenir au sein d’un groupe international engagé dans une transformation ambitieuse de son écosystème Data & Analytics. Au sein d’une équipe Data transverse, vous participerez à la conception, l’évolution et l’industrialisation d’une plateforme Data Cloud moderne, destinée à centraliser et valoriser les données provenant de multiples systèmes métiers. Vous contribuerez à la mise en place de solutions robustes, scalables et sécurisées permettant de répondre aux enjeux de gouvernance, d’intégration et d’exploitation de la donnée. Vos principales responsabilités seront les suivantes : Participer à l’architecture et à l’évolution de la plateforme Data ; Concevoir et industrialiser les pipelines de traitement et d’intégration de données ; Développer et optimiser les traitements de données à grande échelle sur Spark ; Mettre en œuvre les bonnes pratiques DataOps (CI/CD, automatisation, monitoring, qualité des données) ; Contribuer à l’intégration des applications et des flux de données au sein du SI ; Collaborer avec les équipes Data Engineering, Architecture, BI et Métiers ; Participer à l’amélioration continue de la performance, de la fiabilité et de la sécurité de la plateforme. Environnement technique : Azure, Databricks, Spark/PySpark, Azure Data Factory, Azure DevOps, Data Lake, CI/CD, API & intégration de données. Nous recherchons un profil disposant d’au moins 6 ans d’expérience sur des environnements Data Cloud, avec une solide expertise Azure et Spark. Une expérience des sujets d’intégration de données et des plateformes iPaaS constitue un véritable atout. Une connaissance de MuleSoft serait particulièrement appréciée. Le poste nécessite une forte capacité à évoluer dans des environnements internationaux, à dialoguer avec des interlocuteurs techniques et fonctionnels, ainsi qu’une bonne autonomie sur les problématiques de plateforme Data et d’industrialisation.

Nous recherchons un Tech Lead Data Engineer expérimenté H/F en CDI sur Lyon pour une entreprise de renommée française afin de piloter la conception et l’évolution de notre plateforme data. Vous serez référent technique sur les sujets liés au traitement de données massives, à l’industrialisation des pipelines et à l’optimisation des architectures data. Vous interviendrez dans un environnement moderne orienté Big Data et Cloud, avec une forte utilisation de Python, Spark et des outils d’automatisation CI/CD. 3 jours de Télétravail Missions principales Concevoir et développer des pipelines de données robustes et scalables Encadrer techniquement l’équipe Data Engineering Développer des traitements distribués avec Spark Assurer l’intégration et la transformation de données à grande échelle Optimiser les performances des bases PostgreSQL et des traitements Big Data Participer à l’architecture des solutions Hadoop et Data Lake Industrialiser les déploiements via GitLab CI/CD Garantir la qualité, la sécurité et la fiabilité des données Collaborer avec les équipes Data Science, DevOps et métiers Mettre en place les bonnes pratiques de développement et de gouvernance data

Contexte de la mission Vous intégrerez une équipe intervenant sur une architecture data complexe et participerez à la mise en place, l’analyse et l’exploitation de données à forte volumétrie dans un environnement Agile. La mission nécessite une forte autonomie ainsi qu’une excellente maîtrise des technologies Data et BI. Missions principales Développer et maintenir des traitements de données en Python et PySpark Manipuler et exploiter des données au sein d’une architecture data complexe Concevoir et optimiser des requêtes SQL Créer et maintenir des tableaux de bord et reportings avancés sous Power BI Développer des mesures et indicateurs via le langage DAX Participer aux analyses de données et à l’amélioration continue des traitements existants Collaborer avec les équipes métiers et techniques dans un environnement Agile Participer au versionning et à la gestion du code via Git

Bonjour, Je suis à la recherche d’un Data Engineer à Nantes : Missions principales : • Intervenir sur l’ensemble du cycle de vie de la donnée : collecte, transformation, modélisation et restitution • Développer des traitements de données en Python (notamment PySpark ) • Concevoir et maintenir des modèles de données (tables, vues, datamarts) • Optimiser les requêtes SQL et les performances des traitements • Intégrer des données via API • Mettre à disposition des données fiables pour les équipes métiers et analytiques • Créer et faire évoluer des tableaux de bord Power BI • Développer des mesures et indicateurs en DAX • Réaliser des analyses avancées et vulgariser les résultats auprès des parties prenantes • Participer à l’industrialisation de la plateforme data • Améliorer en continu les flux (monitoring, performance, qualité) • Contribuer aux projets d’évolution ou de migration de la plateforme data • Travailler en environnement agile en lien étroit avec les équipes techniques et métiers