Trouvez votre prochaine offre d’emploi ou de mission freelance PySpark

Bonjour, Dans le cadre de ses projets clients, Visian est à la recherche d'un Data Engineer Pyspark/AWS Missions: Concevoir, développer et optimiser des pipelines de données robustes, performants et scalables. Encadrer et apporter une expertise technique sur les choix d’architecture et de stack. Déployer et orchestrer des traitements distribués (PySpark, Glue). Concevoir et exposer des APIs de données. Industrialiser et automatiser les environnements via Terraform et des pipelines CI/CD. Garantir la fiabilité, la performance et la sécurité des flux et services de données en production. Collaborer avec les équipes Produit, Data et Développement pour intégrer les besoins métiers dans les solutions. Partager les bonnes pratiques et contribuer à la montée en compétences de l’équipe. Si vous êtes actuellement à l'écoute du marché, je vous invite à m'envoyer votre candidature. Bien à vous, Nadia

Basée à Lille, Lyon, Nantes, Grenoble et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s’imposer comme une référence en matière de freelancing par son expertise dans l’IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Data Engineer / Développeur API H/F à Paris, France. Les missions attendues par le Data Engineer / Développeur API H/F : L'objectif de la mission est d'assurer le rôle de Data Engineer et de développeur API au sein de la squad, avec les responsabilités suivantes : - Gestion de la production - Gestion de la dette technique - Revue de l'architecture actuelle et proposition d'évolutions - Développements liés aux projets La mission pourra évoluer vers d'autres squads Data en fonction des besoins.

Contexte Équipe IT Data Management & BI – Squad Big Data & API. Le data lake “ESG” sert de plateforme de données pour des équipes IT et métiers. La mission peut évoluer vers d’autres squads Data selon les besoins. Missions Assurer le rôle de Data Engineer et développeur d’API au sein de la squad. Exploitation/production : supervision des traitements, corrections, optimisation des performances. Gestion de la dette technique : refactor, qualité, sécurité. Architecture : revue de l’existant et propositions d’évolutions . Développements projets : pipelines de données et APIs d’exposition.

Nous recherchons un ingénieur Big Data confirmé pour intervenir sur une plateforme Datalake de grande envergure. Vous apporterez votre expertise technique sur l’exploitation et l’évolution d’un écosystème Big Data complexe et moderne, et contribuerez à son maintien en condition opérationnelle ainsi qu’à son amélioration continue. Vos principales missions : Assurer le maintien en conditions opérationnelles de la plateforme Big Data (MCO, incidents, demandes projets/utilisateurs). Contribuer à l’ implémentation et à l’automatisation des solutions. Réaliser et suivre les mises en production . Participer à l’ amélioration continue des outils et processus d’exploitation. Communiquer et accompagner les utilisateurs finaux. Produire les livrables attendus : Récapitulatif mensuel des tickets traités (incidents, demandes). Statut bimensuel des projets en cours.

🏭 Secteurs stratégiques : Banque d’investissement 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département a lancé un programme stratégique, qui comporte plusieurs projets d'harmonisation des processus et outils. L'un de ces streams a pour vocation de constituer un datalake sur une stack Hadoop, afin de servir les besoins en data et reporting. Ce datalake a également pour vocation de devenir la brique centrale de l'architecture du SI . Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par les données, capable de s’adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. 🤝Principales missions : Les tâches suivantes seront confiés au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme • Eventuellement mettre en œuvre une couche d'APIs afin d'exposer nos données

Dans le cadre d’un projet pour l’un de nos clients dans le secteur de la finance , nous recherchons un Data Engineer avec une forte expertise en Python , Spark , et Git . La mission s’inscrit dans un environnement Big Data et suit une méthode Agile . Objectifs de la mission Le consultant contribuera à : Développer de nouveaux modèles et indicateurs Industrialiser ces développements dans un environnement de production APIser les services Produire une documentation fonctionnelle et technique Livrables attendus Développements en Python et Spark Scripts d’intégration (Shell, éventuellement Perl / PHP) Documentation technique & fonctionnelle Services API Code versionné sous Git / GitHub Méthodologie Travail en mode Agile / Scrum

Notre client, grand groupe bancaire, recherche un Data engineer (H/F) très orienté développeur big data qui ait vraiment une appétence pour la partie CI/CD. Cette mission s'inscrit dans le cadre d'un renfort d'équipe gérant l'entrepôt des données client de la CIB afin notamment de refondre les chaînes de build CI/CD Jenkins en provenance de Azure Devops. L'objectif de la mission est de renforcer l'équipe avec un rôle de Développeur / Data Engineer orienté DevOps au sein de la Squad : - Gestion de la production - Gestion de la dette technique - Revoir l'architecture actuelle et proposer des évolutions - Développements liés aux projets Concrètement : la mission principale de la prestation aura pour but de : - Traiter nos obsolescences de Framework (ex : springboot , spark2 ) - Moderniser et industrialiser nos pipelines de build en intégrant les bonnes pratiques devsecops : - Migration depuis tfs vers jenkins - Création directe sur jenkins Le but étant d'optimiser notre code , d'assainir et d'automatiser nos déploiements via xldéploy. Le code concerne nos apis et nos process de transformation hadoop/spark ( en java , python )

Pour l’un de nos clients grands comptes, nous recherchons un Data Engineer confirmé maîtrisant Spark, Hadoop, Scala , pour intégrer une Squad data transverse. L’objectif de la mission est d'assurer un rôle de Data Engineer & développeur API , avec les responsabilités suivantes : Suivi et gestion de la production Réduction de la dette technique Évolution de l’architecture existante et proposition d’améliorations Développements projets et intégration dans les pipelines Possibilité d’évolution vers d’autres Squad Data selon les besoins Activités principales Acheminement, traitement et mise à disposition des données Industrialisation des traitements data Mise en production de modèles statistiques Suivi de projet, développement de jobs Spark Ingestion multi-format (batch & streaming) Développement de scripts et API de restitution Génération de Dashboard ou fichiers à destination des équipes métier Participation à la conception et administration de solutions Big Data Installation, configuration de clusters Hadoop Intégration Spring Boot pour extraction depuis Teradata → Kafka → Data Lake

Tâches : - Développer et réaliser de nouvelles fonctionnalités/usages définis et priorisés (user stories) au sein de l’équipe client, tout en respectant les règles de gestion et les critères d’acceptation associés. Contexte Equipe de 12 personnes composée d'un PO et d'un Scrum Master, a pour objectif de constituer une vision 360 des clients en temps réel afin de servir des usages digitaux communautaires. En plus de contribuer pleinement aux enjeux majeurs de modernisation du système d’information Marketing. L'équipe assure aussi au quotidien le bon fonctionnement de produits à valeur ajoutée L’équipe évolue dans un cadre Scrum basé sur les valeurs et pratiques agiles. Attendu : Contribuer et recueillir les besoins - Définir les architectures des solutions avec le reste de l’équipe - Fabriquer et tester les solutions en mettant l'accent sur l'automatisation des tests - Déployer dans les différents environnements - Garantir le bon fonctionnement en production - Accompagner l’évolution des pratiques de l’équipe dans une logique d’amélioration continue de la qualité du code

Pour l’un de nos clients grand compte, nous recherchons un Data Engineer Senior maîtrisant Python , Py Spark , les API , AWS , et ayant une forte expertise en modélisation des données . Le rôle implique la conception et la mise en œuvre de composants de la plateforme data, incluant : L’ingestion et le traitement des données La construction et l’amélioration d’un cadre technique commun : Monitoring CI/CD Tests automatisés Performance Résilience Qualité du code Bonnes pratiques de développement Activités principales Recueillir, analyser et challenger les besoins métiers Concevoir des solutions en accord avec les architectures définies Contribuer au développement en tant qu’expert / lead technique Écrire un code propre, réutilisable, fiable et conforme aux standards qualité Identifier et résoudre les problèmes (bugs, goulots d’étranglement, etc.) Fournir des solutions robustes et prêtes pour la production Mettre en place des outils de monitoring et d’alerte pour assurer la fiabilité des services en production Documenter les développements en anglais et partager les connaissances avec l’équipe Communiquer efficacement avec les différentes équipes projet

Pour le besoin de mon client, je suis à la recherche d'un data Scientist Maîtrise du langage Python et du PySpark (exp. 5 ans min) • Excellente connaissance de l’environnement DataBricks (exp 3 ans min) • Maîtrise de SGBD et du SQL (exp 5 ans min) Maîtrise de Git (exp 3 ans min) .. ... ... ... .... .... ... ...... .. ... ... ... .... .... ... ...... .. ... ... ... .... .... ... ...... .. ... ... ... .... .... ... ...... .. ... ... ... .... .... ... ...... .. ... ... ... .... .... ... ...... .. ... ... ... .... .... ... ......

Je recherche un profil senior Data Engineer avec une évolution rapide vers un poste de Tech Lead. Points clés : • Solides connaissances et pratique en Python (design, tests, processus de développement, etc.) • Data Engineering : architecture big data / modélisation / optimisation / environnement distribué • Connaissance du cloud AWS ; un niveau intermédiaire minimum est requis, avec une expérience pratique • Bon esprit d'équipe et capacité d'adaptation • Bonnes compétences en communication en anglais L'objectif est de développer une plateforme basée sur des technologies Big Data robustes et évolutives. Cette plateforme sera capable de traiter un volume important de données dans les différents pays où le client opère. Son objectif principal est de capturer divers indicateurs dans un référentiel centralisé, permettant d'accéder à des vues standardisées et transversales de ces indicateurs. Outre ses responsabilités techniques, le data engineer veillera au respect des directives du groupe concernant l'utilisation du cadre interne et l'architecture. Il collaborera également avec les autres parties prenantes du projet afin de promouvoir ces directives et de proposer des solutions communes pour la plateforme. Le rôle du data engineer senior dans ce projet consistera à concevoir et à mettre en œuvre les composants suivants de la plateforme : • Ingestion des données • Traitement et normalisation des données. • Distribution des données aux différentes parties prenantes. • Construire et améliorer le cadre commun, notamment en matière de surveillance, de CI/CD, de tests, de performances, de résilience, de pratiques de développement et de qualité du code.

Contexte Dans le cadre du développement et de la gestion d’une Data Platform B2C , nous recherchons un·e Scrum Master avec une forte appétence technique et data, disposant également de compétences en Business Analysis . Le poste se décompose en 2/3 Scrum Master et 1/3 Business Analyst . L’équipe socle est composée d’environ 10 personnes et intervient sur : Le développement et la gestion de la plateforme au niveau national L’alimentation du socle de données (notamment données de facturation dans un premier temps) L’environnement est agile et techniquement orienté data , avec de nombreuses interactions transverses dans un contexte type Data Mesh. En tant que Scrum Master Garantir la bonne application de la méthode Scrum et accompagner l’équipe dans son amélioration continue Faciliter les événements Scrum et soutenir le Product Owner dans la gestion du backlog Favoriser l’auto-organisation et la pluridisciplinarité de l’équipe Supprimer les obstacles et faciliter la collaboration entre toutes les parties prenantes Accompagner l’organisation dans son adoption et sa compréhension de Scrum Collaborer avec d’autres Scrum Masters pour harmoniser les pratiques agiles En tant que Business Analyst Recueillir les besoins métiers et rédiger les user stories technico-fonctionnelles Définir et valider les règles de gestion Analyser et résoudre les incidents en production dans le cadre de la MCO Proposer des évolutions pour améliorer les fonctionnalités existantes Participer et animer des ateliers métiers Suivre l’avancement des développements et coordonner avec les membres de l’équipe

Genious Systèmes recherche pour son client un(e) Data Scientist F/H Dans le cadre d’un renfort d’équipe avec des compétences de Data Scientist, il participera aux bons usages techniques et fonctionnels des données au sein d’une direction métier. Accompagner les utilisateurs lors de la mise en place de Data Prep, d’analyse de données, de KPIs, de dashboards... Accompagner techniquement et former d’autres Data Scientists ainsi que des Data Analysts, Valider la mise en place des bonnes pratiques. Assurer le suivi des performances et participera aux phases d’optimisation. Participation à l’homogénéisation et l’industrialisation des phases de Data Prep. Maîtrise Python Spark sur un environnement Cloud ainsi que le dashboarding et la Data Viz (Looker, Kibana, Grafana). L’environnement technique sera principalement constitué de : Databricks Looker Prometheus Tempo Grafana Elastic Kibana

Développer et maintenir des pipelines de données robustes à l’aide de Python, Spark et SQL. Collaborer avec les data scientists, les analystes et les équipes d’ingénierie pour fournir des solutions de données de haute qualité. Optimiser les flux de données pour la performance, l’évolutivité et la fiabilité. Intégrer et gérer les données sur les plateformes cloud, en garantissant la sécurité et la conformité. Participer aux décisions architecturales et contribuer à l’évolution de l’infrastructure de données.

Nous recherchons un Data Engineer freelance pour intervenir sur une mission de longue durée (minimum 12 mois) dans le secteur de l’assurance. Vous rejoindrez une direction data structurée et en pleine croissance, au cœur d’une transformation digitale d’envergure. 🎯 Objectifs et contexte de la mission : En tant que Data Engineer , vous intégrerez une équipe d’environ 30 personnes (data engineers, tech leads) organisée en feature teams agiles . Vous contribuerez à la construction du socle technique Big Data et à l'industrialisation des projets data portés par les directions métier (client, marketing, produits...). 🔧 Stack technique & compétences requises : Compétences techniques indispensables : Développement en Python , avec une solide maîtrise de Spark / PySpark Bonne connaissance de l’environnement Microsoft Azure (Data Factory, Data Lake, Databricks, etc.) Expérience sur des outils de visualisation type Power BI Connaissances des bases de données relationnelles et NoSQL Compétences complémentaires (un plus) : Outils de delivery : Azure DevOps , Azure Pipelines , GIT , JIRA Connaissance des principes CI/CD , tests automatisés , clean code Connaissance des méthodes agiles : Scrum , Kanban 📍 Informations pratiques : Type de contrat : Mission freelance uniquement Localisation : Paris (modèle hybride possible) Démarrage : ASAP Durée : 12 mois minimum