Trouvez votre prochaine offre d’emploi ou de mission freelance PySpark

Bonjour, Pour le compte de notre client nous recherchons un TECH LEAD BIG DATA Le domaine d’intervention du Tech Lead Data Engineering comprend les études, l’architecture du SI Big Data, le choix des solutions et outils, le pilotage technique du Build et du Run. Comme référent technique Big Data, vous assurez le lead technique de l’équipe de développeurs, avec en responsabilité, la conception et la mise en œuvre des solutions Big Data, ainsi que le pilotage technique de projets. Sous la responsabilité du responsable du SI Big Data, vous piloterez techniquement les activités de Data Engineering : - étude et prise en compte des besoins de traitement de la data, - gestion des priorités et de la cohérence des besoins, - choix des outils et solutions - conception et mise en œuvre des architectures de données évolutives et performantes, sécurisées et résilientes - direction et encadrement technique d’une équipe de data ingénieurs composée d’intervenants externes : suivi, support, adoption des bonnes pratiques de développement sécurisé - suivi de la qualité, de la sécurité des données et des traitements, de la performance opérationnelle des traitements - participation et support au delivery nécessitant l’expertise technique et data - veille technologique pour rester à l’état de l’art en matière de traitement massif des données, et d’utilisation de l’IA pour l’automatisation, la prédiction, la génération de data et de code. - support des équipes Data Science et R&D sur le cycle de déploiement/optimisation et industrialisation des solutions d’IA - conception et mise en place d'API pour l'intégration des solutions Big Data avec d'autres systèmes, - développement et intégration de modèles d'IA générative pour des applications spécifiques, - assurer la maintenance et l'évolution des API et des modèles d'IA générative.

Nous recherchons un Data Engineer freelance pour intervenir sur une mission de longue durée (minimum 12 mois) dans le secteur de l’assurance. Vous rejoindrez une direction data structurée et en pleine croissance, au cœur d’une transformation digitale d’envergure. 🎯 Objectifs et contexte de la mission : En tant que Data Engineer , vous intégrerez une équipe d’environ 30 personnes (data engineers, tech leads) organisée en feature teams agiles . Vous contribuerez à la construction du socle technique Big Data et à l'industrialisation des projets data portés par les directions métier (client, marketing, produits...). 🔧 Stack technique & compétences requises : Compétences techniques indispensables : Développement en Python , avec une solide maîtrise de Spark / PySpark Bonne connaissance de l’environnement Microsoft Azure (Data Factory, Data Lake, Databricks, etc.) Expérience sur des outils de visualisation type Power BI Connaissances des bases de données relationnelles et NoSQL Compétences complémentaires (un plus) : Outils de delivery : Azure DevOps , Azure Pipelines , GIT , JIRA Connaissance des principes CI/CD , tests automatisés , clean code Connaissance des méthodes agiles : Scrum , Kanban 📍 Informations pratiques : Type de contrat : Mission freelance uniquement Localisation : Paris (modèle hybride possible) Démarrage : ASAP Durée : 12 mois minimum

Missions principales : - Conception et développement : Concevoir, développer et maintenir des pipelines ETL/ELT en utilisant PySpark sur Databricks pour traiter de grandes quantités de données. - Leadership technique : Encadrer une équipe de Data Engineers, assurer la qualité du code, la conformité aux bonnes pratiques et participer aux revues de code. - Architecture et innovation : Participer à l’architecture des solutions Big Data sur Azure, proposer des optimisations et innovations techniques. - Gestion de projet : Collaborer avec les Product Owners et autres parties prenantes pour définir les besoins, estimer les efforts et respecter les délais. - Sécurité et conformité : Garantir la sécurité, la confidentialité et la conformité des données en respectant les standards et réglementations (ex : GDPR). - Veille technologique : Se tenir informé des évolutions des technologies Big Data, Azure, Python, Spark.

Notre client est à la recherche de profils de Data Engineers pour renforcer l'équipe Data R&D. Projet particulier : ce recrutement est lié à une augmentation d'activité en fin d'année avec plusieurs projets importants. L'équipe Data R&D a été montée récemment, en collaboration avec l'équipe Data Corporate, ils ont besoin de l'étoffer avec des profils plus séniors. Ils recherchent une personne capable d’apporter son expertise, de les guider dans le projet et de les aider à faire les bons choix.

Dans le cadre d’un programme stratégique autour de la valorisation de la donnée client , nous recherchons un Tech Lead Data / Big Data confirmé pour accompagner la mise en place et l’évolution d’une Customer Data Platform (CDP) . Vous serez le référent technique au sein de l’équipe projet et jouerez un rôle clé dans l’ encadrement des développeurs , la structuration des solutions techniques et la qualité des livrables . 6 à 9 ans d’expérience minimum dans la Data / Big Data Expérience en tant que Tech Lead ou Lead Developer Data sur des projets complexes Capacité à challenger techniquement les choix et à proposer des solutions pragmatiques Autonomie, rigueur, proactivité et aisance dans les environnements agiles Bonnes qualités de communication, aussi bien avec les équipes techniques que métiers

Bonjour à tous, Je suis à la recherche d’un Data Scientist expérimenté sur des sujets liés à la Monétique. Environnement technique : Full Microsoft Démarrage : ASAP (début septembre) Lieu de la mission : Paris Télétravail / Présentiel : Sur site les 3 premiers mois puis 2 jours de télétravail par semaine le reste de la mission Process entretiens : 2 entretiens en visio Profil recherché : Vous avez fait une école d'ingénieur Plus de 8 ans d'xp comme Data Scientist et/ou Data Engineer Nationalité : Française obligatoire Vous avez travaillé autour de sujets liés au flux bancaires - monétique Vous avez déjà travaillé dans des environnement de données critiques (sensible) Environnement technique : Microsoft, Python, Scala, Kibana, Elsaticsearch, PySpark... A bientôt,

La mission va se dérouler au sein de l'IT Data Management & BI dans l'équipe Big Data & API / Squad CCO qui aujourd'hui gére l'Entrepôt des données client de la CIB à travers l'application INDIXIS utilisée par les équipes IT et métiers. L'objectif de la mission est de renforcer l'équipe avec un rôle de Développeur / Data Engineer orienté DevOps au sein de la Squad : - Gestion de la production - Gestion de la dette technique - Revoir l'architecture actuelle et proposer des évolutions - Développements liés aux projets Concrètement : la mission principale de la prestation aura pour but de : - traiter nos obsolescences de Framework (ex : springboot , spark2 ) - moderniser et industrialiser nos pipelines de build en intégrant les bonnes pratiques devsecops : - migration depuis tfs vers jenkins - création directe sur jenkins Le but étant d'optimiser notre code , d'assainir et d'automatiser nos déploiements via xldéploy. Le code concerne nos apis et nos process de transformation hadoop/spark ( en java , python ) Expertises spécifiques : - Spark / PySpark /Python / Java / SpringBoot / .net - Hadoop sur infra on premise - Hive / SQL/HQL - Unix/Bash - Pipeline CI/CD jenkins - XLDeploy/XLRelease - Control-M - API

Description de l'équipe Concevoir, développer et exploiter des produits, services et études innovants pour accompagner les acteurs internes et externes vers la transition écologique en contribuant à l’insertion des VE et des ENR. Activité principale Traitement de données, analyses statistiques Modélisation, création d’algorithmes, machine learning Production de rapports, d’études, de présentations techniques et restitutions aux commanditaires. Accompagnement des développeurs pour l’intégration du modèle dans une application informatique. Activité secondaire Suivi des évolutions méthodologiques en data science appliquée aux réseaux électriques Optimisation des modèles existants

Contexte de la mission Dans le cadre d’un projet stratégique de reporting opérationnel , nous recherchons un·e Data Engineer expérimenté·e , orienté·e modélisation BI et performance , pour intervenir de bout en bout : structuration des données, création de modèles, alimentation du Lakehouse, et support à la datavisualisation métier (Tableau). Objectif : construire des tableaux de bord à forte valeur ajoutée tout en optimisant la qualité, les temps de réponse et les coûts liés à la plateforme. Missions principales Modélisation de données BI : modèle en étoile, flocon, Data Vault (si applicable) Manipulation avancée de données avec SQL Création de pipelines Databricks (Delta Lake, Notebooks, optimisation via Z-Order, caching, partitionnement…) Collaboration sur des notebooks pour analyses avancées Optimisation des performances sur environnement Lakehouse Intégration de Databricks avec des environnements cloud (Azure ou AWS) Participation à la conception des dashboards dans Tableau (Salesforce) Contribution active à la qualité de la donnée, documentation et bonnes pratiques

Dans le cadre d’un projet stratégique lié à l’industrialisation de nouvelles lignes de production, nous recherchons un Data Engineer Sénior pour intervenir sur la conception et le développement de flux de données. La mission consiste à spécifier, développer et maintenir des pipelines d’ingestion et de transformation de données dans un environnement Big Data. Le consultant interviendra en régie, au sein d’une équipe Data pluridisciplinaire, en lien avec les équipes IT et métiers. Expérience : Minimum 2 ans en tant que Data Engineer dans des environnements Big Data

Nous recherchons pour l’un de nos clients un profil hybride Lead Data Scientist / Chef de Projet Data ayant une solide expérience dans l’intégration d’algorithmes complexes et la gestion de projets data à fort enjeu. Ce rôle est clé dans la coordination des initiatives data et la mise en œuvre de solutions techniques dans un environnement exigeant. Compétences techniques requises : Langages : Python, PySpark Environnement Big Data : Teradata (impératif) Méthodologie DevOps / Industrialisation : CI/CD Bonnes pratiques de versioning, automatisation, déploiement

Orcan Intelligence recherche pour l’un de ses clients un Expert Palantir Foundry pour pour un rôle clé. En tant que Palantir Foundry Expert, vous jouerez un rôle essentiel dans la production des livrables suivants : Participation à la rédaction de bonnes pratiques techniques à appliquer lors du développement sur la plateforme Contribution à la mise en place de processus respectant les recommandations d’audit et les standards internes Aide à la configuration des contrôle des accès, ainsi que revue de la configuration des projets

L'ingénieur Data / Tech Lead sera impliqué dans le développement de la plateforme du client, les spécifications techniques, les phases de tests unitaires et d'intégration, et les déploiements de la chaîne CI/CD. Les principales activités du Tech Lead recherché sont les suivantes : • Support de l'équipe de développement • Amélioration continue de la plateforme • Développement de jobs d'ingestion et de transformation de données. • Réalisation des tests unitaires et des tests de masse. • Suivre la production et assurer la correction des incidents opérationnels. • Documenter et partager les connaissances avec l'ensemble de l'équipe (présenter les progrès et les réalisations).

Vous maîtrisez le métier d'ingénieur données chez Databricks (sur AWS). Vos responsabilités seront les suivantes : • Concevoir, développer et maintenir des pipelines de données évolutifs sur la plateforme Databricks. • Gérer les processus d'ingestion de données provenant de diverses sources dans l'environnement Databricks (ingestion XML, Kakfa, etc.). • Mettre en œuvre et optimiser les processus ETL (Extraction, Transformation, Chargement) afin de garantir une transformation et une intégration efficaces des données. • Garantir la qualité, l'intégrité et la sécurité des données sur l'ensemble des pipelines. • Surveiller et résoudre les problèmes de performance des pipelines de données, en mettant en œuvre les maintenances et mises à jour nécessaires. • Documenter les processus, les spécifications techniques et les bonnes pratiques des pipelines de données. • Assurer le transfert de connaissances vers l'équipe d'ingénieurs données qui prendra en charge la gestion de la plateforme à l'avenir. Parler couramment l'anglais/néerlandais ou l'anglais/français est un impératif.

Data Engineer avec compétence sur la stack technique Hadoop, Python, Spark/PySpark, Cloudera Expérimenté 3 à 5 années d'expérience sur des activités similaires ... ... .. ... ... .. .. ... ... ... ... ... ... ... .. ... ... ... ... .. ... ... .. ..... ... ... ... ... .. ... ... .. .. ... ... ... ... ... ... ... .. ... ... ... ... .. ... ... .. ..... ... ... ... ... .. ... ... .. .. ... ... ... ... ... ... ... .. ... ... ... ... .. ... ... .. ..... ... ... ... ... .. ... ... .. .. ... ... ... ... ... ... ... .. ... ... ... .

Nous recherchons un(e) Data Engineer Senior / Expert pour renforcer notre équipe et prendre un rôle clé dans la conception, l’industrialisation et la mise en production de nos pipelines et services de données. Le poste requiert un profil expérimenté, capable d’allier expertise technique, bonnes pratiques de développement logiciel et accompagnement des équipes. Concevoir, développer et optimiser des pipelines de données robustes, performants et scalables. Encadrer et apporter une expertise technique sur les choix d’architecture et de stack. Déployer et orchestrer des traitements distribués (PySpark, Glue). Concevoir et exposer des APIs de données. Industrialiser et automatiser les environnements via Terraform et des pipelines CI/CD. Garantir la fiabilité, la performance et la sécurité des flux et services de données en production. Collaborer avec les équipes Produit, Data et Développement pour intégrer les besoins métiers dans les solutions. Partager les bonnes pratiques et contribuer à la montée en compétences de l’équipe.