Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark à Paris

🏭 Secteurs stratégiques : Banque d’investissement PAS DE FULL REMOTE NI SOUS TRAITANCE MERCI 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département a lancé un programme stratégique, qui comporte plusieurs projets d'harmonisation des processus et outils. L'un de ces streams a pour vocation de constituer un datalake sur une stack Hadoop, afin de servir les besoins en data et reporting. Ce datalake a également pour vocation de devenir la brique centrale de l'architecture du SI . Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par les données, capable de s’adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. 🤝Principales missions : Les tâches suivantes seront confiés au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme • Eventuellement mettre en œuvre une couche d'APIs afin d'exposer nos données

Dans le cadre du renforcement d’une équipe Data au sein d’un grand groupe du secteur des médias, nous recherchons un Data Engineer confirmé pour intervenir au cœur d’une plateforme data stratégique. Tu rejoindras une équipe en charge de la collecte, la centralisation et la transformation de données issues de sources hétérogènes , avec des enjeux forts de volumétrie, de performance et de qualité. Tes principales missions : Concevoir, développer et maintenir des pipelines data robustes et scalables Assurer l’ ingestion et la transformation de données multi-sources Optimiser les performances des traitements (Spark / SQL) Orchestrer les flux de données via Airflow Structurer et organiser le stockage des données Participer à l’ industrialisation des traitements (CI/CD, infrastructure) Garantir la qualité, la sécurité et la fiabilité des données Contribuer aux échanges techniques et à l’amélioration continue des pratiques

Nous recherchons un ML Engineer pour accompagner le déploiement de modèles de machine learning robustes, performants et évolutifs en production. Vous intervenez dans une équipe dont le rôle stratégique est de valoriser la data. Au sein d’un environnement Data structuré, vous interviendrez sur des projets transverses mêlant data science, data engineering et MLOps. Vos principales responsabilités seront les suivantes : Optimiser la collecte et la préparation des données : data processing, feature engineering, industrialisation des pipelines. Améliorer l’exposition des modèles en production : API, endpoints, performance et scalabilité. Collaborer avec les data engineers pour intégrer les modèles dans la Data Platform. Travailler avec les data scientists afin de déployer les meilleures versions des modèles. Mettre en place des pratiques MLOps : qualité des données, suivi du data drift, monitoring, réentraînement. Assurer le suivi du cycle de vie des modèles en production. Documenter les processus, modèles et systèmes déployés.

Pour le compte de l’un de mes clients dans le secteur bancaire, je recherche un(e) Data Domain Owner Senior pour une mission stratégique avec un démarrage ASAP. Vos missions principales : Piloter et faire évoluer les frameworks data Contribuer à la digitalisation des données Assurer le contrôle de la qualité des données Faire le lien entre les équipes métiers et techniques Profil recherché : Expérience confirmée en environnement data Vision transverse métier / IT Capacité à piloter des sujets stratégiques

En tant que Data Engineer, vous intervenez sur la conception, le développement et l’optimisation de pipelines de données robustes et scalables. Vous travaillez au cœur des plateformes Data afin de garantir la qualité, la disponibilité et la performance des données utilisées par les équipes métiers, BI et Data Science. Expérience attendue : 3 à 8+ ans en ingénierie Data. Vous correspondez au/à la Data Engineer que nous recherchons si : Vous évoluez efficacement au sein d’équipes agiles et pluridisciplinaires , en collaboration étroite avec les équipes Data, IT et métiers Vous faites preuve d’un fort esprit analytique et d’une grande rigueur Vous êtes autonome , proactif et doté d’un solide sens des responsabilités Vous êtes capable de communiquer clairement avec des interlocuteurs techniques comme non techniques Vous savez prioriser vos tâches , gérer les contraintes et respecter vos engagements Vous disposez d’un bon esprit de synthèse et êtes orienté résultats et valeur métier Vous avez une bonne connaissance des environnements Business Intelligence , Big Data et des architectures Lakehouse Vous avez déjà travaillé sur des plateformes Data modernes (Cloud) Vous maîtrisez SQL comme langage d’interrogation des données et avez des notions de modélisation de données (architecture médaillon, modèle en étoile …) Vous disposez d’un bagage en software engineering , vous permettant d’écrire un code robuste, lisible, maintenable et testable, notamment en Python Vous appliquez les bonnes pratiques de développement : structuration du code, modularité, gestion des dépendances, conventions de nommage Vous êtes sensibilisé aux principes de qualité logicielle (tests unitaires, tests d’intégration, revue de code) Vous êtes à l’aise avec les outils de versioning ( Git ) et les workflows collaboratifs associés Vous savez concevoir des pipelines Data comme de véritables produits logiciels, en tenant compte de la maintenabilité, de l’évolutivité et de l’observabilité

Dans le cadre de ses projets clients, Visian est à la recherche d'un Data Engineer Big data/Teradata Vous contribuerez à la construction des solutions Datalab et Datamart sous technologie Teradata, en étroite collaboration avec les autres membres de la Tribu • vous aurez en charge le développement des solutions de collecte des données, de leur stockage et traitement (constitution d’agrégats ou scores), et de leur mise à disposition des DataScientists : une expérience des environnements Unix, du sql et des SGDB relationnels est indispensable ainsi que des bonnes pratiques de développement et modélisation sous technologie Teradata BTEQ. • vous serez amenés à développer sur notre plateforme Big Data. Une forte connaissance de Spark, HDFS, Python, Hadoop est demandée. Les compétences suivantes devront être maîtrisées : • Mode de chargement dans l’entrepôt (ETL) : BTEQ Teradata CONTROL-M Environnement UNIX ( répertoires principaux, Usage & Entrepôt ) SQL sur SGBD relationel (Teradata) TPT Outils collaboratifs et documentaires : GIT, Jira, Confluence, MEGA, Zeenea Spark HDFS Python Hadoop

Almatek recherche pour l'un de ses clients Un Data Engineer Sénior / Big Data / Spark / Cloudera sur Paris. Contexte de la mission Le projet HALO est un programme stratégique de digitalisation des parcours bancaires (vente en ligne, souscription, IA). La Direction Data met en place une plateforme Big Data pour alimenter les cas d’usage métiers à forte valeur ajoutée. Il s’agit d’un nouveau projet (build) avec des enjeux de performance, d’intégration IA et de montée en charge. L’environnement technique est centré sur un écosystème Hadoop/Cloudera on-premise. Missions principales • Participer à la définition de l’architecture Data en lien avec les architectes et la squad • Affiner les User Stories avec le PO/BA, concevoir et développer les pipelines de collecte et de stockage des données • Orchestrer les flux batch et temps réel (Spark batch + Spark Streaming) • Mettre en œuvre les tests unitaires et automatisés • Déployer le produit dans les différents environnements (CI/CD) • Garantir le bon fonctionnement en production : monitoring, gestion des incidents, optimisation • Accompagner l’équipe dans une logique d’amélioration continue de la qualité du code Environnement technique Catégorie Technologies Framework Big Data Hadoop Cloudera (requis) Traitement Spark, PySpark, Spark Streaming (requis) — Scala (apprécié) Messaging Kafka, Kafka Connect, Kafka Streams (apprécié) Langages SQL (requis), Scala, Java, Shell, Python Bases de données SQL : Hive, Phoenix — NoSQL : HBase, MongoDB DevOps / CI-CD Git, Jenkins, Artifactory, XL Deploy, XL Release Monitoring ELK Stack (Elasticsearch, Logstash, Kibana), Grafana Gouvernance RGPD, Data Lineage, Catalogage

Dans le cadre d’un programme de transformation data, nous recherchons un Data Engineer Streaming / Real-Time pour concevoir, optimiser et industrialiser des plateformes de traitement de données en temps réel. Vous analyserez des architectures existantes, proposerez des trajectoires d’évolution (modernisation des pipelines événementiels, optimisation des traitements stream, passage vers des architectures plus scalables et résilientes) et guiderez leur mise en œuvre avec Kafka, Flink, Spark Streaming ou équivalents. Vous serez responsable de la conception et de la fiabilisation des pipelines d’ingestion et de transformation en temps réel, de l’amélioration des performances et de l’intégration de mécanismes de tolérance aux pannes et d’observabilité des flux. Vous travaillerez main dans la main avec les équipes Cloud et DevOps pour intégrer les traitements dans des pipelines CI/CD robustes et adaptés aux contraintes d’exploitation. Vous aurez également un rôle clé dans la transmission de connaissances, l’animation d’ateliers techniques et l’accompagnement des équipes client sur les meilleures pratiques de streaming et d’event-driven architecture. Votre mission combinera expertise technique, rigueur méthodologique et capacité à structurer des solutions scalables et pérennes.

Contexte Dans le cadre du renforcement de ses équipes data, un acteur du secteur digital recherche un Data Engineer pour intervenir sur des problématiques de traitement et d’exploitation de données à grande échelle. Missions Concevoir et maintenir des pipelines de données (batch & streaming) Gérer l’ingestion, la transformation et la qualité des données Développer sur des environnements Big Data (Spark, Kafka) Mettre en place et optimiser les workflows (Airflow) Participer à l’industrialisation des traitements (CI/CD) Collaborer avec les équipes Data, DevOps et métiers Stack technique • Scala / Python / SQL avancé Spark / PySpark, Kafka Airflow (ETL / orchestration) Cloud : Azure et/ou AWS Git, CI/CD

Data Engineer Big Data / BI – Scala, Spark, SQL, Hive, Cloudera (H/F) 💼 Contrat : CDI 🏢 Entreprise : ADBI – Expert en Data Management et transformation digitaleContexte du poste Dans le cadre de l’évolution de ses plateformes Big Data et décisionnelles, ADBI recherche un(e) Data Engineer pour intervenir sur des projets d’intégration, de transformation et d’industrialisation de données. Vous participerez à la migration et à l’optimisation d’environnements Big Data (Cloudera, Spark, Hive, Scala) et contribuerez à la mise en place de solutions BI performantes et scalables.

Dans le cadre de projets liés à l’analyse de la performance digitale (web et mobile), un acteur du secteur digital recherche un Data Analyst . Les missions portent sur l’analyse des données de trafic et des usages utilisateurs. Missions Analyser les données d’usage (web / mobile / trafic) Construire et maintenir des dashboards métiers (Power BI, Tableau) Suivre les KPIs produits et business Collaborer avec les équipes produit et techniques Participer au reporting et à la prise de décision Power BI tracking web outils analytics (type GA, dataLayer…) SQL avancé Power BI / Tableau Python

QODEXIA est une société de services informatiques implantée en France et en afrique du nord. Partenaire performant, innovant, agile pour aider les entreprises dans leur transforamtion digitale. QODEXIA s'est spécialisée dans le digital, SAP et les nouvelles technologies, accompagne au quotidien les plus grands acteurs de l'industrie, de l'énergie, du Luxe, de la Banque et de l'Assurance sur leurs projets. L’IT est notre passion, les valeurs humaines sont notre capital, c'est de quoi notre ADN est composé. Contexte Notre client est un groupe qui constitue un majeur de la transition énergétique, engagé à atteindre la neutralité carbone d’ici 2045. Présent dans plus de 30 pays et fort de plus de 90000 collaborateurs, le Groupe intervient sur l’ensemble de la chaîne de valeur de l’énergie : production renouvelable, infrastructures gazières et services énergétiques. Le COE Data Groupe accompagne les entités du Groupe dans l’industrialisation de leurs usages data, en s’appuyant sur un écosystème moderne construit autour de Databricks. Dans ce cadre, le poste de Data Engineer / Data Ops contribue à concevoir, optimiser et exploiter des pipelines et architectures data fiables, scalables et alignés avec les besoins métiers.

Dans le cadre d’un programme de transformation data, nous recherchons un Data Engineer Big Data pour concevoir et industrialiser des plateformes de traitement de données à grande échelle. Vous analyserez des architectures existantes, proposerez des trajectoires d’évolution (modernisation des pipelines, optimisation des traitements distribués, passage vers des architectures plus scalables et temps réel) et guiderez leur mise en œuvre avec Spark, Kafka et les écosystèmes Big Data. Vous serez responsable de la refactorisation et de l’optimisation des pipelines de données, de l’amélioration des performances et de l’intégration de mécanismes de fiabilité et d’observabilité des flux. Vous travaillerez main dans la main avec les équipes Cloud et DevOps pour adapter les traitements aux pipelines CI/CD et aux contraintes d’exploitation. Vous aurez également un rôle clé dans la transmission de connaissances, l’animation d’ateliers techniques et l’accompagnement des équipes client sur les meilleures pratiques de data engineering et d’industrialisation. Votre mission combinera expertise technique, rigueur méthodologique et capacité à structurer des solutions pérennes.

Dans le cadre d’un programme de transformation data, nous recherchons un Architecte Big Data pour définir et piloter l’évolution des plateformes de données à grande échelle. Vous analyserez les architectures existantes, identifierez les limites techniques et proposerez des trajectoires cibles adaptées aux enjeux métiers, techniques et opérationnels. Vous guiderez la conception de nouvelles architectures distribuées en intégrant des technologies telles que Hadoop, Spark, Kafka, Iceberg/Delta Lake ou équivalents, ainsi que des principes modernes de lakehouse et de data mesh lorsque pertinent. Vous serez responsable des choix structurants en matière de stockage, de traitement, de gouvernance et de sécurité des données, en veillant à la performance, à la scalabilité et à la résilience des plateformes. Vous travaillerez étroitement avec les équipes Data Engineering, Cloud et DevOps pour garantir une mise en œuvre industrialisée, alignée avec les standards d’entreprise et les contraintes d’exploitation. Vous aurez également un rôle clé dans l’animation d’ateliers techniques, la formalisation de patterns d’architecture et l’accompagnement des équipes dans l’adoption des meilleures pratiques Big Data et data engineering.

Le datalake est utilisé comme une data plateforme pour les équipes IT et métiers. L'objectif de la mission est d'assurer le rôle de Data Engineer de ce datalake : Gestion de la production Gestion de la dette technique Revoir l'architecture actuelle et proposer des évolutions Développements liés aux projets Description : Mettre en place la collecte et la mise à disposition des données au sein de l’entreprise Industrialiser et mettre en production des traitements sur les données (par exemple : mise à disposition de tableaux de bords, intégration de modèles statistiques) en lien avec les équipes métiers et les équipes qui les analysent Activités et tâches : Acheminement de la donnée Mise à disposition de la donnée aux équipes utilisatrices Mise en production de modèles statistiques Suivi de projet de développement Développement job spark Traitement et ingestion de plusieurs formats des données Développement des scripts Développement et Implémentation des collectes de données, des jobs de traitement et Mapping de données Développement des moyens de restitution via génération de fichier et ou API & Dashboarding Collecter toutes les données et les fournir aux clients en tant qu'API ou fichiers Développer de pipelines d'ingestion à partir de différentes sources (streaming et batch) ainsi que des spark jobs le prétraitement des données et calcul des indicateurs de performance (KPI) Développer des API génériques d’ingestion et de traitement de données dans un environnement HDP Participer à la conception, mise en place et administration de solutions Big Data Participation à l’installation, administration et configuration des Hadoop clusters. Mise en place en Spring Boot des services d'extraction de data du système legacy (tera data), la data sera par la suite envoyée au data lake via des topics Kafka Normalisation et agrégation des données afin de produire les rapports sous forme de Business View