Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark à Paris

Forte expertise d’architecture Big Data et Cloud. Au sein de la Data & IA Fabric, couvrant les missions d’étude, de conception, de réalisation et de maintenance du socle Data et des SI du périmètre, ainsi que l’accompagnement des métiers dans l’utilisation des différentes plateformes Data existantes ou en développement. Mission : concevoir et construire l’architecture fonctionnelle, logique, physique et opérationnelle des plateformes dans le cadre de la stratégie des socles Data (Plateformes Data). Assister les architectes solutions, devops et data ingénieurs des squads Plateformes dans leurs activités de BUILD et de RUN. Build EXEMPLE : Proposer des évolutions des briques socle, rédiger leur cadrage technique, voire même, selon le profil du consultant, contribuer directement à leur intégration et configuration. Participer à la priorisation des fonctionnalités dans les cadrages de versions des socles plateformes. Définir des normes de développement sur la plateforme Data Groupe. Participer à la validation de la stratégie de recette (TU, TI, TAU) applicables aux développements Plateforme d’un côté, et aux développements de la squad Projet de l’autre Assurer la gestion des risques techniques et de la réversibilité pour la platform Data et le Data Catalogue Groupe Run EXEMPLE : Positionner, superviser voire Contribuer au maintien en conditions opérationnels des plateformes Data et du Catalogue Groupe (maintenance corrective, préventive et évolutive) Support expert N3 Sous la responsabilité du Product Owner de la Plateforme Data Groupe Il s’appuiera sur une équipe complète de DevOps, Data Ingénieurs et des leads de pratique Data Management, Dataviz et ML Ingénierie, ainsi que sur un pool d’architectes dédiés. Expériences réussies d’au -moins 6 ans dans le conseil en architecture solution data Expérience d’au moins 3 ans comme data ingénieur, en vue de la création, l’orchestration et monitoring de flux de données, sur des clouds publics, de préférence AWS Une expertise de développement en langage Spark et Python, pendant au moins 3 ans, est requise afin de réaliser les code reviews Une expérience sur Databricks d’au moins 4 ans sur une plateforme. Une 1è certification Databricks officielle est requise Une expérience d’intégrateur, de mises en production avec les technologies : Terraform, ou Jenkins, Docker ou Kubernetes. Paris 12 – 3 jours de TT

Basée à Lille, Lyon, Nantes, Grenoble et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s’imposer comme une référence en matière de freelancing par son expertise dans l’IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Développeur Dataiku Expérimenté (H/F) à Paris, France. Contexte : Dans un contexte de convergence Risques/Finance visant à améliorer la production des reportings reglementaires (Finrep/corep/surfi..), le programme a pour objectif d’avoir un outil unique pour la collecte / préparation des données et des reportings. Le consultant consiste à travailler sur la dimension Collecte du projet, afin de développer de nouvelles fonctionnalités ou d’améliorer des fonctionnalités existantes identifiées, avec une méthodologie « en V ». La mission pourra évoluer vers un rôle de référent sur ces sujets, en fonction de l’acquisition et de la maîtrise des sujets. Les missions attendues par le Développeur Dataiku Expérimenté (H/F) : • Développer des fonctionnalités • Collaborer avec l’équipe produit/métier pour concevoir au mieux les fonctionnalités • Être en mesure de rédiger de la documentation fonctionnelle ou technique • Décliner les tickets des nouvelles fonctionnalités pour redispactch aux autres développeurs • Améliorer les pratiques de développement et de test • Tester et apprendre de nouvelles technologies, et partager vos connaissances avec le reste de l’équipe • Participer à l’esprit d’équipe via la montée en compétence des développeurs juniors L’équipe est organisée actuellement en mode agile Scrum. Environnements Techniques : • Dataiku (certifications souhaitées) • Python • Base de données relationnelle (db2, oracle…) et SQL • Datastage • Spark • Unix Localisation : Paris / Issy les Moulineaux (3 jours sur site)

Redlab cherche pour le compte d'un client grand compte , un ingénieur big Data /bases de données Expert des architectures data : bases de données SQL & NoSQL, Big Data, pipelines, gouvernance, performance, sécurité. Missions clés Administrer et optimiser bases SQL & NoSQL. Concevoir pipelines ETL/ELT sur données hétérogènes. Travailler sur Hadoop, Spark, Hive, Delta Lake. Mettre en place partitionnement, Mettre en place sharding, caches. Déployer en cloud (AWS/Azure/GCP). Forte maitrise des Bases de données

Objectifs Votre mission est de responsabiliser et de faire monter en compétence notre communauté de plus de 50 data engineers et data scientists. Agissant comme le lien essentiel entre les feature teams et les ingénieurs de la plateforme, vous serez le garant de l’adoption et de l’évolution de notre plateforme data en fournissant un support technique opérationnel, en partageant les bonnes pratiques et en animant des initiatives de partage de connaissances. Grâce à un engagement proactif, un support direct et une collecte continue de feedback, vous favoriserez un environnement collaboratif, innovant et à fort impact — garantissant que notre plateforme s’adapte en permanence et délivre une valeur maximale à ses utilisateurs. Missions principales 1. Support technique : Accompagner les data engineers et data scientists dans leurs problématiques techniques en fournissant des solutions opérationnelles, des conseils, des bonnes pratiques et un support via des interactions directes au sein de leurs équipes. S’assurer que la dette technique est identifiée, comprise et gérée via des plans d’actions, et participer aux tâches sous-jacentes. Fournir des outils pour aider à gérer cette dette (tests, automatisation, agents IA, …). Collaborer avec les équipes data platform et support afin de garantir que les problèmes au sein des pipelines data et de la plateforme data sont identifiés et résolus, améliorant ainsi l’expérience développeur globale. 2. Évangélisation : Promouvoir l’adoption de la plateforme data par une utilisation quotidienne, en démontrant sa valeur auprès des utilisateurs existants. Partager avec la communauté de pratique et les équipes internes les tendances du marché, outils et technologies liés aux plateformes data. 3. Montée en compétences des équipes : Évaluer le niveau actuel des équipes sur les outils et pratiques de la Data Platform et l’améliorer via des formations, des exercices et la résolution de problématiques réelles. Promouvoir et animer une communauté de pratique afin de construire des parcours de formation d’amélioration, des ateliers internes et des webinaires mettant en valeur les capacités de notre Data Platform. Créer du contenu technique tel que des articles de blog, tutoriels, projets exemples et documentation afin d’aider les développeurs à comprendre et utiliser efficacement notre plateforme. 4. Boucle de feedback : Collecter activement les retours de la communauté des développeurs afin de fournir des analyses et suggestions d’amélioration produit aux équipes d’ingénierie de la plateforme. Fournir des tests pertinents pour les actifs techniques produits par les ingénieurs de la Data Platform et s’assurer qu’ils correspondent aux usages actuels des feature teams. Représenter les data engineers et data scientists au sein de l’entreprise, en veillant à ce que leurs besoins et défis soient compris et pris en compte. Qualifications / Compétences requises Maîtrise du développement Python et de la conception d’applications scalables et de haute qualité. Expérience avec des frameworks de traitement de données tels que Pandas ou Spark. Expérience pratique dans le développement et la maintenance de pipelines data de bout en bout. Expertise approfondie sur AWS, complétée par des certifications ou une expérience équivalente. Expérience des frameworks d’Infrastructure as Code (idéalement AWS CDK en Python). Connaissance des pratiques DevOps et des pipelines CI/CD afin d’améliorer les processus de déploiement. Excellentes compétences en communication et en présentation, capables d’expliquer des concepts techniques complexes à des publics variés. Forte appétence pour l’animation de communautés de développeurs et la création d’un impact positif. Bon niveau d’anglais, la documentation étant rédigée en anglais et une partie des utilisateurs de la Data Platform ne parlant pas français. Atouts supplémentaires : Expérience en développement produit agile et en méthodologie Scrum. Expérience de migration de pipelines data vers le cloud. Compréhension des bonnes pratiques de sécurité et de conformité dans des environnements cloud. Environnement technologique : AWS : S3, EMR, Glue, Athena, Lake Formation, Cloud Formation, CDK, Lambda, Fargate, … Data engineering : Airflow, Parquet, Apache Iceberg DevOps : Jenkins, SonarQube, Conda Logiciels : Python, Ruff

En quelques mots Cherry Pick est à la recherche d'un "Tech Lead Data IoT – Java & Cloud" pour un client dans le secteur du retail. Description⚡ Le Contexte Au sein d'une plateforme IoT gérant des millions d'objets connectés (Smart Devices, vélos, équipements sportifs), nous recherchons le Référent Technique Data . Il ne s'agit pas d'un poste de Data Engineer classique qui ne fait que des pipelines, mais d'un rôle de Software Engineer / Tech Lead spécialisé dans le traitement de la donnée. Vous êtes le "Tech Lead Data" unique de la plateforme : vous portez la responsabilité technique et architecturale de tout ce qui touche à la donnée au sein de l'écosystème IoT. 🎯 Votre Mission : Architecturer et Construire le Backend Data Votre rôle est central : vous construisez le moteur qui ingère, traite et structure les événements remontés par les objets connectés. Vous êtes garant de la cohérence de la donnée, du capteur jusqu'au stockage. 1. Développement Backend & Traitement IoT (80-90% du poste) Développement Java : Concevoir et développer les briques Backend chargées du traitement des flux (Temps Réel & Événementiel). Gestion de la complexité IoT : Gérer les problématiques de connectivité instable. Exemple concret : Reconstituer une session de sport ("Ride") complète même en cas de perte de réseau, gérer les règles de début/fin de session automatiquement. Privacy by Design : Intégrer les contraintes RGPD et le respect des consentements utilisateurs directement dans l'architecture de collecte (filtrage à la source, anonymisation). 2. Architecture & Lead Data Référent Technique : Vous êtes le point de contact unique pour toutes les décisions impactant la data sur la plateforme. Conseil & Gouvernance : Vous auditez et conseillez les autres équipes Backend. Si une feature touche à la structure de la donnée, vous intervenez pour valider le modèle. Modélisation : Définir les modèles de données pour garantir leur exploitabilité future. 3. Analytics & Maintenance (10% du poste) Maintenir les flux ETL existants et les jobs d'analytics. Intervenir ponctuellement sur du Spark / Scala pour des besoins de BI ou de Data Science. 🛠 La Stack Technique Un environnement Multi-Cloud et moderne : Cloud Principal : GCP (Google Cloud Platform). IoT : AWS IoT Core (gestion de la flotte et connectivité). Langage Principal : Java (Expertise demandée). Analytics/Data : Databricks , Spark, Scala.

Descriptif du poste En tant que Développeur DataStage, la mission consiste à intégrer les équipes projet du programme de migration vers la nouvelle solution DataFactory, et à contribuer activement à la migration de la solution actuelle vers cette nouvelle plateforme. Ce projet a pour objectif de remplacer la solution actuellement utilisée pour le stockage et le traitement des données comptables et de performance, la plateforme actuelle devant être décommissionnée d'ici 2025. Dans le cadre de la stratégie Data, il a été décidé d'adopter la solution DataFactory, actuellement développée par les équipes IT/ADM. La mission s'inscrit dans un environnement technique large : Technologies actuelles : Spark (Java), Ab Initio, Oozie, MapR… Technologies cibles : DataStage (bientôt NG), PostgreSQL Dans ce contexte, la mission inclut des activités de développement sous IBM DataStage et SQL, ainsi que des tâches d'analyse et d'expertise liées à l'adaptation technologique de la solution. Vous rejoindrez une équipe d'une dizaine de personnes (chef de projet, business analysts, développeurs, scrum master, architectes…) réparties entre Pantin, Lisbonne et Chennai. Responsabilités principales Analyse, développement, tests et intégration sur les technologies du périmètre. Application des bonnes pratiques technologiques et méthodologiques définies. Acquisition d'une expertise fonctionnelle et/ou technique sur les composants clés du portefeuille applicatif. Maintenance et support niveau 3 des applications concernées. Participer au cycle complet de développement (analyse, développement, tests, déploiement) — principalement sur IBM DataStage et SQL. Contribuer à la définition des solutions techniques. Développer et personnaliser les composants de la solution. Participer activement aux sprints en tant que membre de la squad de développement. Garantir la qualité via la réalisation des tests unitaires et d'intégration. Livrer les projets avec un fort souci de qualité et de performance.

Nous recherchons un expert data capable de concevoir, structurer et optimiser des solutions data modernes pour accompagner la croissance et les enjeux business d’une organisation en pleine transformation numérique. Votre rôle sera central : transformer la donnée en levier stratégique, garantir sa qualité et développer les pipelines, modèles et analyses qui permettront aux équipes métiers de prendre de meilleures décisions. 🎯 Livrables & responsabilités Concevoir et mettre en œuvre des solutions data complètes pour répondre aux besoins business. Analyser, interpréter et valoriser des données complexes pour produire des insights actionnables. Travailler avec des équipes pluridisciplinaires (IT, produit, métier, sécurité…) afin d’identifier et résoudre les problématiques data. Développer et maintenir des pipelines de données , des modèles analytiques et des outils de reporting. Garantir la qualité, l’intégrité et la sécurité des données sur tout leur cycle de vie. Fournir une expertise technique et des recommandations pour soutenir la prise de décision data-driven. 🧩 Expertise requise 5 ans d’expérience minimum en data engineering, data analytics ou poste similaire. Expérience solide dans la livraison de solutions data dans des environnements dynamiques. Maîtrise des architectures et technologies data modernes : plateformes cloud (AWS, Azure, GCP), frameworks Big Data, data warehousing. Excellentes compétences en Python, SQL, Spark . Maîtrise de la modélisation de données , des processus ETL et des pipelines de transformation. Expertise sur les outils de visualisation et de reporting : Power BI, Tableau . Connaissance des bonnes pratiques de gouvernance, sécurité et conformité des données.

La prestation consistera à : - Exploiter le socle de data pour mettre en place le pilotage des actions, en construisant des dashboards (Power BI) pour le suivi des profils, le suivi de l’engagement, le suivi des segments RF, le suivi des objectifs - Analyser les profils et comportements des utilisateurs, en mettant en place les analyses des profils de vidéonautes, décortiquant les comportements selon les canaux d’acquisition, les contenus consommés, en analysant l’impact de la pression pub sur nos utilisateurs, … - Mettre en place la data science et l’IA au service de l’amélioration de l’expérience utilisateur et l’amélioration de nos process internes - Prédiction des audiences - Enrichissement du catalogue via l’IAG - Prédiction de l’inactivité, des appétences, … - Segmentations - Expériences en analyses de connaissance clients / utilisateurs du type cycle de vie client, churn, recrutés… - Expériences en data science sur des sujets de type prévision, algo de reco, score d’appétence, anti churn… - Expériences sur des sujets d’ IA Générative - Maitrise SQL indispensable, solides connaissances en Python et/ou Spark - Expériences sur un environnement Google Cloud Platform / Big Query - Bonne connaissance des données et des outils dans un écosystème digital (de type Piano Analytics, Google Analytics..) - Capacité à synthétiser et à restituer des résultats à des interlocuteurs ayant des niveaux de maturité data différent - Capacité à mener plusieurs sujets en même temps - Curiosité, dynamisme, enthousiasme, esprit d’équipe, rigueur et autonomie

CONTEXTE : la Direction Technique a besoin d’être accompagnée sur une prestation d’Architecture Data pour l’ensemble de la Data Platform et des dispositifs associés. MISSIONS Au sein des équipes Data composées de product owners, de data engineers, de data scientists et autres profils, la prestation portera sur l’accompagnement des équipes dans les domaines suivants : · Architecture technique : o Garantir le respect des normes et la cohérence de la stack technique entre les différentes équipes o Contribuer et s’assurer de la mise en place de contrats d’interface entre les différentes équipes o Connaître les standards du marché et assurer une veille technologique o Participer aux tests et à l’introduction de nouvelles technologies o Comprendre et auditer l’architecture existante afin de proposer des améliorations · Developer expérience : o Contribuer à l’écriture de nouveaux modules Terraform o Accompagner les équipes dans leur montée en compétence de l’Infrastructure as Code et des nouvelles technologies o Définir les standards concernant les équipes de développement, en particulier sur la CI/CD · FinOps : o Mettre en place un plan de suivi du budget par équipe o Implémenter les outils de monitoring (alertes, seuils, etc.) o Identifier les optimisations et contribuer à leur priorisation Expertises demandées pour la réalisation de la prestation : · Au moins 3 ans d’expérience en tant qu’Architecte Data dans un environnement data · Compétences solides en data : structures de données, code, architecture · Expériences approfondies des meilleures pratiques des architectures en général et data en particulier · Expérience dans la sécurisation d’application dans le Cloud · Expériences dans un environnement du cloud Google (GCP) · Expériences intégrant BigQuery, Cloud Composer (Airflow) et Dataplex Universal Catalog · Expériences intégrant les langages Python et SQL · Expériences intégrant Spark · Expériences intégrant dbt · Expériences intégrant Terraform et Terragrunt

Responsabilités Unificateur de données : Concevoir, assembler, intégrer, nettoyer et harmoniser de grands jeux de données complexes afin de fournir des insights métier et d’alimenter des expériences de produits data. Agent de sécurité des données : Concevoir et construire des infrastructures de données fiables et scalables en utilisant les meilleures pratiques en matière de confidentialité et de sécurité pour protéger les données. Data Ops : Piloter l’ensemble de la chaîne data de bout en bout, incluant la collecte des événements, la gouvernance des données, les intégrations data et la modélisation. Responsable des données (Data Custodian) : Garantir la cohérence et la qualité de l’environnement technique et de la structure des données à travers des métriques, de la documentation, des processus, des tests de données et de la formation. Si vous possédez tout ou partie des compétences suivantes, n’hésitez pas à postuler Bonne connaissance des services de Cloud Data Warehouse. Une expérience sur Google BigQuery, Snowflake, AWS Redshift/Athena, Looker, Azure SQL DWH ou Azure Databricks est fortement appréciée. Bonne maîtrise des architectures relationnelles et Big Data, de l’entrepôt de données, de l’intégration des données, de la modélisation, de l’optimisation et des techniques d’analyse de données. Expérience dans la construction de pipelines de données de bout en bout sur des plateformes data on-premise ou cloud. Expérience concrète dans la livraison de solutions incluant des bases de données, du SQL avancé et du développement logiciel dans des langages tels que Python. Intérêt marqué et bonnes connaissances des technologies Big Data et de l’écosystème Apache (Beam, Spark, Kafka, Airflow), ainsi que des bases de données, de l’intégration, du master data management, de l’assurance qualité, du data wrangling et des technologies de gouvernance des données. Expérience des plateformes cloud publiques et des infrastructures cloud, indispensable pour le poste. Exposition aux outils ETL/ELT et de gouvernance des données. Intérêt pour les technologies et principes de l’IA et du Machine Learning. Capacité à migrer et transformer de grands jeux de données complexes issus de sources, structures et formats variés, modélisés pour supporter l’analyse et fournir des insights exploitables de qualité. Vous êtes un(e) analyste rigoureux(se) et un(e) excellent(e) résolveur(se) de problèmes, doté(e) d’un esprit de leadership intellectuel et d’une bonne compréhension des enjeux business. Vous êtes parfaitement bilingue français / anglais (poste basé à Paris). Avantages Nous nous engageons à faire vivre notre mission au quotidien, en commençant par offrir des avantages permettant à nos collaborateurs de s’épanouir : Vous bénéficierez d’un package compétitif, adapté à votre expérience, avec de réelles opportunités d’évolution. Nous avons à cœur de vous faire grandir et de vous aider à devenir la meilleure version de vous-même au sein d’une équipe de classe mondiale, composée de personnes brillantes et passionnées. Nous investirons fortement dans votre développement à travers des formations continues et un parcours de développement des compétences personnalisé. Nous valorisons l’initiative et soutenons volontiers les activités de team building ou tout type de formation enrichissante. Il n’existe pas de « sachant unique » : même si nos consultants débutent avec une dominante stratégique/business ou technique, ils sont encouragés à développer ou renforcer leur expertise et leur posture de conseil au fil des missions clients. Nos équipes RH et Staffing assurent un suivi individualisé afin d’aider chacun à devenir la meilleure version de lui-même. Inclusion & Diversité La diversité de nos équipes est au cœur de notre capacité à innover, à croître et à concrétiser notre ambition collective : aider chacun à construire son avenir. La curiosité naturelle, le respect des différences et un état d’esprit tourné vers l’apprentissage et la progression sont particulièrement valorisés.