Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark

Vous intégrerez une équipe Data Science d’envergure (50+ personnes) au sein d’une entreprise tech internationale, leader dans son domaine. Votre mission : prototyper, itérer et mettre en production des modèles de Machine Learning à fort impact business, en étroite collaboration avec les équipes Produit, Data Engineering et Développement. Les projets menés visent à exploiter la richesse de larges volumes de données afin d’ optimiser les performances commerciales, la gestion opérationnelle et la sécurité des utilisateurs sur une plateforme utilisée par des centaines de grandes marques et des milliers de vendeurs dans le monde . Exemples de sujets traités Détection d’anomalies sur les prix ou les comportements vendeurs Analyse de sentiment sur les échanges client / vendeur Estimation des délais de livraison et anticipation des ruptures de stock Développement d’ agents IA pour assister la prise de décision Prédiction et modélisation de phénomènes liés à la supply chain Vos missions Analyser, nettoyer et préparer les données pour la modélisation Concevoir, tester et mettre en production des algorithmes ML / DL Collaborer avec les Data Engineers pour l’industrialisation des modèles Créer des dashboards de suivi et d’analyse de performance Présenter vos travaux en interne et contribuer à la veille scientifique de l’équipe Stack technique Langages & Frameworks : Python, TensorFlow, PyTorch, Keras Data & Cloud : Databricks, Spark, AWS (Redshift, S3), SQL, Airflow, Delta Lake Approches : Time Series, NLP, LLMs, Deep Learning, Heuristiques

Ingénieur DataOps Niort Ordonnanceur (Control M) Confirmé (***) Monitoring (Dynatrace) Élémentaire (*) ETL Powercenter / ELT DBT Élémentaire (*) SQL (Oracle, MySQL, PostgreSQL) Élémentaire (*) Hadoop (HDFS, Spark) Élémentaire (*) Google Cloud Platform (Big Query) Avancé (**) Déploiement continu (Gitlab, Openshift, CICD, Terraform) Avancé (**) Scripts (shell, ksh) Élémentaire (*) Python Élémentaire (*) Certification Agile / DevOps Avancé (**) Jira, Confluence, Easyvista, Google Workspace Élémentaire (*) Certification ITIL Élémentaire (*) Légende : Élémentaire (*), Avancé (**), Confirmé (***), Expert (****) Le Data Office de mon client définit les orientations stratégiques dans le domaine de la donnée et assure l'homogénéité et la performance de l'écosystème Data. L'équipe Data OPS de Services Delivery Data est responsable de l'unification des pratiques d'exploitation, du déploiement continu (Gitlab Cloud & On-Prem) et de l'industrialisation des usages. Des compétences d'autonomie, de force de proposition tout en ayant une bonne connaissance des contraintes de production sont indispensables. Le candidat doit avoir une posture d'amélioration continue. Le poste d'Ingénieur DataOps a pour objectif de garantir la disponibilité, la stabilité et la fiabilité des environnements de la plateforme data. Son rôle se concentre sur l'exploitabilité, l'industrialisation et l'automatisation des services. Les missions principales consistent à : ● Assurer la disponibilité et la stabilité des environnements (Test, Prod). ● Exécuter et superviser l’installation (déploiement, bon démarrage). ● Automatiser les déploiements et les pipelines (CI/CD) dans un but de fluidifier et de fiabiliser la réalisation. ● Collaborer à la mise en place de la supervision incluant la documentation des dépendances. ● Analyser, résoudre les incidents et suivre les plans de remédiation. ● Participer à la définition des Exigences Non Fonctionnelles (sécurité, performance, scalabilité) et s'assurer de leur implémentation en projet et en production. ● Garantir la conformité et la qualité des livrables (tests, documentation) et anticiper les risques. Compétence Niveau Souhaité Ordonnanceur (Control M) Confirmé (***) Monitoring (Dynatrace) Élémentaire (*) ETL Powercenter / ELT DBT Élémentaire (*) SQL (Oracle, MySQL, PostgreSQL) Élémentaire (*) Hadoop (HDFS, Spark) Élémentaire (*) Google Cloud Platform (Big Query) Avancé (**) Déploiement continu (Gitlab, Openshift, CICD, Terraform) Avancé (**) Scripts (shell, ksh) Élémentaire (*) Python Élémentaire (*) Certification Agile / DevOps Avancé (**) Jira, Confluence, Easyvista, Google Workspace Élémentaire (*) Certification ITIL Élémentaire (*) Légende : Élémentaire (*), Avancé (**), Confirmé (***), Expert (****

Au sein de la DSI Corporate d’un grand groupe bancaire, le département Développements Tactiques de la direction Fast Delivery Solutions recrute un Expert Leader Data & IA . Cette direction a pour but de mettre en place des solutions rapides au service de l'ensemble des directions métiers et des fonctions supports, en réponse à des besoins ponctuels ou pérennes. En lien avec les DSI métiers, elle en assure la maintenance et participe à leur éventuelle intégration dans le SI. Pour ce faire, elle met au service des filières métiers une équipe de proximité multi solutions afin de les aider dans leurs travaux ponctuels, la réalisation de POC (Proof Of Concept), de reportings ou bien encore l’automatisation de tâches récurrentes. La mission se situe au sein du département Développements Tactiques qui a pour mission de : Développer des outils en mode commando et en proximité directe avec le métier. Mettre en œuvre des solutions faisant appel à de l’IA générative pour répondre à des besoins métier. Accompagner l’industrialisation de ces solutions dans le parc applicatif des DSI filières. Étudier la possibilité de mise en œuvre de solutions innovantes, au travers d’une veille technologique et d’études d’opportunités. Participer à des évènements et animations de démo ou d’ateliers autour de l’IA ou de la data. L’équipe, actuellement constituée de 19 membres (Data Engineers, Data Scientists et Développeurs FullStack), fonctionne entièrement en mode agile et en proximité avec les métiers. Jeune, dynamique, motivée et très proactive, l’équipe valorise l’entraide et la bonne ambiance. Le candidat devra donc avoir la personnalité permettant de conserver cette dynamique intacte. Les soft skills sont donc autant essentielles que les compétences techniques : bon communiquant, motivé, force de proposition et sociable. Compétences techniques déjà présentes dans l’équipe : Développement autour de l’IA Générative. Développement Python / Pycharm. Développement Front Angular. Développement de cas d’usage IA générative à destination du business. Développement PySpark / Spark / Scala. Connaissance des plateformes Cloud. Mise en œuvre de workflows sous Alteryx. La mission : L’équipe se voit confier un nouveau programme visant à mettre en œuvre un ensemble de Use Cases faisant appel à de l’IA générative ou consistant à automatiser des traitements. Pour faire face à ce nouveau programme, nous souhaitons renforcer nos compétences avec un AI Engineer confirmé Data & IA . Principales missions : Innovation et réalisation de POCs : assurer la faisabilité technique des cas d’usage, développer des POCs autour de projets IA générative, proposer des solutions innovantes (LLM, prompts, RAG, traitement de données complexes). Industrialisation : en collaboration avec la production applicative et les contributeurs DSI, industrialiser les sujets dont les POCs s’avèrent concluants. Expertise Data & IA Générative : leader techniquement les projets, en s’appuyant sur les technologies internes (plateforme cloud, outils IA, modèles de langage type Gemini). Force de proposition : identifier des axes d’amélioration et proposer des solutions innovantes. Partage de connaissances : contribuer à la montée en compétences collective au sein de l’équipe. Suivi des sujets : assurer une communication claire et synthétique au responsable de l’équipe et aux Product Owners.

Almatek recherche pour l'un de ses clients ,Un Data ingénieur sur Massy. Taches: Participation à la définition des solutions applicatives Développement, Intégration et Recette technique Surveiller et améliorer l'efficacité des processus Tenir à jour la documentation des systèmes et des processus. Contexte : Nous recherchons un/une Data Engineer expérimenté(e) pour contribuer à la réalisation des projets de la Squad Usages Data Avancé & IA: Conception et Maintenance de l'applicative Amélioration continue des produits / solutions de la squad Construction nouveaux usages Attendu: Construire et maintenir des pipelines ETL/ELT pour données structurées et non-structurées Mettre en oeuvre des chaines d'intégration, de déploiement et de suivi des solutions en production (DataOps). Préparer des datasets utilisés pour de l'exploration de données Développer et favorise l’industrialisation de modèles statistiques ou de machine learning Versionner données/modèles/code et monitorer performance/coûts Collaborer avec les équipiers de la squad et documenter vos travaux Compétences Humaines: Une bonne autonomie et capacité d'adaptation à des projets innovants et rythmés Sens du travail en équipe bonne communication et accompagnement utilisateurs Compétences Techniques: Langages : Python (FastAPI, Pyspark), SQL Qualité de code : Pytest, SonarQube MLOps/CI-CD : Docker, Kubernetes, GitHub/GitLab Actions Data & DB : PostgreSQL, Teradata, MySQL Observabilité : Stack ELK, Prometheus/Grafana, MLflow Plus si compétence en Big Data/Streaming : Spark, Kafka Experience 4 à 7 ans. Date de debut souhaitée :30 Mars 2026, mission longue

Data Engineer Nantes •Langages de programmation et scripting (ex : SQL, Python, Java, Bash/Shell scripting, …) •Bases de données (ex : Base, Data Warehouse, Data Lake, Data Platform / Lakehouse, …). •Traitement des données (Frameworks Big Data, comme Apache Spark, Pipelines ETL/ELT, Streaming, …) •Cloud Computing (ex : Azure, Concepts cloud, stockage et calcul distribués, …) •Modélisation des données et architecture (ex : Modélisation des données relationnelles et dimensionnelles, modèle en étoile, en flocon, compréhension des architectures Data Lake, Data Warehouse, et Data Platform / Lakehouse, …) •Gestion et optimisation des schémas pour les performances. •DevOps et ingénierie logicielle (ex : outils CI/CD, conteneurs et orchestration, versionnement via Git/GitHub pour le suivi du code source, surveillance et journalisation, …) •Outils de gestion des données et gouvernance (Qualité des données : Vérification des duplications, gestion des erreurs, validation… Gouvernance des données : Connaissance des politiques comme le RGPD, gestion des catalogues, Sécurité des données…) 07/04/2026 Mission longue Ce poste est ouvert à la pre-embauche Le Data Engineer est un expert en gestion des données, qui est chargé de la conception et de la maintenance de l’infrastructure data du périmètre en responsabilité Tâches : Infrastructures de données : •Cartographie et documente les sources de données. •Assure la maintenance des différentes applications données (Data) déployées en production et des infrastructures. •Conçoit les solutions permettant le traitement de volumes importants de flux de données et ceci en toute sécurité. •Structure les bases de données (sémantique, format, etc.). •Contribue à la gestion des référentiels de données. Intégration des données : •Capte et stocke, en toute sécurité, les données (structurées ou non) produites dans les différentes applications ou venant de l’extérieur de l’entreprise. •Assure la supervision et l’intégration des données de diverses nature qui proviennent de sources multiples. Vérifie la qualité des données qui entrent dans la Data Platform et s’assure de leur sécurité. •Nettoie la donnée (élimination des doublons…) et la valide pour une utilisation aval. •Animation des communautés : •Anime la communauté technique qui met en oeuvre les dispositifs prévus ou nécessaires à l’application de la politique de la donnée de l’entreprise. Veille technologique : •Reste en alerte sur les technologies liées au traitement de la manipulation de la donnée et identifie les solutions utilisables. •Propose des évolutions pour les infrastructures et solutions de données en place. Compétences Technique : •Langages de programmation et scripting (ex : SQL, Python, Java, Bash/Shell scripting, …) •Bases de données (ex : Base, Data Warehouse, Data Lake, Data Platform / Lakehouse, …). •Traitement des données (Frameworks Big Data, comme Apache Spark, Pipelines ETL/ELT, Streaming, …) •Cloud Computing (ex : Azure, Concepts cloud, stockage et calcul distribués, …) •Modélisation des données et architecture (ex : Modélisation des données relationnelles et dimensionnelles, modèle en étoile, en flocon, compréhension des architectures Data Lake, Data Warehouse, et Data Platform / Lakehouse, …) •Gestion et optimisation des schémas pour les performances. •DevOps et ingénierie logicielle (ex : outils CI/CD, conteneurs et orchestration, versionnement via Git/GitHub pour le suivi du code source, surveillance et journalisation, …) •Outils de gestion des données et gouvernance (Qualité des données : Vérification des duplications, gestion des erreurs, validation… Gouvernance des données : Connaissance des politiques comme le RGPD, gestion des catalogues, Sécurité des données…) Compétences Métier : •Compétences analytiques et mathématiques (Compréhension des statistiques pour interpréter les données et aider les équipes de Data Science, Familiarité avec les bases de l’apprentissage automatique et des modèles d’IA, …). •Résolution de problèmes : Capacité à identifier des inefficacités et à proposer des solutions. •Communication : Présentation claire des concepts techniques à des publics non techniques. •Adaptabilité : Apprendre rapidement de nouvelles technologies dans un domaine en constante évolution

Le chantier Cockpit a pour objectif de construire des outils de pilotage afin d'assister dans la prise de décision. Dans ce chantier, le Design System DataViz a été construit avec l'objectif de rendre les informations complexes accessibles et exploitables grâce à une visualisation claire et intuitive. La construction du Design System DataViz est au coeur de la construction des outils de pilotage (chantier Cockpit). Il s'agit de construire un langage commun pour l’ensemble des métiers en standardisant les éléments design et les composants visuels Power BI. Contenu détaillé de la prestation : Vous allez travailler étroitement avec le directeur de projets Design System DataViz, les équipes Data et les métiers. Le but de la prestation consiste à l'accompagnement UX/UI design dans la production DIRECTION DES SYSTEMES D'INFORMATION Le but de la prestation consiste à l'accompagnement UX/UI design dans la production et livraison d'éléments design et graphiques, de composants Power BI dessinés dans le cadre du design system DataViz, de maquettes Power BI. - Comprendre les besoins et les enjeux à piloter - Comprendre les connaissances nécessaires pour le pilotage et la décision - Traduire les besoins/enjeux en conception et en design en s'appuyant sur le design system actuel Par exemple : o Mettre en place les scénarisations des KPI o Mettre en place la hiérarchisation visuelle par typographie et graphique o Mettre en place les filtres interactifs… - Concevoir / produire les éléments de design pour répondre au besoin conception - Produire / enrichir / standardiser le design system - les éléments design pour conception (ex: palette de couleurs contrastées, encadrés et pictogrammes, graphiques enrichis et dessinés…) - Produire / faire évoluer / enrichir / standardiser le design system es composants Power BI pour Dashboard - Maintenir / faire évoluer / produire la bibliothèque design system conception (éléments design) - Maintenir / faire évoluer / produire la bibliothèque design system Power BI (composants PBI dessinés) - Produire les maquettes Power BI Attentes pour la prestation • Conception / réalisation des outils de pilotage pour les différents enjeux / métiers • Réalisation des éléments design • Réalisation des éléments Power BI dessinés • Réalisation des maquettes / reportings PBI dynamiques • Enrichissement et gestion de nos dictionnaires design system • Rédaction des cahiers des charges, spécifications fonctionnelles et techniques nécessaires • Garant de la qualité de réalisation Le(la) consultant(e) va travailler sur les environnements (Figam, PowerBI, Azure, Databricks, SQL, …) co-managé par les équipes Data Factory ainsi que les équipes DCLD (direction client digital). Livrables • Design system – éléments de conception UIUX • Design system – composants Power BI dessiné • Reportings/Maquettes Power BI dynamique • Cahiers des charges / CR / Dictionnaires • Présentation / Documentation Technique • Figma • Power BI / DAX • Cloud Azure • Databricks • SQL • Python, Spark, Scala • Spyder…