Find your next tech and IT Job or contract PySpark

Contexte Équipe IT Data Management & BI – Squad Big Data & API. Le data lake “ESG” sert de plateforme de données pour des équipes IT et métiers. La mission peut évoluer vers d’autres squads Data selon les besoins. Missions Assurer le rôle de Data Engineer et développeur d’API au sein de la squad. Exploitation/production : supervision des traitements, corrections, optimisation des performances. Gestion de la dette technique : refactor, qualité, sécurité. Architecture : revue de l’existant et propositions d’évolutions . Développements projets : pipelines de données et APIs d’exposition.

Nous recherchons un(e) Ingénieur(e) en Intelligence Artificielle / Data Scientist pour structurer et porter nos projets IA, en collaboration étroite avec les équipes R&D, produit et en réponse aux besoins clients. Vous intégrez une équipe Tech d’une vingtaine de personnes, organisées en squads produits, et serez impliqué(e) sur l’ensemble du cycle de développement, aux côtés des Tech Leads et Architectes, avec une réelle influence sur les choix d’architecture. Selon vos envies, vous pourrez aussi contribuer aux comités transverses R&D (technique, agile, innovation...). Projets en cours : Analyse automatique de documents réglementaires (NLP + NER) Génération automatisée de workflows, formulaires et rapports intelligents Intégration d’agents IA dans l’interface utilisateur Déploiement de moteurs de recherche sémantique (RAG hybride, reranking, vector search…) Stack technique : IA / Data : Python, Pandas, Scikit-learn, Hugging Face, FastAPI, OpenAI API, PyTorch, TensorFlow (ouvert à d’autres outils) Bases de données : MariaDB, PostgreSQL, MongoDB, Elasticsearch, bases vectorielles (Chroma, Activeloop…), graphes (Neo4J…) DevOps : Docker, Swarm > Kubernetes, GitLab CI/CD Environnement général : PHP / Symfony, Vue.js 3 / TypeScript, Jira, Confluence, architecture microservices Profil recherché : Diplôme Bac+5 en informatique, mathématiques appliquées, IA ou équivalent (école d’ingénieur ou université) Minimum 3 ans d’expérience en Data Science, modélisation et intégration technique, avec idéalement des projets IA à votre actif Compétences techniques essentielles : Maîtrise avancée de Python et des principaux outils IA, Data Science, Machine Learning Bonne compréhension des enjeux liés aux produits SaaS BtoB (performance, robustesse, monitoring) Solides compétences en SQL et gestion de bases relationnelles Maîtrise des bases de données vectorielles (Chroma, Activeloop…) et techniques d’embedding (Word2Vec, GPT…) Connaissance des techniques NER, embeddings, chain of thought, RAG, function calling… Familiarité avec les environnements cloud (Azure, Google Cloud, AWS) Atouts supplémentaires : Connaissance des éditeurs de code assisté par IA (Cursor, Github Copilot) Expérience avec les bases orientées graphes (Neo4J, OrientDB…) Connaissances web PHP / Symfony / Vue.js / TypeScript Vous souhaitez relever des challenges techniques ambitieux et rejoindre une équipe dynamique au cœur d’un projet innovant ? Ce poste est fait pour vous !

Nous recherchons un ingénieur Big Data confirmé pour intervenir sur une plateforme Datalake de grande envergure. Vous apporterez votre expertise technique sur l’exploitation et l’évolution d’un écosystème Big Data complexe et moderne, et contribuerez à son maintien en condition opérationnelle ainsi qu’à son amélioration continue. Vos principales missions : Assurer le maintien en conditions opérationnelles de la plateforme Big Data (MCO, incidents, demandes projets/utilisateurs). Contribuer à l’ implémentation et à l’automatisation des solutions. Réaliser et suivre les mises en production . Participer à l’ amélioration continue des outils et processus d’exploitation. Communiquer et accompagner les utilisateurs finaux. Produire les livrables attendus : Récapitulatif mensuel des tickets traités (incidents, demandes). Statut bimensuel des projets en cours.

Pour l’un de nos clients grands comptes, nous recherchons un Data Engineer confirmé maîtrisant Spark, Hadoop, Scala , pour intégrer une Squad data transverse. L’objectif de la mission est d'assurer un rôle de Data Engineer & développeur API , avec les responsabilités suivantes : Suivi et gestion de la production Réduction de la dette technique Évolution de l’architecture existante et proposition d’améliorations Développements projets et intégration dans les pipelines Possibilité d’évolution vers d’autres Squad Data selon les besoins Activités principales Acheminement, traitement et mise à disposition des données Industrialisation des traitements data Mise en production de modèles statistiques Suivi de projet, développement de jobs Spark Ingestion multi-format (batch & streaming) Développement de scripts et API de restitution Génération de Dashboard ou fichiers à destination des équipes métier Participation à la conception et administration de solutions Big Data Installation, configuration de clusters Hadoop Intégration Spring Boot pour extraction depuis Teradata → Kafka → Data Lake

Nous recherchons un(e) Data Engineer expérimenté(e) pour renforcer notre équipe data et prendre un rôle clé dans la conception, l’industrialisation et la mise en production de nos pipelines et services de données. Le poste s’adresse à un profil autonome, passionné par les bonnes pratiques de développement , capable de challenger les architectures existantes et de proposer des solutions robustes et scalables . 🧩 Missions principales Concevoir, développer et optimiser des pipelines de données performants, scalables et résilients . Encadrer et accompagner techniquement les équipes sur les choix d’architecture et de stack technologique . Déployer et orchestrer des traitements distribués (PySpark, AWS Glue, Airflow). Concevoir et exposer des APIs de données (via AWS API Gateway / Lambda). Industrialiser les environnements via Terraform et des pipelines CI/CD (GitLab, Jenkins…). Garantir la fiabilité, la performance et la sécurité des flux et services de données. Mettre en place du monitoring et de l’alerting pour la supervision des traitements. Contribuer à la diffusion des bonnes pratiques (tests, code review, documentation, CI/CD). Participer à la formation et au mentoring des ingénieurs juniors. 📦 Livrables attendus Schémas et modélisation des structures de données . Pipelines industrialisés et interconnectés avec les assets produits. Mise à disposition de la data vers des systèmes externes (APIs, exports, injections). Documentation technique et dashboards de suivi. Solutions conformes aux exigences RGPD / Data Privacy / éco-conception . Mise en place du monitoring et alerting en production. Contribution à l’ usine logicielle (intégration continue, tests automatisés, déploiements). Présentation régulière des réalisations techniques aux équipes métiers et produit. 🧠 Compétences techniques requises (Must Have) Python (expert). PySpark et Pandas (traitement et transformation de données). AWS (Glue, Lambda, API Gateway, ECS, IAM). Terraform (infrastructure as code). CI/CD (GitLab, Jenkins ou équivalent). Observabilité et supervision (logs, metrics, alerting). Pratiques de code propre, testé et documenté . 🌱 Compétences appréciées (Nice to Have) Airflow pour l’orchestration des jobs. AWS SageMaker pour le déploiement ou l’entraînement de modèles IA. Sensibilité MLOps et DataOps . Connaissance des standards de l’éco-conception et de la sécurité des données . Expérience en mentorat technique ou lead technique data .

Rejoignez notre équipe innovante Data Fabric et jouez un rôle moteur dans l'élaboration des infrastructures de données de nouvelle génération. Nous construisons des Platform Data & Data Market Place complexes, nécessitant des solutions d'ingénierie robustes et scalables. Votre expertise sera déterminante pour transformer les données brutes en Data Products fiables et gouvernés, directement exploitables par l'entreprise. 🎯 Vos Missions Principales Conception et Développement des Pipelines : Concevoir, coder et optimiser des pipelines de données ETL/ELT (Batch et Streaming) utilisant Spark et les langages Scala et/ou Python . Implémenter des solutions de traitement et de transformation sur Databricks (Delta Lake) et/ou Snowflake . Industrialisation DataOps : Mettre en œuvre les pratiques DataOps et DevOps (CI/CD, tests automatisés, monitoring) pour automatiser et fiabiliser le déploiement des Data Products . Gérer et optimiser les ressources et l'infrastructure Big Data sur les environnements Cloud (AWS et/ou Azure) . Architecture et Expertise : Contribuer activement à l'évolution de l'architecture Data Fabric et à la modélisation des données. Garantir la performance, la qualité et la sécurité des données au sein de la Data Market Place . Collaboration : Travailler en étroite collaboration avec les équipes métier, les Data Scientists et l'IT pour assurer l'alignement des solutions techniques avec les objectifs business. ⚙️ Environnement et Compétences Techniques Requises Big Data & Processing (Expertise Indispensable) : Maîtrise d' Apache Spark (Scala ou Python/PySpark). Expérience solide avec Databricks et/ou Snowflake . Cloud Computing : Excellente connaissance d'au moins un des fournisseurs : AWS (S3, EMR, Kinesis, Glue) ou Azure (ADLS, Synapse Analytics, Azure Databricks). Langages : Expertise en Python ou Scala . Une connaissance de Java est un plus. Maîtrise du SQL . Industrialisation : Solide expérience en DevOps/DataOps (Git, CI/CD). Connaissance des outils d'infrastructure as Code (Terraform, CloudFormation) et de conteneurisation (Docker, Kubernetes) appréciée. LES + : Power BI, Talend Exemple de mission : · Évaluer les solutions techniques, · Garantir la performance et la disponibilité des plateformes data, · Implémenter et Orchestrer les pipelines de données, · Contribuer à l’amélioration de la qualité des données en synergie avec les équipes techniques, produits et métiers (définition des métriques, déploiement et monitoring des indicateurs, implémentation des règles du contrôle d’accès, documentation), · Participer au programme de migration de données et de modernisation des plateformes data (stockage et stratégie de data Lake, bases de données, SAP S4/HANA modules SD, MM, FI, SCM).

Tâches : - Développer et réaliser de nouvelles fonctionnalités/usages définis et priorisés (user stories) au sein de l’équipe client, tout en respectant les règles de gestion et les critères d’acceptation associés. Contexte Equipe de 12 personnes composée d'un PO et d'un Scrum Master, a pour objectif de constituer une vision 360 des clients en temps réel afin de servir des usages digitaux communautaires. En plus de contribuer pleinement aux enjeux majeurs de modernisation du système d’information Marketing. L'équipe assure aussi au quotidien le bon fonctionnement de produits à valeur ajoutée L’équipe évolue dans un cadre Scrum basé sur les valeurs et pratiques agiles. Attendu : Contribuer et recueillir les besoins - Définir les architectures des solutions avec le reste de l’équipe - Fabriquer et tester les solutions en mettant l'accent sur l'automatisation des tests - Déployer dans les différents environnements - Garantir le bon fonctionnement en production - Accompagner l’évolution des pratiques de l’équipe dans une logique d’amélioration continue de la qualité du code

Bonjour, Pour le compte de notre client nous recherchons un TECH LEAD BIG DATA Le domaine d’intervention du Tech Lead Data Engineering comprend les études, l’architecture du SI Big Data, le choix des solutions et outils, le pilotage technique du Build et du Run. Comme référent technique Big Data, vous assurez le lead technique de l’équipe de développeurs, avec en responsabilité, la conception et la mise en œuvre des solutions Big Data, ainsi que le pilotage technique de projets. Sous la responsabilité du responsable du SI Big Data, vous piloterez techniquement les activités de Data Engineering : - étude et prise en compte des besoins de traitement de la data, - gestion des priorités et de la cohérence des besoins, - choix des outils et solutions - conception et mise en œuvre des architectures de données évolutives et performantes, sécurisées et résilientes - direction et encadrement technique d’une équipe de data ingénieurs composée d’intervenants externes : suivi, support, adoption des bonnes pratiques de développement sécurisé - suivi de la qualité, de la sécurité des données et des traitements, de la performance opérationnelle des traitements - participation et support au delivery nécessitant l’expertise technique et data - veille technologique pour rester à l’état de l’art en matière de traitement massif des données, et d’utilisation de l’IA pour l’automatisation, la prédiction, la génération de data et de code. - support des équipes Data Science et R&D sur le cycle de déploiement/optimisation et industrialisation des solutions d’IA - conception et mise en place d'API pour l'intégration des solutions Big Data avec d'autres systèmes, - développement et intégration de modèles d'IA générative pour des applications spécifiques, - assurer la maintenance et l'évolution des API et des modèles d'IA générative.

En tant que Data Engineer Databricks, nous vous proposons d’intégrer une équipe d’ingénieurs expérimentés et multi-compétentes. Au sein de nos clients issus de différents secteurs d'activité (Industrie, Services, Transport, Logistique, Banque, Assurances, Énergie), vous jouez un rôle clé dans la migration des données et des tâches de l'environnement Cloudera vers Databricks. Vous êtes également chargé d'automatiser le déploiement des jobs via le CI/CD. Pour réussir ces différents challenges, nous vous proposerons des actions de formation, des parrainages, des certifications sur les outils concernés et un dispositif d’évaluation personnel régulier.

• Au moins 3 ans d’expérience en tant que Data Ingénieur dans un environnement data • Compétences solides en data : structures de données, code, architecture • Expériences dans la conception et la réalisation de pipelines data • Expériences dans un environnement du cloud Google (GCP) • Expériences intégrant BigQuery • Expériences intégrant les langages Python et SQL • Expériences intégrant PySpark • Expériences intégrant Terraform et Terragrunt • Expériences intégrant Gitlab et Gitlab CI/CD • Expériences intégrant les méthodologies Agile : Scrum ou Kanban • Capacité à vulgariser et à communiquer sur des aspects purement techniques 1 . Déployer les cas d’usages en lien avec la personnalisation de l’expérience utilisateur 2. Accompagner les utilisateurs dans leurs usages 3. Mettre en place le contrôle qualité sur ces datasets

La mission va se dérouler au sein de l'IT Data Management & BI dans l'équipe Big Data & API / Squad CCO qui aujourd'hui gére l'Entrepôt des données client de la CIB à travers l'application INDIXIS utilisée par les équipes IT et métiers. L'objectif de la mission est de renforcer l'équipe avec un rôle de Développeur / Data Engineer orienté DevOps au sein de la Squad : - Gestion de la production - Gestion de la dette technique - Revoir l'architecture actuelle et proposer des évolutions - Développements liés aux projets Concrètement : la mission principale de la prestation aura pour but de : - traiter nos obsolescences de Framework (ex : springboot , spark2 ) - moderniser et industrialiser nos pipelines de build en intégrant les bonnes pratiques devsecops : - migration depuis tfs vers jenkins - création directe sur jenkins Le but étant d'optimiser notre code , d'assainir et d'automatiser nos déploiements via xldéploy. Le code concerne nos apis et nos process de transformation hadoop/spark ( en java , python ) Expertises spécifiques : - Spark / PySpark /Python / Java / SpringBoot / .net - Hadoop sur infra on premise - Hive / SQL/HQL - Unix/Bash - Pipeline CI/CD jenkins - XLDeploy/XLRelease - Control-M - API

Bonjour, Pour l’un de mes clients, je recherche un Consultant Microsoft Fabric Rôle : Concevoir, intégrer et optimiser les flux de données sur la plateforme Microsoft Fabric . Structurer OneLake, Synapse, Data Factory , créer et maintenir les référentiels, améliorer la qualité des données et collaborer avec les équipes BI sur les modèles de reporting. Compétences clés : Microsoft Fabric, Azure (Synapse, Data Factory, Databricks, Event Hub, OneLake), ETL, Data Lake / Lakehouse, modèle Médaillon, SQL, Python (PySpark), Power BI, intégration inter-applicative, reporting BI. Profil recherché : Expérience confirmée sur Azure et ADF, bonne maîtrise des architectures Data Lake / Lakehouse. Personne rigoureuse, organisée, avec un bon esprit d’équipe, capable de documenter et vulgariser les traitements. Si vous êtes intéressé et que votre profil correspond, merci de postuler avec votre CV à jour . Je reviendrai vers vous rapidement.

Ingénieur Data Confirmé – Databricks / Hadoop / Scala / Kafka (secteur Énergie) 📍 La Défense (92) | 🏠 10 jours de télétravail / mois | 🗓️ Démarrage : novembre 2025 | ⏱️ Mission longue durée Contexte Dans le cadre du renforcement d’un pôle Data stratégique au sein d’un grand acteur du secteur de l’énergie, nous recherchons un Ingénieur Data confirmé pour accompagner la migration d’une plateforme Hadoop open source vers Databricks et Snowflake . Le projet est en pleine expansion, avec une montée en charge prévue jusqu’à 7 collaborateurs. Vos missions Participer à la migration des traitements Hadoop/Scala vers Databricks et Snowflake Concevoir et industrialiser des pipelines data performants et maintenables Optimiser les traitements Spark (Scala/PySpark) Mettre en œuvre des bonnes pratiques DataOps / CI-CD Accompagner la montée en compétence des équipes internes Environnement technique Hadoop (HDFS, Yarn, Hive), Spark, Scala, Kafka, Databricks, Snowflake, Azure Data Factory, Terraform, dbt Profil recherché Solide expérience sur Hadoop full open source, Spark et Scala Bonne maîtrise de Kafka pour les traitements en streaming Expérience sur Databricks et/ou Snowflake Connaissance d’un environnement cloud (idéalement Azure) Autonomie, rigueur, esprit d’équipe et force de proposition Informations pratiques Localisation : La Défense (2 jours sur site / semaine) Télétravail : 10 jours par mois Démarrage : début novembre 2025 Durée : mission longue, renouvelable

Vos missions Concevoir, construire et maintenir des pipelines de données robustes et scalables (batch & stream). Participer à la mise en production et à la qualité des datasets liés à la personnalisation des contenus. Industrialiser les traitements avec Airflow, Terraform et Terragrunt. Garantir la qualité et l’intégrité des données (tests, monitoring, alerting). Optimiser les performances et la structure des données dans BigQuery . Participer à la gouvernance Data : documentation, bonnes pratiques, CI/CD, sécurité. Collaborer avec les équipes Data pour les aider à exploiter et requêter efficacement la donnée. Assurer la veille technologique sur les outils Data & Cloud. 🛠️ Stack technique Langages : Python, SQL, PySpark Cloud : Google Cloud Platform (BigQuery, Cloud Storage, IAM) Orchestration : Airflow Infra as Code : Terraform, Terragrunt CI/CD : GitLab CI Méthodologie : Agile / Scrum / Kanban

Contexte Nous recherchons un Développeur Senior possédant une double expertise en Développement Backend et en Ingénierie des Données, pour intégrer une équipe dédiée à l’Observabilité. Le consultant interviendra dans un environnement Azure et DevOps, avec un fort enjeu de fiabilité, performance et gouvernance des données. Localisation et modalités Lieu : Levallois-Perret Hybridation : 2 à 3 jours sur site / semaine Durée : engagement long terme (jusqu’à 3 ans) Démarrage : 13/10/2025 Fin prévue : 12/10/2026 Seniorité : +8 ans d’expérience minimum Missions et Responsabilités Développement Backend Concevoir, développer et maintenir des services backend (Python, PySpark). Exposer des APIs et intégrations orientées Observabilité. Data Engineering Construire et orchestrer des pipelines ELT/ETL robustes (Airflow, Spark, Python). Assurer la qualité, le lineage, la sécurité et l’observabilité des données. Stockage & Visualisation Gérer les données via PostgreSQL, Azure Blob Storage et ADLS. Créer des dashboards avancés avec Grafana pour la supervision des performances. Collaboration & Méthodologie Travailler avec les équipes de développement et le Product Owner (Agile/Scrum). Intégrer les pratiques d’observabilité dans les cycles de développement pour améliorer résilience et visibilité. Compétences techniques requises Langages : Python, PySpark, SQL, NoSQL (ElasticSearch). Data & orchestration : Spark, Airflow, PostgreSQL, ADLS, Azure Blob Storage. Observabilité : ELK Stack, Logstash, Azure Log Analytics (KQL), Grafana. Cloud & Infrastructure : Azure (AKS, Azure Functions, Event Hub, Delta Lake). CI/CD : GitHub Actions, intégration et déploiement continus. Bonus : Kafka, Spark Structured Streaming. Qualifications & Profil Diplôme en informatique/ingénierie ou équivalent. Expérience : 6+ ans en Data Engineering / Développement backend (dont plusieurs en environnement Azure & DevOps). Langues : Français et Anglais courants (écrit et oral). Résumé Mission longue (1 à 3 ans) sur Levallois-Perret, orientée sur le développement backend et l’ingénierie de données pour renforcer l’observabilité des systèmes critiques.