Find your next tech and IT Job or contract Apache Spark

Concevoir, développer et maintenir des pipelines de données robustes et scalables (batch et streaming). Participer à la mise en place et à l’optimisation de la plateforme Big Data (Hadoop/Spark). Intégrer, transformer et nettoyer des données issues de différentes sources (API, bases relationnelles, fichiers plats, etc.). Collaborer étroitement avec les Data Scientists et Data Analysts pour la préparation et la mise à disposition des datasets. Contribuer aux bonnes pratiques de développement, d’automatisation (CI/CD), et de gestion de la qualité des données. Assurer la documentation technique et la maintenance des flux existants. Participer à la montée en compétences de l’équipe interne sur les outils Big Data.

Dans le cadre du renforcement de notre capacité de support sur une nouvelle offre Data, nous recherchons des prestataires spécialisés dans l’exploitation et le support de ces plateformes. La prestation visera à : · Assurance de support de niveau 2 en production des plateformes mentionnées (PROD). · Intervention dans la gestion des incidents, l’analyse des root causes et la résolution. · Participation à l’optimisation des traitements Spark sur Kubernetes (tuning, configuration, dimensionnement), à l'optimisation de l'orchestration Airflow, à la gestion des catalogues Starburst · Accompagnement des équipes métiers dans l’utilisation efficace et sécurisée des plateformes. · Contribution à la documentation et à l’amélioration continue de l’écosystème d’exploitation.

🏭 Secteurs stratégiques : Banque d’investissement PAS DE FULL REMOTE NI SOUS TRAITANCE MERCI 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département a lancé un programme stratégique, qui comporte plusieurs projets d'harmonisation des processus et outils. L'un de ces streams a pour vocation de constituer un datalake sur une stack Hadoop, afin de servir les besoins en data et reporting. Ce datalake a également pour vocation de devenir la brique centrale de l'architecture du SI . Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par les données, capable de s’adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. 🤝Principales missions : Les tâches suivantes seront confiés au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme • Eventuellement mettre en œuvre une couche d'APIs afin d'exposer nos données

Contexte du poste Rejoignez notre Centre d'Excellence Digital au sein d'une entreprise leader dans le secteur de la distribution. Basée à Chatillon, notre équipe est à la pointe de la transformation numérique, en particulier sur les projets de données et d'analytics visant à optimiser les performances commerciales de nos points de vente. Dans un contexte d'industrialisation accélérée et d'organisation agile, nous recherchons un Tech Lead Data Engineer pour renforcer notre équipe Data Lab. Votre rôle est crucial dans des projets ambitieux destinés à concevoir et déployer des produits analytiques innovants pour l'ensemble des fonctions métiers. Ce poste est à pourvoir dans une optique de prolonger notre croissance et d'accompagner notre transformation digitale. Missions Principales Missions : Assurer un leadership technique auprès des équipes de développement et coordonner les activités autour de Databricks, Spark et Azure. Conseiller et accompagner les parties prenantes dans la traduction des exigences stratégiques en solutions techniques sécurisées, scalables et fiables. Réaliser la conception technique des applications, des échanges et garantir la qualité des livrables tout en veillant à réduire la dette technique. Faire de la veille technologique et participer activement aux proof-of-concepts (POCs). Missions Annexes : Enrichir la communauté Data Engineers via le partage de connaissances. Participer aux phases de développement et aux tests des solutions.

Au moins 5 ans d’expérience en tant que Tech Lead. Principales missions : - Assurer un leadership technique auprès des équipes de développement. - Conseiller les parties prenantes et traduire les exigences stratégiques en architectures Azure et Databricks sécurisées, scalables et fiables. - Participer activement aux phases de conception, développement et tests. - Porter la vision technique au sein des équipes Agile. - Garantir la qualité des livrables et veiller à la réduction de la dette technique. - Réaliser la modélisation des données. - Assurer une veille technologique et participer aux POCs. - Enrichir la communauté des Data Engineers par le partage de connaissances et la promotion des bonnes pratiques.

Qui sommes-nous ? Anafi Consulting est un cabinet de conseil basé à Paris, spécialisé dans l’accompagnement des transformations technologiques et organisationnelles. Nous intervenons auprès de grands comptes dans les domaines de la finance, de l’IT, des télécommunications et de l’énergie , sur des projets à fort impact stratégique. Nos expertises couvrent le Cloud, le DevOps, la Data, la sécurité , et la conduite du changement . Dans le cadre d’un projet de modernisation d’infrastructures Cloud et Data, nous recherchons un(e) Architecte Solutions Cloud AWS expérimenté(e) . Vous interviendrez sur la conception, l’implémentation et la gouvernance de solutions Cloud, tout en accompagnant les équipes internes dans l’adoption des bonnes pratiques AWS et Data Management. Votre rôle combinera expertise technique, accompagnement au changement et acculturation Cloud auprès d’équipes d’architectes et de développement. Vos missions principales Concevoir et faire évoluer des architectures Cloud AWS sécurisées, performantes et évolutives. Participer à la conception de solutions hybrides permettant la réversibilité et la consommation de données entre cloud et on-premise. Déployer et accompagner des solutions Data Management sur AWS (Snowflake, Starburst, Minio, Apache Spark). Fournir expertise et conseil sur les bonnes pratiques AWS et l’optimisation des investissements cloud. Réaliser et présenter les dossiers d’architecture auprès des instances de gouvernance. Acculturer et former les équipes internes sur les services et principes fondamentaux d’AWS. Participer à l’ implémentation et au déploiement des solutions conçues. Promouvoir les principes d’ architecture résiliente , la culture DevOps et les méthodes Agile

Contexte de la mission Dans le cadre du programme de modernisation de la plateforme data du Groupe, vous rejoignez la direction Data Engineering de la DSI Banque de Proximité et Assurance (BPA) en tant que Lead Data Engineer spécialisé en streaming. Vous serez responsable de la conception, de l’industrialisation et de l’optimisation des pipelines de données temps réel, en lien avec les enjeux métiers autour de la fraude, de la connaissance client, et de la supervision des parcours digitaux. Vous encadrerez une équipe de 3 à 5 data engineers et collaborerez étroitement avec les architectes, les data scientists et les équipes cloud. Stack technique & environnement Streaming & ingestion : Apache Kafka (Confluent), Kafka Connect, REST Proxy Traitement temps réel : Apache Spark Structured Streaming, Apache Flink (POC en cours) Orchestration : StreamSets, Airflow Cloud & stockage : Google Cloud Platform (BigQuery, Cloud Storage), Hadoop (legacy) Langages : Python, Scala, SQL CI/CD & Infra : GitLab CI, Terraform, Docker, Kubernetes (GKE) Monitoring : Grafana, Prometheus, Elastic Stack

Contexte : Nous recherchons un Data Engineer / Data Manager senior pour un projet stratégique autour de l’automatisation des processus de production liés à l’actuariat et au Risk Management. L’objectif est de simplifier et industrialiser les traitements de pré et post-processing d’un outil de projection, actuellement très manuel et dispersé sur plusieurs outils. Missions principales : Concevoir et développer une solution intégrée dans Databricks pour automatiser la préparation et le traitement des données. Créer une interface utilisateur (via Streamlit, Gradio ou Dash) permettant de : Consulter, modifier et versionner les hypothèses avec workflow de validation. Orchestrer et automatiser les jobs de pré/post-processing. Sécuriser et tracer les échanges d’inputs/outputs (qualité, audit). Gérer le stockage des données dans des tables Delta avec schémas typés et versioning. Assurer la gestion des accès et le suivi de la qualité des données.

Vous rejoindrez notre Data Factory dont la mission est de concevoir et de déployer des produits analytiques innovants à destination des magasins, des fonctions support, de la logistique et des consommateurs. Face à la montée en puissance des besoins, nous avons adopté une organisation Agile en Domaines/Squads, avec une forte volonté d’industrialiser nos pratiques pour accélérer les livraisons tout en valorisant notre patrimoine de données. En tant que Tech Lead Data Engineer, vous serez impliqué dans les phases de design des applications et garant de la solution technique. À ce titre, vos principales responsabilités seront : Assurer un leadership technique auprès des équipes de développement. Conseiller les parties prenantes et traduire les exigences stratégiques en architectures Azure et Databricks sécurisées, scalables et fiables. Participer activement aux phases de conception, développement et tests. Porter la vision technique au sein des équipes Agile. Garantir la qualité des livrables et veiller à la réduction de la dette technique. Réaliser la modélisation des données. Assurer une veille technologique et participer aux POCs. Enrichir la communauté des Data Engineers par le partage de connaissances et la promotion des bonnes pratiques. 2. Compétences Techniques Requises Nous recherchons un profil senior avec une expérience d’au moins 2 ans en tant que Tech Lead et une certification sur Spark ou Databricks sont exigées. Compétence Expérience minimale demandée : Data Engineering 5 ans Azure 3 ans Architecture Lakehouse 3 ans Databricks 5 ans Spark 5 ans SQL, Python 5 ans Scala 2 ans CI/CD, Azure DevOps 5 ans

Nous constituons un vivier de freelances spécialisés en data engineering pour anticiper les besoins de nos clients sur des projets Big Data et Cloud. Nous recherchons des Data Engineers expérimentés sur Spark et Scala, capables d’intervenir rapidement sur des missions à Nantes et Rennes, dans des contextes variés (banque/assurance, industrie, retail, services). En tant que Data Engineer Spark / Scala, vos missions pourront inclure : Conception et développement de pipelines de données : ingestion, transformation, nettoyage et enrichissement de données massives. Développement d’applications distribuées avec Apache Spark (Batch et Streaming) en Scala. Industrialisation des traitements Big Data : optimisation des performances, gestion des volumes importants, parallélisation. Mise en place d’architectures data : Data Lake, Data Warehouse, solutions temps réel. Intégration Cloud : déploiement et utilisation des services Big Data sur AWS, Azure ou GCP (EMR, Databricks, Synapse, BigQuery, etc.). Tests, qualité et fiabilité : mise en place de bonnes pratiques de développement (CI/CD, tests unitaires et fonctionnels). Sécurité et conformité : respect des normes RGPD et bonnes pratiques de gouvernance des données. Documentation et partage : rédaction des spécifications techniques, bonnes pratiques et transmission de compétences aux équipes internes. Collaboration transverse : travail étroit avec les Data Scientists, Data Analysts, Product Owners et Architectes pour répondre aux besoins métiers.

Bonjour, Pour le compte de notre client, nous recherchons un Data Engineer – Microsoft BI (SSAS) & Spark/Scala Au sein de l'équipe data / BI, vous interviendrez sur des projets stratégiques liés à la gestion, la transformation et la valorisation de la donnée. L’objectif de la mission est d’accompagner la Direction Financière à sortir d’Excel et aller vers Power BI. Pour cela, le data eng travaillera en binôme avec un PO pour comprendre l’existant et réaliser cette bascule. Vous aurez un rôle clé dans le développement, l'optimisation et la modélisation de traitements data complexes, avec un focus particulier sur la mise en place et la maintenance de cube tabulaires. Développement et intégration Optimisation Modélisation des données Recueil et analyse des besoins Documentation et support.

Nous constituons un vivier de freelances spécialisés en data engineering pour anticiper les besoins de nos clients sur des projets Big Data et Cloud. Nous recherchons des Data Engineers expérimentés sur Spark et Scala, capables d’intervenir rapidement sur des missions à Nantes et Rennes, dans des contextes variés (banque/assurance, industrie, retail, services). En tant que Data Engineer Spark / Scala, vos missions pourront inclure : Conception et développement de pipelines de données : ingestion, transformation, nettoyage et enrichissement de données massives. Développement d’applications distribuées avec Apache Spark (Batch et Streaming) en Scala. Industrialisation des traitements Big Data : optimisation des performances, gestion des volumes importants, parallélisation. Mise en place d’architectures data : Data Lake, Data Warehouse, solutions temps réel. Intégration Cloud : déploiement et utilisation des services Big Data sur AWS, Azure ou GCP (EMR, Databricks, Synapse, BigQuery, etc.). Tests, qualité et fiabilité : mise en place de bonnes pratiques de développement (CI/CD, tests unitaires et fonctionnels). Sécurité et conformité : respect des normes RGPD et bonnes pratiques de gouvernance des données. Documentation et partage : rédaction des spécifications techniques, bonnes pratiques et transmission de compétences aux équipes internes. Collaboration transverse : travail étroit avec les Data Scientists, Data Analysts, Product Owners et Architectes pour répondre aux besoins métiers.

Contexte du projet : Dans le cadre d’un vaste programme de transformation digitale, CBX Group accompagne un grand acteur dans la mise en place et l’industrialisation d’une plateforme Big Data. Nous recherchons un Tech Lead Data Engineer expérimenté pour renforcer l’équipe Data et piloter la conception, le développement et la mise en production de traitements batch et temps réel, tout en encadrant les Data Engineers de la squad. Missions principales : Piloter la conception et le développement de pipelines en Spark SQL et Java Spark (batch & streaming). Définir les standards de développement et garantir la qualité technique de la squad (revues de code, bonnes pratiques, CI/CD). Concevoir et optimiser des traitements temps réel (Kafka, MongoDB, event-driven). Accompagner le design des usages Data en lien avec les Product Owners et le métier. Assurer l’optimisation et le tuning des traitements Spark pour garantir performance et scalabilité. Encadrer et coacher les Data Engineers de l’équipe, favoriser le partage de connaissances. Documenter l’architecture et les traitements dans Confluence, assurer le support et la maintenance. Participer aux rituels agiles et contribuer à la roadmap technique de la plateforme. Stack technique : Cloudera / MAPR, Java 11/17/21, Spark 2/3, Spring Boot, Kafka, MongoDB, Jenkins, Kubernetes, ArgoCD, SonarQube ; cloud GCP

Concevoir, industrialiser et opérer des plateformes data “cloud-native” sur Kubernetes, incluant l’orchestration de pipelines via Airflow sur Kube, afin d’accélérer l’ingestion, le traitement et la mise à disposition de données à grande échelle (batch & near-real time) avec des standards élevés de fiabilité, sécurité et coûts. Responsabilités clés Architecture & design Définir l’architecture Data on Kube (ingestion, stockage, calcul, orchestration, observabilité). Modéliser et standardiser les data pipelines (DAGs Airflow) et patterns d’infrastructure (Helm/Kustomize). Industrialisation & déploiement Packager et déployer Airflow sur Kube (Helm chart officiel/Astro/OSS) avec HA, RBAC, autoscaling. Mettre en place des opérateurs Airflow (KubernetesPodOperator, SparkK8sOperator, etc.). Automatiser via GitOps (Argo CD/Flux) et CI/CD (GitHub Actions/GitLab CI). Opérations & SRE Gérer la capacité, le autoscaling (HPA/VPA/Karpenter), la QoS et l’optimisation des coûts (requests/limits, Spot/Preemptible). Observabilité end-to-end (logs, metrics, traces) et runbook d’incident (SLA/SLO/SLI). Sécuriser la plateforme (NetworkPolicy, Secrets, IAM, image signing, pod security). Data Engineering sur Kube Exécuter Spark/Flink/Beam sur K8s ; optimiser ressources, shuffle, I/O. Normaliser les environnements d’exécution (Docker base images, Python/Java runtimes). Gouvernance & qualité Mettre en place un data contract / schema registry , tests de données (Great Expectations/Deequ), lineage (OpenLineage/Marquez). Accompagnement Enablement des équipes data (templates, cookbooks), code reviews , mentorat et evangelism des bonnes pratiques.

Principales missions : -Assurer un leadership technique auprès des équipes de développement. -Conseiller les parties prenantes et traduire les exigences stratégiques en architectures Azure et Databricks sécurisées, scalables et fiables. -Participer activement aux phases de conception, développement et tests. -Porter la vision technique au sein des équipes Agile. -Garantir la qualité des livrables et veiller à la réduction de la dette technique. -Réaliser la modélisation des données. -Assurer une veille technologique et participer aux POCs. -Enrichir la communauté des Data Engineers par le partage de connaissances et la promotion des CONCEPTION S'assure de l'exhaustivité et de la pertinence des spécifications confiées aux développeurs Coordonne les plans de développements et activités des développeurs sur l'ensemble des composants logiciels impactés Réalise la conception technique des applications et des échanges dans le cadre de projets et évolutions en privilégiant la réutilisation des composants existants DÉVELOPPEMENT Elabore, maintient et renforce les directives d'intégration logicielle et réalise la conception technique des applications et des échanges dans le cadre de projets et évolutions en privilégiant la réutilisation des composants Aligne son travail avec les principes d'urbanisation et les directives générales d'intégration logicielle préconisée par l'Architecture Transverse Supervise les aspects techniques d'un projet (à la demande du responsable de pôle) Participe à l'analyse fonctionnelle détaillée des besoins utilisateurs et peut être sollicité pour des ateliers de définition des spécifications générales Valide le design du logiciel et propose les frameworks utilisés dans le cadre du projet NORMALISATION ET QUALITÉ Assure la qualité du code des programmes informatiques Elabore et maintient les normes et patterns spécifiques d'intégration ainsi que leur diffusion auprès des développeurs et assure que ces normes / patterns sont bien suivies par l'équipe Est responsable également de l'élaboration et du maintien des abaques de coûts / délais nécessaires en regard des services fournis Assure la qualité des environnements de développement, des développements, du packaging et le bon usage des technologies à travers des audits de code Fait une veille permanente sur les évolutions technologiques ASSEMBLE LES COMPOSANTS ET PRÉPARE LA LIVRAISON DE SOLUTIONS Dans le cadre de projets, assemble les composants unitaires dans un package cohérent destiné au déploiement de la solution et le met sous gestion de configuration Assure la mise à disposition des environnements de développement Définit et administre une bibliothèque de composants logiciels, normes et patterns et assure la documentation de ces composants réutilisables dans la documentation ASSURE LE SUPPORT DE NIVEAU 3 Assure le support N3 pour la résolution de problèmes avec des composants développés par l'équipe et déployés dans les environnements Contribue à la rédaction des contrats de TMA en y intégrant les normes techniques COMMUNICATION ET VEILLE TECHNOLOGIQUE Assure une veille permanente sur les évolutions technologiques Assiste le responsable de pôle à identifier les axes d'amélioration technique et des compétences à développer

Bonjour, Dans le cadre de ses projets clients, Visian est à la recherche d'un Data Engineer Pyspark/Dagster Mission: Architecture : Définition de l’organisation du Lakehouse dans le S3 Chargement : Remplacement des pipelines Informatica par des pipelines spark, pyspark et python Ordonnancement : Remplacement du DAC de OBIEE par Dagster Restitution : Création de rapports sur Apache SuperSet sur la base du LakeHouse Les principales missions à mener sont : - Description des fonctionnements existants et des besoins couverts, - Développement d’une solution de collecte de données, - Développement d’un système de stockage de la donnée, - Réalisation de tests unitaires, - Mise en place d’un suivi des traitements, - Assistance à la recette par la MOA / les utilisateurs. Si vous êtes actuellement à l'écoute du marché, n'hésitez pas à m'envoyer votre candidature. Bien à vous, Nadia