Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark

Qui sommes-nous ? Anafi Consulting est un cabinet de conseil basé à Paris, fondé en 2023. Nous accompagnons nos clients grands comptes dans leurs transformations technologiques et organisationnelles, avec une expertise forte en DevOps, Data, Craft, sécurité et numérique responsable . Nous intervenons dans des secteurs variés : finance, télécommunications, IT et nucléaire . Votre rôle Dans le cadre d’un projet stratégique de modernisation des plateformes Cloud et Data, nous recherchons un(e) Architecte Solutions Cloud GCP expérimenté(e). Vous interviendrez sur des sujets d’ architecture hybride, de Data Management et d’optimisation cloud , tout en accompagnant les équipes techniques et métiers dans l’adoption des meilleures pratiques Cloud. Votre rôle combinera expertise technique, conception d’architectures sécurisées et évolutives , et accompagnement au changement auprès des équipes internes. Vos missions principales Concevoir et faire évoluer des architectures Cloud GCP sécurisées, performantes et résilientes. Participer à la conception de solutions hybrides assurant la réversibilité et la consommation de données entre le cloud et l’on-premise. Contribuer à la mise en œuvre de solutions Data Management sur GCP (BigQuery, Starburst, Minio, Apache Spark). Fournir conseil et expertise sur les bonnes pratiques GCP, la gouvernance et l’optimisation des coûts. Réaliser et présenter les dossiers d’architecture auprès des équipes techniques et des instances de gouvernance. Acculturer et former les équipes d’architectes internes sur les fondamentaux et les services Cloud GCP (présentations, ateliers, documentation). Participer à l’ implémentation et au déploiement des solutions conçues. Promouvoir les principes d’ architecture résiliente et les pratiques Agile & DevOps .

Nous recherchons un(e) Software Data Engineer pour l'un de nos clients grand compte. Missions : • Concevoir et implémenter les composants/pipelines d’ingestion de données en scala spark • Traiter et normaliser les données • Refactoriser des imports existants pour être compliant avec l'architecture médaillon (silver + gold layers) • Appliquer/challenger les règles métier pour générer la couche gold tout en garantissant les performances, la scalabilité et les coûts cloud • Distribuer les données aux différents consommateurs/Métiers • Implémenter les règles de Data Quality (DataQuality framework) et gérer le data calatog • Développer et améliorer les frameworks communs (monitoring, CI/CD, tests, performance, résilience, standards de développement, qualité du code) • Rédiger et maintenir la documentation technique des développements réalisés : schéma d'architecture, Infra, Flux, … • Garantir le respect des standards du Groupe en matière de qualité, sécurité, partage, usage et architecture des données • Participer au développement et à la maintenance du calculateur en Scala Spark avec l'objectif : - d'optimiser le temps de calculs, - d'optimiser les performances, - de garantir la scalabilité au regard d'un accroissement annuel important du volume des market operations, - de maîtriser et d'optimiser les coûts cloud. • Être force de proposition pour améliorer les processus et les performances des systèmes. Compétences requises : • Expertise en Scala et Spark. • Expérience significative dans le développement d'ETL en contexte Big Data. • Expérience AWS (Glue, Lambda, Step Function, S3, etc.) : niveau intermédiaire avec expérience pratique • Compétences Dev/Ops • Capacité à travailler en équipe et à communiquer efficacement avec les parties prenantes. • Organisation, orientation résultats et intérêt marqué pour le fonctionnel. • Des compétences en Python et REACT seraient un plus pour le candidat

🚀 Mission Freelance – Tech Lead Data Engineer (H/F) 🗓️ Démarrage : ASAP 📆 Durée : 3 ans 📍 Localisation : Hauts-de-Seine (92) – 3 jours sur site / semaine 💰 TJM max : 600€ 💼 Expérience requise : 5 ans minimum en tant que Tech Lead ⚠️ Compétences techniques indispensables : • Databricks (Expert) • Spark (Expert) • Azure (Confirmé) • Excellente maîtrise de la modélisation de données 🎯 Objectif de la mission : Accompagner la direction Data dans la structuration technique et l’industrialisation des traitements de données, tout en garantissant la montée en maturité des équipes et la qualité des livrables. 🛠️ Vos responsabilités principales : • Assurer un leadership technique fort au sein des équipes Data • Définir et diffuser les guidelines techniques et standards de développement • Concevoir une architecture Azure / Databricks performante et sécurisée • Superviser la conception, le développement et les tests des pipelines Data • Réaliser la modélisation des données et garantir leur cohérence dans le SI • Identifier et prioriser la dette technique pour planifier sa résorption • Conseiller les équipes métiers et techniques pour aligner la vision stratégique • Promouvoir les bonnes pratiques Data Engineering et animer la communauté interne • Participer à des POCs et assurer une veille technologique continue ✅ Livrables attendus : • Guidelines techniques et standards de développement • Cartographie priorisée de la dette technique 📢 Suivez Suricate iT pour découvrir toutes nos missions. 👉

Missions & ActivitésEn BUILD : Suivi de projet et co-construction avec l’IT Métier Rôle de point d’entrée OPS dans le cadre des projets confiés Réalisation des gestes techniques liés aux mises en production (installation, mises à jour, déploiements) Création ou mise à jour des environnements applicatifs Mise en place de l’exploitation avant le passage en RUN Accompagnement technique, conseil et bonnes pratiques Respect et diffusion des standards du Groupe En RUN : Gestion des incidents et des changements sur l’ensemble du périmètre de la squad Proposition d’axes d’optimisation et d’industrialisation Amélioration continue du monitoring et de l’exploitation des applications 🛠️ Écosystème technologiqueOutils DevOps Ansible, ArgoCD Applications & Infrastructures Cloud / IaaS : Linux, Websphere, Autosys, CFT Cloud / PaaS : Kubernetes, Docker, OpenShift, PostgreSQL, ExaCC Cloud Data : Spark, Starburst, Airflow Data On-Prem : HDP, Cassandra, Kafka Outils de suivi ServiceNow, JIRA

Attendu Développement des tests unitaires et des tests d'intégration Développement de scripts Unix d'administration et d'exploitation Développement de batch et d'API en java Compétences : Développement Java 21, Spring-boot 2 et 3, Spring Batch, Kafka/Avro, TransactSQL (MySQL) BigData (notions) : Spark 3 / Oozie DevOps (utilisation quotidienne) : GIT, GitLabCI, Ansible, ArgoCD, Docker Contexte : Développement des parcours et des traitement de collecte de données du CRM-Entreprises Squad de 15 personnes dont 9 développeurs Java Travail en équipe et en Scrum obligatoire

Développeur/Tech Lead Fullstack Java 17+ / Angular 16+ - Sophia Antipolis Anglais obligatoire 5 + ans d'expérience mandatory : 70% de Back, 30% de front, , Spring, spring Boot, API Rest, MongoDB Hibernate, SOA, Ionic, Scripting (perl, shell, python), Git/Github, Spark, Hadoop, Junit, Javascript, Bamboo, Cucumber, Jira -> Anglais obligatoire Avant commencement de mission, les personnes devront avoir une formation AZURE (e-learning) ainsi que copilote Nous recherchons un dev/tech lead fullstack (java/angular) à très grande dominante back, mais a déjà travaillé avec AKS (pratiqué, pas juste de la théorie) Participer aux rituels développés en Scrum, Participer à la programmation et aux tests unitaires, Participer à la recette des développements (tests d'intégration, recettes internes, recettes clients), Corriger les anomalies détectées et veiller à l'optimisation du logiciel produit, Rédiger la documentation, Documenter et enregistrer les éléments concernant les configurations dans l'outil prévu à cet effet, Participer au suivi hebdomadaire de l'avancement des travaux. Etre partie prenante de l'architecture technique XP en Java mini 17 et Angular mini 16 XP sur migration technique recommandé, ainsi que Cloud recommandé + Kubernetes (azure préconisé) Technos : mandatory : 70% de Back, 30% de front JAVA J2EE 8+, Angular 8+, Spring, spring Boot, API Rest, MongoDB Hibernate, SOA, Ionic, Scripting (perl, shell, python), Git/Github, Spark, Hadoop, Junit, Javascript, Bamboo, Cucumber, Jira -> Anglais obligatoire Avant commencement de mission, les personnes devront avoir une formation AZURE (e-learning) ainsi que copilote

Je recherche pour un de mes clients un Data Engineer GCP : Prestations attendues : Déployer les datasets normés sur un ou plusieurs des data domain suivants : Utilisateurs, Comportements et Référentiels Accompagner les utilisateurs dans leurs usages Mettre en place le contrôle qualité sur ces datasets En interaction avec les membres de l’équipe, Participer activement aux différentes phases de conception, de planification et de réalisation des tâches avec l’équipe Construire et maintenir des pipelines data robustes et scalables Accompagner les membres de l’équipe dans l’exploitation et le requêtage des données Organiser et structurer le stockage des données Mettre en place et maintenir des infrastructures scalables capables de répondre aux besoins et à l’accroissement rapide du volume de données Participer aux initiatives de gouvernance des données en assurant la qualité, la fiabilité et l’intégrité Construire et maintenir les workflows de la CI/CD Partager avec les autres data ingénieurs pour appliquer les bonnes pratiques en vigueur Assurer l’évolutivité, la sécurité, la stabilité des environnements Participer aux différentes instances des data ingénieurs Contribuer et veiller à la mise à jour de la documentation Faire de la veille technologique active dans le domaine Expertises demandées pour la réalisation de la prestation : Au moins 3 ans d’expérience en tant que Data Ingénieur dans un environnement data Compétences solides en data : structures de données, code, architecture France Expériences dans la conception et la réalisation de pipelines data Expériences dans un environnement du cloud Google (GCP) Expériences intégrant BigQuery et Dataplex Universal Catalog Expériences intégrant les langages Python et SQL Expériences intégrant Spark Expériences intégrant dbt Expériences intégrant Terraform et Terragrunt Expériences intégrant Gitlab et Gitlab CI/CD Expériences intégrant les méthodologies Agile : Scrum ou Kanban Capacité à vulgariser et à communiquer sur des aspects purement techniques

Nous vous proposons de rejoindre un grand acteur du retail pour une mission de Data Engineer. En tant que Data Engineer vous aurez un rôle clé dans l'amélioration des sales pipelines, la modélisation de nouveaux business models de données de vente et le support aux autres équipes pour une utilisation efficace des données de vente. En tant qu'entreprise de retail , des informations de vente précises et pertinentes sont cruciales, rendant cette équipe centrale pour les processus de décision opérationnels et stratégiques clés. Les responsabilités incluront la maintenance des data flows , avec un accent particulier sur la résilience des produits et l'excellence opérationnelle. Les missions : Développement et maintenance des Data Pipelines User Enablement & Support Promotion des Best Practices Operational Excellence Stack technique : Amazon Web Services (S3) Databricks Approche SQL first avec dbt et/ou Apache Spark (PySpark) Ordonnancement avec Airflow (Python) Github

Bonjour, Nous recherchons pour notre client grand compte un Data Engineer GCP . Nous étudions — prioritairement — les candidatures qui nous sont adressées à freelance à insyco . fr avec les informations suivantes : Argumentaire écrit répondant de façon ciblée au besoin ci-dessous CV à jour au format Word Date de prochaine disponibilité et mobilité sur site client Tarif journalier Merci d’indiquer la référence MDE/DATA/4901 dans l’objet de votre message Définition du besoin Une Direction numérique mène des projets transverses en collaboration avec d’autres directions, dont une Direction Data créée pour faire de la donnée un levier de croissance des offres numériques. La Direction Data a trois missions : Maximiser la collecte de données dans le respect des réglementations en vigueur, Développer la connaissance et l’expérience utilisateurs, Mettre à disposition des équipes internes des outils de pilotage et d’aide à la décision La prestation s’effectue au sein d’une équipe Data dédiée (composée d’un Product Owner, d’un Data Steward et d’un Data Engineer) et en collaboration avec les autres équipes Data, au cœur de la plateforme Data. Stack technique principale : Python, Spark, SQL, dbt, BigQuery, Airflow (orchestration), Terraform et Terragrunt (industrialisation), ainsi que d’autres services Google Cloud Platform (GCP) . Prestations attendues Déployer des datasets normés sur un ou plusieurs data domains : Utilisateurs , Comportements , Référentiels . Accompagner les utilisateurs dans leurs usages. Mettre en place le contrôle qualité sur ces datasets En interaction avec les membres de l’équipe, la prestation consiste à : Participer aux phases de conception, planification et réalisation des tâches, Construire et maintenir des pipelines data robustes et scalables, Accompagner l’équipe dans l’exploitation et le requêtage des données, Organiser et structurer le stockage des données, Mettre en place et maintenir des infrastructures scalables adaptées à l’accroissement des volumes, Contribuer à la gouvernance des données en assurant qualité, fiabilité, intégrité , Construire et maintenir les workflows CI/CD , Partager les bonnes pratiques avec les autres Data Engineers, Assurer l’ évolutivité , la sécurité et la stabilité des environnements, Participer aux instances des Data Engineers, Contribuer et maintenir la documentation , Assurer une veille technologique active

(Expérience du domaine de l'énergie obligatoire) Profil capable de s’adapter à l’environnement technique du département SCC et aux pratiques de l’équipe qu’il va rejoindre • Capacité de travailler de manière autonome • Disposant d’un bon sens de l’organisation et de la rigueur • Capacité de synthétiser ses travaux pour communiquer efficacement à ses commanditaires Participation à des ateliers avec des experts métiers pour collecter le besoin et comprendre les données • Conception et développement de traitements de données • Réalisation d’études statistiques • Présentation de résultats sous la forme de rapports d’étude ou de tableaux de bord • Développement d’outils de visualisation de données pour faciliter les analyses • Documentation des traitements en vue d’une industrialisation Mise en production des traitements de données • Suivi de l'industrialisation, maintien des traitements en production • Participation aux cérémonies agiles de l’équipe • Diffusion et vulgarisation des résultats d’étude L’environnement technique du projet est le suivant : • Python • R • PostgreSQL • Teradata • Hadoop • Gitlab CI • Ansible • Jira / Confluence / Bitbucket • Git Compétences attendues sur le profil : o Maîtrise de Python et de ses librairies pour le traitement et l'analyse de données (pandas, scikit-learn, TensorFlow/PyTorch) o Maitrise des notions d’électricité (puissance/énergie) et notions sur le réseau électrique o Bonne connaissance des bases de données SQL, notamment PostgreSQL et Teradata. o Maîtrise des outils de versioning et d'intégration continue, notamment Git et Gitlab CI/CD. o Familiarité avec Spark (PySpark ou Scala) pour le traitement de grandes volumétries de données o Proactif et autonome, avec une capacité à prendre des initiatives et à résoudre des problèmes. o Capacités à communiquer efficacement et avec pédagogie o Bonnes compétences rédactionnelles o Connaissance dans la rédaction de documents de cadrage du projet o Connaissance approfondie des métiers autour des chaînes communicantes o Expérience dans le recueil de besoins et l’animation d’ateliers métiers o Capacité de synthèse et de restitution d’informations o Capacité à animer des groupes de travail autour des organisations et des processus métiers. o Expérience avérée dans un environnement Agile à l’échelle o Est bon communicant

Qualifications / Compétences requises Licence ou Master en informatique, génie logiciel ou domaine connexe. Au moins 8 ans d'expérience en tant qu'ingénieur DevOps et au moins 4 ans en projets centrés sur les données. Vaste expérience en développement Python démontrant une solide maîtrise de la création d'applications évolutives. Expertise approfondie des pratiques DevOps et des pipelines CI/CD pour optimiser les processus de déploiement. Expérience en infrastructure as-code. Excellentes compétences collaboratives, avec la capacité à traduire des exigences utilisateurs complexes en solutions techniques efficaces. Bonne maîtrise de l'anglais, car la documentation sera rédigée en anglais et une partie des utilisateurs de la plateforme de données ne parlent pas français. Plus : Expérience avec des frameworks de traitement de données tels que Pandas ou Spark. Expérience en développement produit agile et en méthodologie Scrum. Maîtrise des bonnes pratiques de sécurité et de conformité dans les environnements cloud. Environnement technologique : Sur site : OS REHL 7 à 9, shell. AWS : S3, EMR, Glue, Athena, Lake Formation, Cloud Formation, CDK, Lambda, Fargate, … DevOps : Jenkins, SonarQube, Conda, Ansible… Logiciels : Python, Rust est un plus.

Mission L’équipe Data est au cœur de nos stratégies d’investissement, exploitant une large gamme de sources de données pour générer des indicateurs diversifiés qui permettent d’obtenir de solides performances pour nos clients. En tant que membre de l’équipe Data Platform, votre mission sera de mettre en œuvre activement les directives et recommandations d’audit afin de sécuriser nos environnements de production. Principales tâches : En tant que Senior DevOps Engineer, vos principales missions seront : Séparation des environnements de production et de développement (gestion des droits, amélioration des tests), Gestion de la capacité de nos serveurs (y compris suivi et alertes), Industrialisation des tests de qualité des données, Amélioration de la gestion des versions (tests, versioning, etc.), Mise en place d’un plan de reprise après sinistre et de chaos engineering, Maintenance de plusieurs serveurs et assets existants (y compris les outils et pipelines CI/CD). Qualifications / Compétences requises Diplôme de niveau Licence ou Master en informatique, génie logiciel ou domaine similaire, Minimum 8 ans d’expérience en tant qu’ingénieur DevOps, dont au moins 4 ans sur des projets centrés sur la Data, Expérience approfondie en développement Python et maîtrise de la création d’applications évolutives, Expertise en pratiques DevOps et pipelines CI/CD pour améliorer les processus de déploiement, Expérience des frameworks Infra-as-Code, Excellentes compétences collaboratives et capacité à traduire des besoins utilisateurs complexes en solutions techniques efficaces, Bonne maîtrise de l’anglais (la documentation sera rédigée en anglais et certains utilisateurs de la Data Platform ne parlent pas français). Atouts supplémentaires : Expérience avec des frameworks de traitement de données tels que Pandas ou Spark, Expérience en développement produit agile et méthodologie Scrum, Compréhension des bonnes pratiques de sécurité et de conformité dans les environnements cloud. Environnement technologique : Sur site : OS REHL 7 à 9, shell, DevOps : Jenkins, SonarQube, Conda, Ansible, … Logiciels : Python, Rust (un plus), AWS : S3, EMR, Glue, Athena, Lake Formation, Cloud Formation, CDK, Lambda, Fargate, …

Ops Data Lake Ops Data Lake - Vitrolles cloud public AWS, CI/CD, gitlab pipelines, ansible, kubernetes, Helm charts, certificats SSL,, Kafka, Kafka connect, Airflow, Starburst, Control-m, Dataiku, Python, Spark, Linux Contexte de la mission Le prestataire étant orienté big data et ayant des compétences dans les domaines listés ci-dessous, le Client fait appel à l'expertise du prestataire pour l'équipe Datalake Ops : cloud public AWS, CI/CD, gitlab pipelines, ansible, kubernetes, Helm charts, certificats SSL,, Kafka, Kafka connect, Airflow, Starburst, Control-m, Dataiku, Python, Spark, Linux Objectifs et livrables En étroite collaboration avec notre profils devops AWS, l’expert technique sur le Datalake (plateforme Big Data) devra s'affranchir des mission suivantes : · Assurer le maintien en conditions opérationnelles de la plateforme Datalake cloud public AWS /privé: gestion des incidents et des demandes effectuées par les projets ou les utilisateurs finaux · Contribuer à l’implémentation/automatisation des solutions · Effectuer les actions de déploiement sur les environnements (int, preprod et prod) · Contribuer à l’amélioration continue des outils d’exploitation et de déploiement · Communication auprès des utilisateurs finaux Le Prestataire devra fournir les livrables suivants : · Récapitulatif mensuel des tickets traités (incidents, demandes de travaux, mises en production) · Statut bi-mensuel sur l’avancée des projets sur lesquels il sera contributeur

Développeur Java Angular Aix en Provence Fullstack Expérience souhaitée : 7 ans Angular : 3/4 ans Compétences techniques nécessaires : Développement Back-end (5 ans minimum) : Java, Quarkus Développement Front-end (mise en œuvre): Angular ou autre framework front-end CI/CD : maîtrise complète de l’un des outils (Jenkins, GIT CI/CD ou autre) Virtualisation : Environnement Kubernetes, Docker Pratiques : Clean code Compétences techniques qui seraient un avantage : Développement data : Hadoop, Spark, Kafka, Redis, Elastic Développement Back-end : Kotlin CI/CD : maîtrise des outils Jenkins ou Concourse Méthodes projet : Agilité pratiquée Développeur Java Angular Aix en Provence

Missions principales Concevoir, développer et maintenir des pipelines d’ingestion et de traitement de données à forte volumétrie . Participer à la migration Scala vers Java/Spring et à l’intégration dans Snowflake/Snowpark . Travailler sur l’ architecture et l’optimisation des solutions data (batch & stream). Garantir la qualité du code : tests unitaires et d’intégration, CI/CD, documentation, monitoring. Collaborer avec le Tech Lead et l’équipe , en agile (daily scrums, code reviews, pair programming). Être un référent technique pour l’équipe et contribuer aux choix technologiques. Participer à des projets transverses et assurer la veille technologique sur les nouvelles solutions data. Architecture & concepts Expérience avec architecture medaillon data : Bronze → Silver → Gold. Compréhension des transformations et de la gestion des données selon cette architecture. Capacité à proposer et mettre en œuvre des améliorations pour la performance et la scalabilité. Stack & compétences recherchées Technologies principales : Java (expert, orienté Spark) Spring Snowflake / Snowpark Connaissances attendues : Databricks (full service managé, migration complète) Airflow, GitLab CI SQL Expérience Cloud (préférence GCP, AWS également possible) Compétences complémentaires : Conception de pipelines de données scalables Tests automatisés, monitoring, CI/CD Autonomie et capacité à driver techniquement l’équipe

Développeur Java Angular Aix en Provence Fullstack Expérience souhaitée : 7 ans Angular : 3/4 ans Compétences techniques nécessaires : Développement Back-end (5 ans minimum) : Java, Quarkus Développement Front-end (mise en œuvre): Angular ou autre framework front-end CI/CD : maîtrise complète de l’un des outils (Jenkins, GIT CI/CD ou autre) Virtualisation : Environnement Kubernetes, Docker Pratiques : Clean code Compétences techniques qui seraient un avantage : Développement data : Hadoop, Spark, Kafka, Redis, Elastic Développement Back-end : Kotlin CI/CD : maîtrise des outils Jenkins ou Concourse Méthodes projet : Agilité pratiquée