Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark

Bonjour, Nous recherchons pour notre client grand compte un Développeur ReactJS / Redux / TypeScript : applications web à fort trafic Nous étudions - prioritairement - les candidatures qui nous sont adressées à freelance à insyco . fr avec les informations suivantes : Argumentaire écrit répondant de façon ciblée au besoin ci-dessous CV à jour au format Word Date de prochaine disponibilité Tarif journalier Merci d'indiquer la référence MDE/DEV/5392 dans l'objet de votre message Contexte de la prestation La prestation s'exécute au sein de la direction en charge du numérique de notre client grand compte, dans le cadre d'une prestation de développement ReactJS. Activités principales attendues Développement d'interfaces complexes avec ReactJS Architecture de données côté front-end avec Redux et gestion des effets de bord asynchrones Production d'un code modulaire, réutilisable et maintenable en TypeScript, en appliquant les meilleures pratiques actuelles (Hooks, Context API) Optimisation de la Web Performance (Core Web Vitals), des stratégies de mise en cache et de l'optimisation via CDN sur des architectures web à fort trafic Consommation d'architectures d'API diversifiées, de type REST ou GraphQL Exploitation de bases de données documentaires (MongoDB) et de moteurs de recherche (ElasticSearch) Versioning avec Git et intégration continue avec Jenkins Mise en œuvre de stratégies de tests rigoureuses (unitaires, intégration) et automatisation des processus de livraison

Dans le cadre d’un programme stratégique de modernisation Data, nous recherchons un(e) Senior Data Engineer Microsoft Fabric pour intervenir sur un projet de migration d’envergure de Google Cloud Platform (GCP) vers Microsoft Fabric. Vous jouerez un rôle clé dans la mise en œuvre technique de la plateforme cible et participerez à la conception et au développement de pipelines de données robustes, scalables et performants. Vous intégrerez une équipe Data experte évoluant dans un environnement Cloud Azure moderne, Agile et orienté excellence technique. Vos missions En tant que Senior Fabric Engineer, vous serez responsable de : Concevoir et développer des pipelines d’ingestion et de transformation de données avec Microsoft Fabric Data Factory et Dataflows Gen2 Mettre en œuvre la migration des données depuis Google BigQuery vers les environnements Fabric Lakehouse et Data Warehouse Développer des connecteurs et workflows d’intégration pour différentes sources : SAP, Salesforce, Oracle, fichiers, APIs, SFTP, etc. Participer à la réécriture des traitements ETL existants sous Talend vers Microsoft Fabric Optimiser les pipelines de données afin de garantir performance, fiabilité et maîtrise des coûts Réaliser les revues de code et accompagner les profils plus juniors Participer aux cérémonies Agile : daily meetings, sprint planning, rétrospectives Garantir la qualité du code et le respect des standards de développement et de CI/CD

Nous recherchons pour le compte de notre client dans le domaine de la retraite, Responsable MCO Data, BI et Big Data Objectif : le pilotage du maintien en condition opérationnelles des activités Décisionnel, Big Data et Bureau , et contribuer à garantir la qualité de service du système d'information tout au long du cycle de vie des solutions data. Missions : Rattaché au responsable du pôle Plateformes de données et Applications Data, au sein de l’entité Valorisation de la donnée, le profil aura pour principales missions : • Piloter directement des opérations (plans d’action spécifiques) • Planifier les projets et mettre les risques sous contrôle • Être en capacité de qualifier et de remonter les alertes le cas échéant • Animer les équipes du pôle • Assurer la maîtrise des délais, des plans de charge et des budgets définis • Garantir le respect des procédures et méthodes d’assurance de qualité et de sécurité du SI • Garantir l’atteinte des objectifs fixés en termes de niveau de service • Apporter une analyse critique sur les méthodes de travail et les résultats envisagés • Contribuer à la définition des orientations de la DSI-RC et à leur déclinaison opérationnelle pour les domaines fonctionnels SI Décisionnel et Big Data • Garantir la pertinence du SI mis en œuvre pour répondre aux objectifs Métier définis par la MOA ainsi que de la bonne exécution des process au quotidien • Accompagner les équipes dans la transformation de leur activité et dans leur montée en compétence.

🚀 Mission Freelance – Lead Tech Data Python / Spark (H/F) Dans le cadre du renforcement d’une équipe Data, nous recherchons un Lead Tech Data Freelance pour intervenir sur des sujets de développement, industrialisation et accompagnement technique autour des plateformes et traitements Data. 📍 Mission : Freelance 📅 Démarrage : ASAP 🏠 Mode d’intervention : Hybride / à définir 👤 Séniorité : Lead / Senior 🎯 Vos missions 🔹 Développer et maintenir des applications et traitements orientés Data en Python 🔹 Concevoir et maintenir des API , dashboards et pipelines de données 🔹 Participer à l’industrialisation des projets et à l’amélioration continue 🔹 Garantir la qualité logicielle : • Revues de code • Diffusion des bonnes pratiques • Accompagnement des équipes 🔹 Assurer le cadrage technique et accompagner les projets 🔹 Collaborer avec les équipes transverses et les Product Owners 🔹 Réaliser des études et analyses Data 🛠 Stack technique Python : FastAPI, Dash, Pandas, packaging, PyTest, parallélisation Data / Big Data : Spark (PySpark / Scala), Hadoop BDD : SQL, PostgreSQL, Teradata Outils : Git, GitLab CI/CD, Jira, Confluence, Bitbucket

Contexte de la mission Description du besoin : La mission consiste à concevoir et faire évoluer les solutions existantes ou prévisionnelles. Faire évolution des solutions Bigdata et le maintien en conditions opérationnelles des socles Hadoop Cloudera Hors-Prod et Prod et la participation aux projets d’évolution technique de ces socles. Activités principales : - Participer aux projets d’évolution pour le Socle Hadoop existant : - évolutions logicielles et matérielles, sécurité, amélioration de l’existant, évolution des fonctionnalités techniques ou fonctionnelles; - la participation attendue peut se situer sur le pilotage, la définition d’architecture et la rédaction des dossiers et la mise en œuvre; - Participer au MCO du socle Hadoop: - Administration et exploitation: supervision, optimisation, gestion des incidents et des performances ; - support expertise aux équipes Etudes et exploitation - Participer au projet de nouvelle solution de type Plate-forme DATA: - Etude d'impact, préconiser les choix techniques, définir les standards et normes, rédiger le dossier d'architecture technique; - Mise en oeuvre; - Mise en production: transfert de connaissances aux équipes exploitation, rédaction des procédures d'administration et dossiers d'exploitation Les compétences recherchées sont autour de la solution Hadoop et des plateforme DATA, mais les compétences supplémentaires sur d’autres solutions Data comme le décisionnel seront très appréciées. La mission nécessite une totale autonomie mais aussi la capacité à s'intégrer et travailler en équipe. Des astreintes ou interventions ponctuelles en HNO pourront être ponctuellement demandées.

Dans le cadre du renforcement d’une équipe Data au sein d’un grand groupe du secteur des médias, nous recherchons un Data Engineer confirmé pour intervenir au cœur d’une plateforme data stratégique. Tu rejoindras une équipe en charge de la collecte, la centralisation et la transformation de données issues de sources hétérogènes , avec des enjeux forts de volumétrie, de performance et de qualité. Tes principales missions : Concevoir, développer et maintenir des pipelines data robustes et scalables Assurer l’ ingestion et la transformation de données multi-sources Optimiser les performances des traitements (Spark / SQL) Orchestrer les flux de données via Airflow Structurer et organiser le stockage des données Participer à l’ industrialisation des traitements (CI/CD, infrastructure) Garantir la qualité, la sécurité et la fiabilité des données Contribuer aux échanges techniques et à l’amélioration continue des pratiques

Vous serez responsable de la conception et de la mise en œuvre d'architectures optimisées et scalables au sein d'une plateforme data, analytique et IA basée hébergée en hybride Cloud/On Premises. Ce poste nécessite une compréhension approfondie de l’écosystème Data en terme de technologies et de pratiques à l’état de l’art (i.e. Hybridation, Datamesh etc…) Les principales activités sont les suivantes : - Collaborer avec les équipes data (Data Engineer, Data Analyst, Data Scientist, Business Analyst, Product Owner, Chef de projet, etc.) pour comprendre les exigences en matière de données, d'usages et de capacités et concevoir et formaliser l’architecture adaptée - Accompagner les équipes data dans la mise en œuvre des architectures définies - Assurer la qualité, l'intégrité et la sécurité des données dans l'environnement de la plateforme data, analytique et IA - Optimiser les processus d'ingestion de données et contribuer à la définition et la mise en œuvre des politiques de gouvernance des données - Évaluer et préconiser les technologies et outils appropriés pour le stockage, le traitement et l'analyse des données - Proposer des optimisations pour résoudre les problèmes d’architecture liés au stockage, à l’accès et à l’exploitation de la plateforme data - Une expérience sur l’accompagnement de projet en lien avec des migrations de plateforme data On premises vers le Cloud (idéalement GCP). Compétences techniques ou métier recherchées : - Vous avez une expérience minimale de 6 ans sur un poste d'architecte data et vous avez une expérience de mise en œuvre d'une plateforme basée sur une technologie Cloud. - Vous avez obtenu un diplôme dans le domaine IT et êtes spécialisé dans la Data. - Vous avez une expérience similaire sur la modélisation des données. - Concepts et technologies liés au Big Data (par exemple, Apache Spark, Hadoop) et aux bases de données SQL/NoSQL. Compétences comportementales recherchées : - Coopérer et fonctionner en transversal - Interagir facilement avec les autres - Négocier et convaincre - Proposer des initiatives ou des solutions - S'adapter aux changements. Compétence complémentaire : - Maitrise des Plateformes Data GCP, Spark, Python, SQL, Kafka, MongoDB Excellente connaissance des concepts et technologies des datalake, datawarehouse / entrepôts de données, lakehouse, des plateformes cloud telles que Google Cloud.

Data Engineer Spark Scala Scala, Spark, Airflow, Hive, Jenkins, Nexus, HDFS, Gitlab Nantes ( 3 à 4 jours de télétravail) Scala, Spark, Airflow, Hive, Jenkins, Nexus, HDFS, Gitlab Le data engineer travaillera sur un datalake( MCO, évolutions fonctionnelles). Les principales tâches seront: -Réaliser les développements en langage SCALA, - Réaliser les travaux jusqu’en environnement de production - Réaliser le support N3 de la production - Réaliser la supervision des traitements - Documenter les réalisations. Nous recherchons un data engineer confirmé qui maitrise nécessairement Spark et Scala

CONTEXTE DE LA MISSION L'équipe « Socles Data » de la Direction Technique Informatique d'un organisme paritaire de retraite complémentaire gère les socles techniques DATA du système d'information. Ces socles couvrent les besoins de pilotage, de mise à disposition de tableaux de bord décisionnels, d'exploration de données et de Data science. La mission consiste à assurer le maintien en conditions opérationnelles (MCO) des socles Hadoop Cloudera (environnements Hors-Prod et Prod) et à contribuer aux projets d'évolution technique de ces socles. La mission s'inscrit dans un contexte d'infrastructure DATA industrialisée, avec une exigence forte d'autonomie et de rigueur documentaire. Des astreintes ou interventions ponctuelles en dehors des heures normales ouvrées (HNO) pourront être demandées. RÔLE ET RESPONSABILITÉS PRINCIPALES Administration et exploitation des socles Hadoop : supervision, optimisation, gestion des incidents et des performances Capacity planning : suivi de la consommation, mise en place d'outils et de procédures de gestion des capacités Maintenance proactive : application des correctifs, mises à jour, suivi des évolutions technologiques Rédaction de procédures d'administration et d'exploitation Intégration avec l'outillage de l'écosystème DSI pour l'exploitation du SI Support et expertise aux équipes Études et Exploitation Participation aux projets d'évolution des architectures techniques (logicielles, matérielles, sécurité) : pilotage possible, définition d'architecture, rédaction de dossiers, mise en œuvre LIVRABLES ATTENDUS Reporting hebdomadaire d'activité Tableau de bord mensuel de suivi d'activités Documentations techniques : normes, principes, dossiers d'architecture, d'administration, d'exploitation, modes opératoires Transferts de connaissances : organisation de sessions et rédaction de supports Gestion des demandes : tickets incidents, demandes et changements dûment complétés Contribution à la continuité de service au sein de l'équipe

Nous recherchons un Data Engineer confirmé / sénior disposant d’une forte expertise sur Azure, Databricks, Spark et SQL. · Analyse des traitements existants dans le cadre de projets de migration · Conception et construction de pipelines de données pour transformer, enrichir et traiter les données au sein du Data Lake · Développement de notebooks Databricks pour des traitements avancés de données · Mise en œuvre de solutions de Cloud Data Warehousing (optimisation des traitements et tuning des requêtes SQL) · Rédaction de la documentation technique (Dossiers d’Analyse Technique, release delivery notes, etc.) · Réalisation de revues de code dans une logique de qualité et de bonnes pratiques · Conception et exécution de tests unitaires · Livraison des développements dans un environnement DevOps intégrant des processus CI/CD et les outils associés 3 - Compétences techniques requises · Expérience Data minimum 5 ans · Azure minimum 3 ans · Databricks minimum 5 ans · Spark minimum 5 ans · Python minimum 5 ans · SQL minimum 5 ans · Maitrise de CI/CD, Azure DevOps minimum 3 ans · Connaissance des outils Agile (JIRA) et ayant déjà travaillé en mode Agile minimum 1 an

Data Engineer Spark Scala Scala, Spark, Airflow, Hive, Jenkins, Nexus, HDFS, Gitlab Nantes ( 3 à 4 jours de télétravail) Scala, Spark, Airflow, Hive, Jenkins, Nexus, HDFS, Gitlab Le data engineer travaillera sur un datalake( MCO, évolutions fonctionnelles). Les principales tâches seront: -Réaliser les développements en langage SCALA, - Réaliser les travaux jusqu’en environnement de production - Réaliser le support N3 de la production - Réaliser la supervision des traitements - Documenter les réalisations. Nous recherchons un data engineer confirmé qui maitrise nécessairement Spark et Scala

Dans le cadre des travaux à réaliser, nous recherchons un profil Data Engineer confirmé / senior : Participer à la définition de l'architecture Data Concevoir, Affiner et Développer les solutions de collecte et de stockage des données (provenant de multiples sources) afin de le rendre disponibles pour les usages métiers Mettre en œuvre les tests unitaires et automatisés Déployer le produit dans les différents environnements Garantir le bon fonctionnement du produit en production et assurer le suivi / l'assistance / la gestion des incidents Accompagner l’évolution des pratiques de l’équipe dans une logique d’amélioration continue de la qualité du code

Analyse des traitements existants dans le cadre de projets de migration de données Conception et construction de pipelines de données pour transformer, enrichir et traiter les données au sein du Data Lake Développement de notebooks Databricks pour des traitements avancés de données Mise en œuvre de solutions de Cloud Data Warehousing , incluant l'optimisation des traitements et le tuning de requêtes SQL Rédaction de la documentation technique (Dossiers d'Analyse Technique, release delivery notes, etc.) Réalisation de revues de code dans une logique de qualité et de bonnes pratiques Conception et exécution de tests unitaires Livraison des développements dans un environnement DevOps intégrant des processus CI/CD et les outils associés

Contexte de la mission La Direction du Numérique dispose d'une Direction Data dont l'objectif est de faire de la donnée un levier de croissance des offres numériques. Ses activités couvrent la maximisation de la collecte de données dans le respect des réglementations en vigueur, le développement de la connaissance et de l'expérience utilisateur, ainsi que la mise à disposition d'outils de pilotage et d'aide à la décision. La prestation s'inscrit au sein de l'équipe Bronze, composée d'un Product Owner, d'un Data Steward et de deux Data Ingénieurs. La stack technique repose sur Python, Spark, SQL, Airflow, Delta Lake, Cloud Storage, et les services GCP (BigQuery, Dataproc, PubSub). L'infrastructure est gérée via Terraform et Terragrunt. Rôle et responsabilités principales Construire et maintenir des pipelines data robustes et scalables Participer aux phases de conception, planification et réalisation des tâches en équipe Organiser et structurer le stockage des données Mettre en place et maintenir les infrastructures scalables adaptées à la croissance des volumes Construire et maintenir les workflows CI/CD (GitLab CI/CD) Assurer la conformité, la sécurité et la stabilité des environnements Partager les bonnes pratiques au sein de l'équipe et participer aux instances des Data Ingénieurs Contribuer à la mise à jour de la documentation et assurer une veille technologique active Livrables attendus Pipelines data opérationnels et maintenus Infrastructure scalable mise en place et documentée Workflows CI/CD fonctionnels Documentation technique à jour Collecte et centralisation des sources de données non homogènes Contribution aux initiatives de gouvernance des données

Astrelya est un cabinet de conseil franco‑suisse, en très forte croissance depuis sa création en 2017, spécialisé dans la transformation digitale, l’excellence opérationnelle et l’innovation technologique. Il est composé de 300 expert passionnés. Le cabinet accompagne ses clients sur l’ensemble du cycle de transformation, depuis la phase de cadrage jusqu’à la mise en œuvre opérationnelle, avec une expertise forte en Data/IA, Cloud, DevOps et méthodes agiles. Astrelya se distingue par un modèle fondé sur la proximité, la confiance et une culture humaine forte, qui place les collaborateurs au cœur de la création de valeur. Votre mission : En tant que Data Engineer Databricks vous participez à la définition de l’architecture de la data platform et du Datawarehouse/Data Lake. Concevoir et développer des nouvelles fonctionnalités sur des applications hébergées par les plateformes Data. Développer et maintenir des pipelines de données performants (batch & streaming) et participer à toutes les étapes de traitement des données du niveau bronze au niveau gold. Garantir la sécurité, la robustesse et la fiabilité des pipeline de données en veillant aux enjeux de performance, d’accessibilité et d’intégrité des données. Contribuer à l’implémentation d’un Data Lab pour accélérer les usages Data & IA. Mettre en place et industrialiser des chaines CI/CD. Participer aux mises en production et au support en cas d’incident majeur. Travailler aux côtés de Data Product Owner, Data Architect et de BI & Analytics Engineer. Participer aux cérémonies agiles organisées par la squad : daily, sprint planning, sprint review, sprint rétrospective Effectuer une veille technologique continue sur de nouvelles solutions et tendances Data.

Contexte de la mission Dans le cadre du développement de son équipe Data Accelerator (DAC), notre client recherche un Data Engineer confirmé orienté Data Quality et Data Governance. DAC est une équipe transverse en charge d’accompagner les équipes métiers et IT sur l’ensemble de la chaîne de valeur de la donnée : collecte, ingestion, transformation, industrialisation, gouvernance et optimisation des performances. L’environnement s’appuie principalement sur les technologies AWS, Databricks, Dataiku et Collibra, avec un fort enjeu autour de la qualité, de la fiabilisation et de la structuration des données au sein du Data Lake. Le consultant interviendra dans un contexte stratégique avec une forte collaboration avec les équipes Data Analysts, Data Scientists ainsi qu’avec le Chief Data Officer. Missions principalesQualification et gestion des données Captation des données structurées et non structurées provenant de multiples sources Intégration et supervision des flux de données Structuration de la donnée (normalisation, sémantique, référentiel) Cartographie des données disponibles Nettoyage des données (suppression des doublons, contrôle qualité) Validation et qualification des données avant intégration dans le Data Lake Participation à la création et à l’amélioration des référentiels de données Industrialisation et performance Développement et optimisation des traitements data Amélioration des performances et maîtrise des coûts des plateformes data Participation aux développements correctifs, évolutifs et adaptatifs Contribution aux dossiers d’architecture Production des tableaux de bord de suivi Gouvernance & collaboration Participation à la définition de la politique data Respect des standards de sécurité, gouvernance et conformité Collaboration avec les équipes métiers, IT et gouvernance data Contribution à l’industrialisation des cas d’usage Data & GenAI