Trouvez votre prochaine offre d’emploi ou de mission freelance SPARQL

Basée à Lille, Lyon, Nantes, Grenoble et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s’imposer comme une référence en matière de freelancing par son expertise dans l’IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Développeur Big Data (H/F) à Lyon, Auvergne-Rhône-Alpes, France. Contexte : Fonctionnement : sur site à Lyon + Télétravail à 50% Les missions attendues par le Développeur Big Data (H/F) : Description du profil : Ses missions tournent autour de 4 axes : o Apporter une expertise en Big Data pour faciliter la manipulation des données o Définir les solutions techniques permettant le traitement massif de données o Mettre en place des solutions de stockage de données o Veiller la sécurisation et la clarté des pipelines de données pour faciliter l’analyse et la transformation Il s’appuie si nécessaire sur les référents techniques des diverses briques si ces dernières sortent du cadre de sa mission. Il met en avant ses qualités pour mener à bien ses missions : o Autonomie, rigueur et force de proposition o Capacités d'analyse et de synthèse. o Esprit d’équipe 4 années d'expérience sont attendues sur le rôle au minimum. Activité principale : o Assure la création, la maintenance, l'optimisation et la sécurité des bases de données o Participe aux développements de flux de données permettant d’alimenter des bases de données o Assure la bonne exécution des traitements et identifie et corrige l’application en cas de problèmes Activité secondaire : o Veille technologique sur les outils utilisés au sein du projet o Partage et formation sur les guides de bonnes conduites Stack technique du projet : Hadoop, Spark, Spring, Java, Kafka, SQL, PostgreSQL, GIT, Ansible, Docker, Kubernetes, Tableau desktop, Power BI

Dans le cadre de la mise en place du projet Data Finance nous recherchons un data engineer confirmé. - Contexte : le projet Data Finance à pour objectif de mettre a disposition des données consolidé de différente source (base de données relationnelle, SAP , base de données Iaas) dans un modèle de donnée modélisé en Etoile a des fins d'analyse financier. - Environnement technique : Azure DataFactory, Databricks, Pyspark, SQL , Azure devops, Blob Storage. - Mission du candidat : Développer des pipeline d'ingestion des données dans le datalake avec datafctory Développer des flux de transformation de données via Python/spark/ Pyspark Databricks. Mettre en place des pipeline CICD azure devops Participé au re factoring du code existant Être garant de la qualité du code et le bon respect des norme de développement Mis en place des test unitaire. Mise en place du monitoring et de la supervision de l'application datafinance .

CITECH recrute ! 👌 ✨ Si vous souhaitez apporter vos compétences dans la réalisation de différents projets, nous avons LA mission pour vous ! Nous recherchons en effet un(e) Data Engineer Spark/Scala (H/F) 🚀 💰 Votre mission est pour un client du secteur banque et assurance qui dispose de 3000 caisses locales sur l’ensemble du territoire ainsi que de 8000 conseillers. Le projet est pour l’une de ses caisses. 📝 🙌🔽 Vous aurez donc les missions principales suivantes : 🔽🙌 🔸 Conception détaillée, fonctionnelle et technique des solutions SPARK/SCALA 🔸 Développement de scripts et modules en SPARK/SCALA 🔸 Formalisation et exécution des plans de tests 🔸 Résolution des anomalies rencontrées lors des phases d'intégration fonctionnelle et de recette utilisateur 🔸 Packaging et déploiement des solutions développées en environnements de pré-production et de production 🔸 Optimisation des traitements Big Data 🔸 Mise en œuvre des solutions industrielles de réentrance

Au sein de l'équipe projet Business Intelligence & Big Data, l'expert SPARK/SCALA aura les activités suivantes : Conception détaillée, fonctionnelle et technique. Développements SPARK / SCALA Contribution à la formalisation des plans de tests, exécution des tests unitaires et d'un premier niveau de tests d'intégration. Résolution des anomalies pendant les phases d’intégration fonctionnelle et de recette utilisateur. Packaging et déploiement en pre-production et production. Optimisation des traitements afin de garantir la qualité de service standards du DWG. Mise en œuvre des solutions industrielles et de réentrance permettant une reprise optimum des traitements en cas d’incident en production. Mise en service et accompagnement au déploiement. Suivi des environnements. Le consultant devra travailler en étroite collaboration avec le Chef de Projet, responsable du lot et l'équipe de développement du Programme. Une connaissance d'Oracle est nécessaire Une expérience >5 ans sur des technologies SPARK & SCALA est nécessaire Une connaissance de contexte technologique similaire est un plus

La prestation consiste à contribuer à/au(x) : - Support de l'application (notamment lors des clôtures mensuelles) - La maintenance évolutive - La conception et l'implémentation de nouvelles fonctionnalités - La refonte technique - La migration de Talend vers Spark/scala Environnement anglophone Les livrables attendus sont : - Optimisation des performances - Le support de l'application et la documentation - La livraison des évolutions - La livraison des nouvelles fonctions demandées dans le cadre des projets

Analyse des Exigences : Collaborer avec les équipes métier pour comprendre les besoins en matière d'analyse de données et de traitement. Conception de Solutions : Concevoir des architectures de données et des solutions de traitement distribué en utilisant Apache Spark. Proposer des modèles de données adaptés aux cas d'utilisation spécifiques. Développement de Pipelines de Données : Développer des pipelines de données robustes et évolutifs en utilisant Apache Spark pour l'ingestion, le nettoyage, la transformation et la préparation des données. Utiliser Spark Streaming pour le traitement en temps réel des flux de données. Optimisation des Performances : Optimiser les performances des jobs Spark en ajustant les configurations, en utilisant des techniques de partitionnement et de cache, et en améliorant l'efficacité des transformations. Gestion des Versions : Utiliser des outils de contrôle de version pour gérer le code source et les artefacts des pipelines Spark. Tests et Validation : Élaborer des stratégies de test pour les pipelines Spark et mettre en œuvre des tests unitaires, d'intégration et de régression. Valider la qualité des données à différentes étapes du pipeline. Déploiement et Monitoring : Déployer les pipelines Spark sur des clusters de production et surveiller les performances en temps réel. Mettre en place des alertes pour détecter les problèmes de performance ou de disponibilité. Sécurité : Implémenter des mesures de sécurité pour protéger les données sensibles tout au long du pipeline. Utiliser des technologies telles que Kerberos, Ranger, ou des outils de chiffrement pour assurer la sécurité des données. Documentation : Documenter les pipelines de données, les flux de travail, les configurations et les bonnes pratiques. Créer des guides d'utilisation pour les autres membres de l'équipe et les utilisateurs finaux.

Nous recherchons pour notre client grand compte un consultant spécialisé dans les systèmes d’information avec de solides connaissances en finance de marché, à l'aise avec les méthodologies Agile. Description : Recueil des besoins et rédaction des spécifications fonctionnelles générales. Priorisation des projets ou des lots d'un projet. Suivi des développements avec la maîtrise d'œuvre. Établissement du cahier de recette et réalisation de la recette. Accompagnement à la mise en production. Formation des utilisateurs et rédaction des procédures et guides utilisateurs. Coordination de projet et reporting.

Nous recherchons un Architecte Cyber Sécurité afin d'intégrer nos équipes, pour effectuer les tâches suivantes : - Accompagnement sécurité des projets métiers et techniques de la phase d’instruction à la mise en production - Pilotage de sujets sécurité techniques et fonctionnels divers avec des correspondants techniques ou métiers suivant le projet: • Pilotage du volet sécurité de projet de déploiement d’infrastructure ou d’application dans le Cloud • Analyse des risques de sécurité liés à l’introduction de nouvelles technologies ou de nouveaux systèmes d’information • Animation de programme de Cyber Sécurité : veille, réalisation études, gestion et maitrise des risques • Définition de la cible à atteindre, réunions de travail avec les équipes techniques, pilotage des actions • Pilotage de projet technique de transformation de SI, ex : mise en place d’un DLP • Contribution aux projets études et de réalisation technique, dossiers d'architecture, etc. (tout document projet) • Accompagnement au projet, toute contribution sécurité dans les livrables de la méthode projet : o Réalisation d’étude technique o Questionnaire sécurité pour un appel d'offres o Analyse de risque sur le volet technique et organisationnel o Paragraphe sécurité dans le dossier d'architecture o Cahier des charges pour la réalisation de tests d'intrusion o Restitution des vulnérabilités pour les audits de code • Pour le pilotage de sujets techniques sécurité, tout document utile à la mise en place / amélioration de l'outil / processus Environnement technique de la prestation : M365, Spark, Hive, Hadoop

Objectifs et livrables L’expertise technique sur le Datalake (plateforme Big Data) consistera à : · Assurer le maintien en conditions opérationnelles de la plateforme Datalake : gestion des incidents et des demandes effectuées par les projets ou les utilisateurs finaux · Contribuer à l’implémentation/automatisation des solutions · Effectuer les actions de mises en production · Contribuer à l’amélioration continue des outils d’exploitation · Communication auprès des utilisateurs finaux Le Prestataire devra fournir les livrables suivants : · Récapitulatif mensuel des tickets traités (incidents, demandes de travaux) · Statut bi-mensuel sur l’avancée des projets sur lesquels il sera contributeur

Package pyspark Documentation technique Compétences techniques PYTHON / PYSPARK / SPARK - Confirmé - Impératif Databricks/ datafactory/ azure devops - Confirmé - Impératif Integration GIT - Confirmé - Important Connaissances linguistiques Français Courant (Impératif) Description détaillée Dans le cadre de la mise en place du projet Data Finance nous recherchons un data engineer confirmé. - Contexte : le projet Data Finance à pour objectif de mettre a disposition des données consolidé de différente source (base de données relationnelle, SAP , base de données Iaas) dans un modèle de donnée modélisé en Etoile a des fins d'analyse financier. - Environnement technique : Azure DataFactory, Databricks, Pyspark, SQL , Azure devops, Blob Storage. - Mission du candidat : Développer des pipeline d'ingestion des données dans le datalake avec datafctory Développer des flux de transformation de données via Python/spark/ Pyspark Databricks. Mettre en place des pipeline CICD azure devops Participé au re factoring du code existant Être garant de la qualité du code et le bon respect des norme de développement Mis en place des test unitaire. Mise en place du monitoring et de la supervision de l'application datafinance . - Compétences requises : - Une bonne maitrise SQL / Pyspark / SPARK. -Avoir au moins 4/5 ans d'expérience en tant que Data engineer / utilisation de databricks. - Une connaissance environnement Cloud (Microsoft Azure), GIT, Devops - Une bonne communication et être fort de proposition. - Connaissance des bonnes pratique de développement.

Le bénéficiaire souhaite mettre en œuvre plusieurs évolutions de son socle technique. A ce titre, le Bénéficiaire souhaite bénéficier de l'expertise du Prestataire en termes de Conception et développement Dans ce cadre la prestation consiste à contribuer à/au(x) : - Développement Spark/Scala et HIVE - Traitement d'un gros volume de données - Environnement Hadoop - Environnement Anglophone - Environnement Agile Les livrables attendus sont : - Revue de code et re-factoring - Normes de développements Les expertises attendues pour réaliser cette prestation sont listées ci-après : • Hive

Nous sommes à la recherche d'un Ingénieur Big Data pour palier au besoins de nos clients. Le candidat retenu sera chargé de concevoir, développer et maintenir l'infrastructure Big Data, ainsi que de travailler sur des projets d'analyse de données complexes. Responsabilités : Concevoir, développer et déployer des solutions Big Data évolutives et robustes. Mettre en place des pipelines de données pour l'acquisition, le stockage et le traitement de grands volumes de données. Travailler en étroite collaboration avec les équipes métier pour comprendre leurs besoins en matière d'analyse de données. Optimiser les performances des systèmes et des applications Big Data. Assurer la sécurité et la confidentialité des données tout au long du processus.

Contexte du poste : Nous sommes une entreprise innovante dans le secteur des technologies appliquées à l'assurance, basée dans la région parisienne. Notre mission est d'accompagner les assureurs dans la gestion et l'analyse de leurs risques, en utilisant des solutions SaaS avancées. Nous travaillons sur des projets variés visant à optimiser la souscription d'assurances et la gestion de portefeuille grâce à l'intelligence artificielle. Afin de soutenir notre croissance rapide et nos projets d'expansion internationale, nous recherchons un(e)Data Scientist orienté Engineering pour renforcer notre département Insights. Missions : - Concevoir et implémenter des modèles de Machine Learning pour répondre aux besoins business complexes. - Gérer le cycle de vie complet des modèles, de la conceptualisation à la mise en production. - Être le garant de la qualité du code au sein du département Insights, mettre en place des bonnes pratiques de développement. - Conduire des analyses ad hoc pour éclairer les décisions stratégiques. - Participer à des projets d'innovation et d'expérimentation de nouvelles technologies.

Ingestion des données sources via NIFI dans des tables de travail Cassandra ou en parquet sur AWS S3 Développement des Traitements Spark/Scala en lots des données sources ingérées Traitement au quotidien des nouvelles données clients (ajout nouveaux clients Enrichissement au quotidien des données des clients avec des fichiers de scoring et de segmentation (fournis par un autre projet) Traitement toutes les 8 heures des nouvelles ventes avec notamment la mise à jour des ventes auditées ainsi que l’enrichissement des ventes avec les données des clients Ingestion toutes les 8 heures des données des ventes dans Druid Ajout et mise à jour des nouveaux produits des marques avec leur description, leur taille, leurs stocks …. Traitement en temps réel via Kafka/Spark des données sources fournies par les marques dans les topics dédiés : Enrichissement des données des produits des différentes marques en temps réel avec les informations des stocks, des prix Mise à jour temps réel des données des ventes Mise à jour temps réel des données clients Mise à jour des commandes clients Anonymisation des informations clients (RGPD) Mise à jour des stocks disponibles en magasin Exposition des informations des produits en transit (magasin d’origine, magasin destination) afin que les utilisateurs de Luce puissent estimer leurs dates de livraison Traitement et Stockage des données dans Apache Solr et Cassandra Exposition des données traitées dans une API nodejs à travers Cassandra et Solr Ingestion des données des ventes et commandes sur Apache Druid via NIFI Mise en place de tests automatiques afin d’éviter les régressions suite aux nouvelles évolutions Développement de tests unitaires avant déploiement Garantie de la cohérence des données Planification des heures de lancement des différents traitements afin d’éviter d’avoir des données corrompues Déploiement des différents traitements Spark via Jenkins/Livy dans les environnements dédiés Monitoring des Jobs Spark via Yarn et Spark UI avec un système d’alerting via Slack en cas de problème durant les traitements Mise en place de logs qui seront ensuite déposés dans ElasticSearch afin de faciliter la résolution et la recherche des bugs Optimisation des différents traitements Data (optimisation du code Spark, des traitements NIFI) Migration de tous nos workflows NIFI, traitements de données en lots/ temps réel Spark sur Amazon AWS Migration de l’api ainsi que des tables et collections utilisées dans Cassandra Environnement sur AWS Ordonnancement des tâches via Airflow/Python, gestion des différentes dépendances entre les traitements Mise à jour d’une librairie Airflow pour le lancement de nos Jobs Sparks ainsi que le monitoring (vérification des statuts des traitements). Mise en place des capteurs (sensors) nécessaires pour le suivi des statuts des traitements Mise à jour d’une librairie générique Spark pour les jobs d’ingestion via parquet/csv/json

Nous recherchons pour un de nos clients un Data engineer avec deux ans d’éxpériences à minima sur daitaiku , Ce collaborateur doit maitriser les technos comme Python stack technique du besoin : Python hadoop spark 2 ans a fond de dataiku Localisation : IDF, metro , Télétravail : 2 jours de télétravail Démarrage : asap Tjm : dépend de l’expérience, entre 500 et 600max Quelqu’un qui connait depuis 5 ans la solution NB : Ce besoin n'est pas encore exprimé chez notre client, c'est assez urgent nous pouvons faire passer les entretiens asap ainsi que le démarrage

Orienté Big Data et ayant des compétences dans les domaines listés ci-joint : Kafka, Spark, Hbase, Hive, Hadoop, Jenkins, Ansible, Github, Scala, Python, Linux, Kube, Linux. Objectifs et livrables L’expertise technique sur le Datalake (plateforme Big Data) consistera à : · Assurer le maintien en conditions opérationnelles de la plateforme Datalake : gestion des incidents et des demandes effectuées par les projets ou les utilisateurs finaux · Contribuer à l’implémentation/automatisation des solutions · Effectuer les actions de mises en production · Contribuer à l’amélioration continue des outils d’exploitation · Communication auprès des utilisateurs finaux Le consultant devra fournir les livrables suivants : · Récapitulatif mensuel des tickets traités (incidents, demandes de travaux) · Statut bi-mensuel sur l’avancée des projets sur lesquels il sera contributeur