Trouvez votre prochaine mission ou futur job IT.

Afin d'accompagner notre client dans la gestion, l’analyse des données, et de leur transformation en données exploitables, NORGAY recrute un Data Engineer (H/F). Pour cela, vous collaborerez avec le reste de l’équipe Data pour définir les meilleures solutions d’analyses de données à mettre en place pour répondre aux besoins métiers. Vous serez également en lien avec l’équipe en charge de l’infrastructure Data avec qui vous définirez les solutions techniques appropriées pour assurer les meilleures performances possibles. Ce qui vous attend : Comprendre et modéliser les problématiques métier ; Définir avec justesse le périmètre des données nécessaire à la solution technique ; Modéliser des résultats d’analyse des données pour les rendre lisibles, exploitables et actionnables ; Créer des visualisations appropriées aux besoins.

A propos de JEMS Nous sommes le seul industriel de la donnée en Europe. Notre métier est de créer, manager et exploiter le patrimoine data de nos clients. Nous avons la conviction que chaque entreprise peut adopter une démarche innovante de gestion de la donnée et créer des cas d'usage disruptifs en réduisant l'impact écologique et en diminuant la dette technique. Nous comptons plus de 840 collaborateurs en mission chez nos clients grands comptes dans tout secteur d'activité : banque, assurance, santé, énergie, e-commerce, automobile, luxe, retail, transport, agritech... Vos missions Nous recherchons un(e) data engineer capable de trouver des solutions innovantes et robustes à l'ensemble des problématiques Data. Vous aurez la charge de : Participer à la conception et réalisation d'une solution Data depuis l'acquisition jusqu'à l'exploitation de la donnée en accompagnant la réflexion des directions métiers Identifier, collecter et intégrer les données nécessaires à la résolution de problématiques métier et opérationnelles Garantir la qualité des données en mettant en place les outils de mesure et de suivi adéquats en appliquant les règles de Data Gouvernance et de Data Management Transcrire des besoins métier en règles de gestion data Industrialiser le déploiement de vos réalisations à travers l'implémentation de tests unitaires, d'intégration et de non-régression Vos compétences En tant que Data Engineer vous maîtrisez : Le langage SQL Un langage objet (Python, JAVA, Scala) Un framework de calcul distribué L'intégration continue (Git, JUnit, SonarQube, Jenkins) Un cloud provider (AWS, GCP, Azure) ou une distribution Big Data (Hortonworks, Cloudera, Datastax) Les concepts de la modélisation relationnelle et non-relationnelle Votre profil Diplômé(e) d'une école d'ingénieur ou d'une université, vous justifiez d'une expérience professionnelle dans un contexte projet Data. Rigoureux, proactif et autonome vous restez en veille technologique et êtes force de proposition. Vous êtes capable de prendre de la hauteur et vous adapter aux enjeux du projet. Avantages à travailler chez JEMS Une JEMS Académie au service de votre montée en compétences (formations et certifications sur les technologies de pointe) Un accompagnement personnalisé et un management de proximité pour vous proposer des évolutions de carrière Une intégration dans des communautés techniques et de pratiques JEMS (encadrement par des experts, échanges sur les bonnes pratiques, favoriser l'innovation...) Une entreprise reconnue \"Great Place To Work\" Des évènements et séminaires inoubliables, des soirées d'agence conviviales Mobilité Une mobilité nationale et internationale pour vous accompagner dans vos projets de vie. Diversité Le Groupe JEMS porte fièrement sa valeur \"Diversité\" en se mobilisant pour l'inclusion et l'égalité des chances et en luttant contre toutes formes de discrimination. Tous nos postes sont ouverts aux personnes en situation de handicap.

Basée à Lille, Lyon, Nantes, Grenoble et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s’imposer comme une référence en matière de freelancing par son expertise dans l’IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Data engineer (H/F) à Lille, Hauts-de-France, France. Les missions attendues par le Data engineer (H/F) : - Développer les compétences techniques et l'autonomie de l'équipe de Data Engineer - Faciliter la coopération - Développer et garantir les pratiques de développement et de documentation associés (DevOps) - Développer l'industrialisation de modèles statistiques ou de machine learning demandés par le Product Owner - Garantir le maintien et la qualité de fonctionnement d'ensemble ainsi que la performance - Assurer une veille technologique sur les outils data - Collecter, stocker puis exposer les données - Recueillir les besoins métiers détaillés auprès du Product Owner - Définir et valider avec le Data Architect les solutions techniques en cohérence avec les normes, standards et processus - Développer les solutions techniques de collecte / stockage / exposition de la donnée - Mettre en place l'automatisation des traitements (pipelines) - Réaliser les tests unitaires, d'intégration et procéder à la mise en production - Industrialiser et automatiser le nettoyage de la donnée selon les règles du Data Steward - Gérer le cycle de vie de la donnée conformément aux règles définies - Manager la qualité technique, la gestion du run et sécuriser l’accès aux données

Ingestion des données sources via NIFI dans des tables de travail Cassandra ou en parquet sur AWS S3 Développement des Traitements Spark/Scala en lots des données sources ingérées Traitement au quotidien des nouvelles données clients (ajout nouveaux clients Enrichissement au quotidien des données des clients avec des fichiers de scoring et de segmentation (fournis par un autre projet) Traitement toutes les 8 heures des nouvelles ventes avec notamment la mise à jour des ventes auditées ainsi que l’enrichissement des ventes avec les données des clients Ingestion toutes les 8 heures des données des ventes dans Druid Ajout et mise à jour des nouveaux produits des marques avec leur description, leur taille, leurs stocks …. Traitement en temps réel via Kafka/Spark des données sources fournies par les marques dans les topics dédiés : Enrichissement des données des produits des différentes marques en temps réel avec les informations des stocks, des prix Mise à jour temps réel des données des ventes Mise à jour temps réel des données clients Mise à jour des commandes clients Anonymisation des informations clients (RGPD) Mise à jour des stocks disponibles en magasin Exposition des informations des produits en transit (magasin d’origine, magasin destination) afin que les utilisateurs de Luce puissent estimer leurs dates de livraison Traitement et Stockage des données dans Apache Solr et Cassandra Exposition des données traitées dans une API nodejs à travers Cassandra et Solr Ingestion des données des ventes et commandes sur Apache Druid via NIFI Mise en place de tests automatiques afin d’éviter les régressions suite aux nouvelles évolutions Développement de tests unitaires avant déploiement Garantie de la cohérence des données Planification des heures de lancement des différents traitements afin d’éviter d’avoir des données corrompues Déploiement des différents traitements Spark via Jenkins/Livy dans les environnements dédiés Monitoring des Jobs Spark via Yarn et Spark UI avec un système d’alerting via Slack en cas de problème durant les traitements Mise en place de logs qui seront ensuite déposés dans ElasticSearch afin de faciliter la résolution et la recherche des bugs Optimisation des différents traitements Data (optimisation du code Spark, des traitements NIFI) Migration de tous nos workflows NIFI, traitements de données en lots/ temps réel Spark sur Amazon AWS Migration de l’api ainsi que des tables et collections utilisées dans Cassandra Environnement sur AWS Ordonnancement des tâches via Airflow/Python, gestion des différentes dépendances entre les traitements Mise à jour d’une librairie Airflow pour le lancement de nos Jobs Sparks ainsi que le monitoring (vérification des statuts des traitements). Mise en place des capteurs (sensors) nécessaires pour le suivi des statuts des traitements Mise à jour d’une librairie générique Spark pour les jobs d’ingestion via parquet/csv/json

En tant que Data Engineer, vous serrez être en charge de la mise en oeuvre de projets BI Business en plus d'être responsable du développement de solutions d'ingestion et d'analyse de données (entrepôts de données, data marts, etc.) Vos tâches : Architecture de systèmes de données : concevoir des modèles de données robustes et évolutifs pour répondre aux besoins de l'entreprise. Développement ETL : création ou amélioration de processus efficaces d'extraction, de transformation et de chargement pour intégrer et traiter les données. Optimisation des performances : surveillance et réglage fin des pipelines de données et des bases de données pour une vitesse et une efficacité optimales. Mise en oeuvre de la sécurité des données : établir des mesures de sécurité des données pour protéger les informations sensibles et garantir la conformité. Collaboration interfonctionnelle : travailler en étroite collaboration avec des scientifiques des données, des analystes et d'autres équipes pour comprendre les exigences en matière de données et fournir des solutions techniques.

En tant que Data Engineer, vous intégrerez une feature team pour participer aux différents projets de développement. Pour cela vous aurez en charge : · Compréhension des besoins métiers · Conception des solutions nécessitant l’utilisation de technologies cloud & data pour répondre aux besoins métier · Déploiement, optimisation et industrialisation au quotidien des pipelines de données dans le Cloud · Travaille avec différents profils data du groupe (Data Scientist, data engineer, data architect, data analyst) · Assurer le monitoring des modèles en production · Contribuer au développement et à l’amélioration continue des outils data interne

Nous cherchons pour l'un de nos clients en Normandie, pour un démarrage ASAP, un Data Engineer Senior. Dans ce cadre, vos missions seront les suivantes : 📉 Comparaison de jeux de données dans des bases différentes (Influx DB, PostgreSQL, MSSQL, MariaDB) pour identifier les écarts ; 📉 Correction de transformation en Python (Spark, Pandas, Impala), Influx Query Language, SQL-Like ; 📉 Conception d'un modèle de données adapté pour l’exploration à partir du schéma de l’ERP ; 📉 Conception et développement des métriques et des tableaux de bords (pilotage d'activités sous PowerBI) ; 📉 Industrialisation de flux de données ; 📉 Participation à la conception et au développement de la plateforme d’échanges des flux inter applicatifs.

En tant que Data Engineer, vous intégrerez une feature team pour participer aux différents projets de développement. Pour cela vous aurez en charge : · Compréhension des besoins métiers · Conception des solutions nécessitant l’utilisation de technologies cloud & data pour répondre aux besoins métier · Déploiement, optimisation et industrialisation au quotidien des pipelines de données dans le Cloud · Travaille avec différents profils data du groupe (Data Scientist, data engineer, data architect, data analyst) · Assurer le monitoring des modèles en production · Contribuer au développement et à l’amélioration continue des outils data interne

Rattaché au Responsable informatique et intégré à une équipe de dix personnes, vos missions sont les suivantes :Comprendre et analyser les besoins des métiers/clients, Fournir des modèles de données qui répondent aux besoins des collaborateurs, Fournir des données fiables et sécurisées pour aider à la prise de décision, Concevoir, développer et maintenir des pipelines de données efficaces et évolutifs, Transformer et charger des données dans Azure Data Lake, Développer le traitement des données issues de différentes sources, Assurer la conformité aux réglementations en matière de confidentialité des données, Garantir la sécurité des données stockées

Offre d'emploi : Développeur SQL- Data Engineer H/F Lieu : Montbonnot, France (Possibilité de télétravail 2 jours par semaine après intégration) Durée : Contrat d'une année minimum. Description du poste : Nous recherchons des développeurs SQL dynamiques et passionnés pour rejoindre notre équipe. L'objectif étant de faire la migration des données de nos clients vers une nouvelle solution. Responsabilités : Développer des scripts SQL pour les bases de données PostgreSQL, y compris l'extraction, la transformation et le chargement des données, ainsi que la vérification de la qualité et de la cohérence des données. Valider la chaîne de migration pour les projets pilotes. Documenter la chaîne de migration. Collaborer quotidiennement avec les équipes techniques, les experts métiers et les chefs de projet. Participer à la mise en place et à l'adoption de notre nouvel outil par l'équipe de migration. Si vous êtes passionné par les défis techniques et que vous souhaitez rejoindre une équipe dynamique et innovante, n'hésitez pas à postuler.

la Prestation consiste à contribuer à/au(x) :  Gestion de l’intégration des données dans le DataLake Azure  Analyse des données et croisement de ces dernières  Analyse des restitutions responsives et mise en avant de la valeur-ajouté des données  Support de la solution et ses composants Environnement technique Expertises : - Java - Spark - Kubernetes - MS Azure - Kafka - Microsoft PowerBI - Cosmos DB - PosgreSQL Les livrables attendus sont : - Spécifications techniques générales et détaillées - Code - PV de tests - Support aux UATs (User Acceptance Tests) - Package de livraison - Gestion des releases et documentations associées - Assistance aux utilisateurs et/ou support

Un peu de contexte : Choisis ton projet, bâtis la carrière que tu souhaites, deviens un AddixWarrior ! Nous recherchons un Data Engineer pour rejoindre notre équipe. Vous serez amené à : - Transformer les données brutes pour l'analyse (pipelines ETL). - Construire et gérer l'infrastructure Big Data. - Collaborer avec les Data Scientists et les analystes. - Nécessite une expertise en Big Data (SQL, Python) et des compétences en résolution de problèmes

Un peu de contexte : Choisis ton projet, bâtis la carrière que tu souhaites, deviens un AddixWarrior ! Nous recherchons un Data Engineer pour rejoindre notre équipe. Vous serez amené à : - Transformer les données brutes pour l'analyse (pipelines ETL). - Construire et gérer l'infrastructure Big Data. - Collaborer avec les Data Scientists et les analystes. - Nécessite une expertise en Big Data (SQL, Python) et des compétences en résolution de problèmes

Plus précisément, que ferez-vous ? • Développer, construire et maintenir des infrastructures de données d’un point de vue système et sécurité. • S’assurer de la collecte, du stockage et de l’exploitation des flux de données répondant aux enjeux de l’entreprise • Être garant de l’accès qualitatif des sources de données qui viennent alimenter le Data Lake ou le Data Warehouse afin d’en faciliter l’exploitation par les équipes de Data Science • Assurer l’intégration des données • Gérer les infrastructures de données • Participer à la gestion de projets liés à la Data

Cette mission implique la gestion à la fois des angles transactionnels et décisionnels du système. L'objectif ultime est le découplage et la digitalisation de l'architecture et des processus métiers de l'entreprise, dans une démarche de CI/CD (Intégration Continue / Livraison Continue). Responsabilités :- Concevoir, développer, et déployer le middleware en utilisant des technologies telles que Spark, Python, Kafka, Kubernetes, etc.- Assurer l'intégration et la compatibilité du middleware avec l'environnement Cloud de l'entreprise.- Collaborer avec les équipes techniques et métier pour comprendre les besoins et les exigences.- Assurer la supervision et la résolution des problèmes liés à l'architecture.- Mentorat des membres de l'équipe junior pour les aider à monter en compétences sur les technologies et les concepts utilisés.

Un peu de contexte : Choisis ton projet, bâtis la carrière que tu souhaites, deviens un AddixWarrior ! Nous recherchons un Data Engineer pour rejoindre notre équipe. Vous serez amené à : - Transformer les données brutes pour l'analyse (pipelines ETL). - Construire et gérer l'infrastructure Big Data. - Collaborer avec les Data Scientists et les analystes. - Nécessite une expertise en Big Data (SQL, Python) et des compétences en résolution de problèmes