Trouvez votre prochaine mission ou futur job IT.

En tant que Data Engineer, vous serrez être en charge de la mise en oeuvre de projets BI Business en plus d'être responsable du développement de solutions d'ingestion et d'analyse de données (entrepôts de données, data marts, etc.) Vos tâches : Architecture de systèmes de données : concevoir des modèles de données robustes et évolutifs pour répondre aux besoins de l'entreprise. Développement ETL : création ou amélioration de processus efficaces d'extraction, de transformation et de chargement pour intégrer et traiter les données. Optimisation des performances : surveillance et réglage fin des pipelines de données et des bases de données pour une vitesse et une efficacité optimales. Mise en oeuvre de la sécurité des données : établir des mesures de sécurité des données pour protéger les informations sensibles et garantir la conformité. Collaboration interfonctionnelle : travailler en étroite collaboration avec des scientifiques des données, des analystes et d'autres équipes pour comprendre les exigences en matière de données et fournir des solutions techniques.

CITECH recrute ! 👌 👍 Si vous souhaitez apporter vos compétences dans la réalisation d’un projet important, nous avons LA mission pour vous ! Nous recherchons en effet un(e) Data Engineer (H/F) 🚀 💰 Votre mission est pour un client reconnu dans le secteur bancaire, implanté dans de nombreuses villes en France, il a pour objectif d'accélérer sa transformation digitale afin d'offrir toujours plus de solutions et de services innovants. 💳 🙌🔽 Vous aurez donc les missions principales suivantes : 🔽🙌 🔸 Support de l'application (notamment lors des clôtures mensuelles). 🔸 Participer à la maintenance évolutive. 🔸 Participer à la conception et l'implémentation de nouvelles fonctionnalités. 🔸 Participer à la refonte technique. 🔸 Participer à la migration de Talend vers Spark/scala.

Basée à Lille, Lyon, Nantes, Grenoble et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s’imposer comme une référence en matière de freelancing par son expertise dans l’IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Data engineer (H/F) à Lille, Hauts-de-France, France. Les missions attendues par le Data engineer (H/F) : - Développer les compétences techniques et l'autonomie de l'équipe de Data Engineer - Faciliter la coopération - Développer et garantir les pratiques de développement et de documentation associés (DevOps) - Développer l'industrialisation de modèles statistiques ou de machine learning demandés par le Product Owner - Garantir le maintien et la qualité de fonctionnement d'ensemble ainsi que la performance - Assurer une veille technologique sur les outils data - Collecter, stocker puis exposer les données - Recueillir les besoins métiers détaillés auprès du Product Owner - Définir et valider avec le Data Architect les solutions techniques en cohérence avec les normes, standards et processus - Développer les solutions techniques de collecte / stockage / exposition de la donnée - Mettre en place l'automatisation des traitements (pipelines) - Réaliser les tests unitaires, d'intégration et procéder à la mise en production - Industrialiser et automatiser le nettoyage de la donnée selon les règles du Data Steward - Gérer le cycle de vie de la donnée conformément aux règles définies - Manager la qualité technique, la gestion du run et sécuriser l’accès aux données

Ingestion des données sources via NIFI dans des tables de travail Cassandra ou en parquet sur AWS S3 Développement des Traitements Spark/Scala en lots des données sources ingérées Traitement au quotidien des nouvelles données clients (ajout nouveaux clients Enrichissement au quotidien des données des clients avec des fichiers de scoring et de segmentation (fournis par un autre projet) Traitement toutes les 8 heures des nouvelles ventes avec notamment la mise à jour des ventes auditées ainsi que l’enrichissement des ventes avec les données des clients Ingestion toutes les 8 heures des données des ventes dans Druid Ajout et mise à jour des nouveaux produits des marques avec leur description, leur taille, leurs stocks …. Traitement en temps réel via Kafka/Spark des données sources fournies par les marques dans les topics dédiés : Enrichissement des données des produits des différentes marques en temps réel avec les informations des stocks, des prix Mise à jour temps réel des données des ventes Mise à jour temps réel des données clients Mise à jour des commandes clients Anonymisation des informations clients (RGPD) Mise à jour des stocks disponibles en magasin Exposition des informations des produits en transit (magasin d’origine, magasin destination) afin que les utilisateurs de Luce puissent estimer leurs dates de livraison Traitement et Stockage des données dans Apache Solr et Cassandra Exposition des données traitées dans une API nodejs à travers Cassandra et Solr Ingestion des données des ventes et commandes sur Apache Druid via NIFI Mise en place de tests automatiques afin d’éviter les régressions suite aux nouvelles évolutions Développement de tests unitaires avant déploiement Garantie de la cohérence des données Planification des heures de lancement des différents traitements afin d’éviter d’avoir des données corrompues Déploiement des différents traitements Spark via Jenkins/Livy dans les environnements dédiés Monitoring des Jobs Spark via Yarn et Spark UI avec un système d’alerting via Slack en cas de problème durant les traitements Mise en place de logs qui seront ensuite déposés dans ElasticSearch afin de faciliter la résolution et la recherche des bugs Optimisation des différents traitements Data (optimisation du code Spark, des traitements NIFI) Migration de tous nos workflows NIFI, traitements de données en lots/ temps réel Spark sur Amazon AWS Migration de l’api ainsi que des tables et collections utilisées dans Cassandra Environnement sur AWS Ordonnancement des tâches via Airflow/Python, gestion des différentes dépendances entre les traitements Mise à jour d’une librairie Airflow pour le lancement de nos Jobs Sparks ainsi que le monitoring (vérification des statuts des traitements). Mise en place des capteurs (sensors) nécessaires pour le suivi des statuts des traitements Mise à jour d’une librairie générique Spark pour les jobs d’ingestion via parquet/csv/json

Dans le cadre de sa transformation digitale, notre client utilise les technologies Big Data et a créé une plateforme depuis 2018. Elle est utilisée par les différentes directions métiers et le Laboratoire d’Innovation Digitale et son équipe de Data Science. Je cherche pour l'un de nos clients un Data Engineer Senior pour rejoindre leur factory Data d'un 15 aine de Data engineer et autant en BI (UX/UI) : Mission : Construire leur plateforme data Transformer les workflows Élaborer les modèles data pour les équipes BI Travailler sur la qualité des data Développer des outils d'industrialisation pour les data scientists

En tant que Data Engineer, vous intégrerez une feature team pour participer aux différents projets de développement. Pour cela vous aurez en charge : · Compréhension des besoins métiers · Conception des solutions nécessitant l’utilisation de technologies cloud & data pour répondre aux besoins métier · Déploiement, optimisation et industrialisation au quotidien des pipelines de données dans le Cloud · Travaille avec différents profils data du groupe (Data Scientist, data engineer, data architect, data analyst) · Assurer le monitoring des modèles en production · Contribuer au développement et à l’amélioration continue des outils data interne

Nous cherchons pour l'un de nos clients en Normandie, pour un démarrage ASAP, un Data Engineer Senior. Dans ce cadre, vos missions seront les suivantes : 📉 Comparaison de jeux de données dans des bases différentes (Influx DB, PostgreSQL, MSSQL, MariaDB) pour identifier les écarts ; 📉 Correction de transformation en Python (Spark, Pandas, Impala), Influx Query Language, SQL-Like ; 📉 Conception d'un modèle de données adapté pour l’exploration à partir du schéma de l’ERP ; 📉 Conception et développement des métriques et des tableaux de bords (pilotage d'activités sous PowerBI) ; 📉 Industrialisation de flux de données ; 📉 Participation à la conception et au développement de la plateforme d’échanges des flux inter applicatifs.

Notre client dans le secteur Transport et logistique recherche un Data Engineer Confirmé H/F Descriptif de la mission: Dans le cadre de l'un de ses projets, notre client souhaite faire appel à un Freelance expérimenté sur la Data. Vous serez intégré au sein d'une équipe 13 personnes dédiées aux données BI des opérations de notre client. Travail en mode Agile/Safe (suite Atlassian/JIRA/Confluence), en collaboration avec nos AMOs et MOAs du domaine CLIENT. Les livrables attendus sur toute la chaîne BI traditionnelle autour de Qlickview et PowerBI. Vous aurez pour mission d'assurer la continuité de tous les services de reporting data (rapports, dashboards, univers) tout en mettant en place une nouvelle architecture. Environnement technique : - ETL Powercenter - SQL (autonome) - Teradata (environnement Teradata, non requis, la formation sera assurée) -Qlickview - Business Object La mission peut s'effectuer en remote avec un jour de déplacement par semaine sur site client à Toulouse.

En tant que Data Engineer, vous intégrerez une feature team pour participer aux différents projets de développement. Pour cela vous aurez en charge : · Compréhension des besoins métiers · Conception des solutions nécessitant l’utilisation de technologies cloud & data pour répondre aux besoins métier · Déploiement, optimisation et industrialisation au quotidien des pipelines de données dans le Cloud · Travaille avec différents profils data du groupe (Data Scientist, data engineer, data architect, data analyst) · Assurer le monitoring des modèles en production · Contribuer au développement et à l’amélioration continue des outils data interne

Titre du poste Administrateur Systèmes Linux H/F (CDI). Localisation : Louviers (27) Fourchette de salaire : Entre 34 et 38K€ selon expérience. Date de démarrage : Immédiate (bien-entendu, on vous attend si vous avez un préavis). Alors, vous nous rejoignez ?! Votre maîtrise de l’environnement de production et des systèmes Linux vont vous permettre de prendre en charge l’administration de l’infrastructure en toute autonomie De belles missions vous attendent chez notre client sur des environnements riches et challengeants : · Gestion et administration des environnements de production Linux, infrastructures et applications. · Traitement des incidents de niveau 3 · Participation active dans le cadre des projets d’évolutions techniques, · Création de scripts d’installation sur les serveurs d’application, · Automatisation et intégration continue avec Jenkins · Optimiser la performance systèmes et applicatifs · Participation aux phases de validation technique lors des mises en production, · Rédaction de documentations techniques et procédures d’exploitation

DSI Group recherche actuellement un(e) Développeur(se) Python/Django H/F , pour un de nos clients basé en Ile-De-France. Vos missions : Développement logiciel en méthodologie agile Gestion, traitement et analyse des modèles de données Programmation en Python Développement de solution SaaS Développement features et API Conception de l’architecture des logiciels (Dont modules ERP, Big Data …) Intégration des algorithmes de machine learning Tests techniques, suivi et maintenance Intégration continue / Déploiement automatisés Rédaction de documentation technique du code Environnements techniques : Python Bibliothèques scientifiques Python (Scipy, Numpy) Bibliothèques graphiques Python (Qt, PyQtGraph, OpenCV) Web (Django, HTML, CSS, JS, ThreeJS) Base de données relationnelle, type PostgreSQL Scripts shell Linux (bash) NGINX, Gunicorn Langage C Outils de gestion de code (GitLab, CI, SonarQube)

Cette mission implique la gestion à la fois des angles transactionnels et décisionnels du système. L'objectif ultime est le découplage et la digitalisation de l'architecture et des processus métiers de l'entreprise, dans une démarche de CI/CD (Intégration Continue / Livraison Continue). Responsabilités :- Concevoir, développer, et déployer le middleware en utilisant des technologies telles que Spark, Python, Kafka, Kubernetes, etc.- Assurer l'intégration et la compatibilité du middleware avec l'environnement Cloud de l'entreprise.- Collaborer avec les équipes techniques et métier pour comprendre les besoins et les exigences.- Assurer la supervision et la résolution des problèmes liés à l'architecture.- Mentorat des membres de l'équipe junior pour les aider à monter en compétences sur les technologies et les concepts utilisés.

Responsabilités : Concevoir, développer et maintenir des pipelines de données robustes et évolutifs pour l'ingestion, le traitement et la transformation des données. Travailler en étroite collaboration avec les équipes métier pour comprendre leurs besoins en matière de données et fournir des solutions techniques efficaces. Optimiser les performances et la qualité des données tout au long du cycle de vie du projet. Participer à la conception et à l'implémentation de l'architecture des données, en assurant la scalabilité, la sécurité et la fiabilité. Effectuer une veille technologique constante pour rester à jour avec les meilleures pratiques et les outils émergents dans le domaine du traitement des données.

Espace-Freelance, réseau de consultants indépendants, recherche pour l’un de ses clients directs : un Data Engineer (H/F), OFFRE A POURVOIR DANS LA METROPOLE LILLOISE. 2 jours de télétravail MAXIMUM. Votre mission : Analyse des besoins, Collecter les données via des PIPELINE Mesurer la qualité des données Conception et Développements de Dashboards et des modèles optimisés Capter, intégrer, structurer et nettoyer les données Historiser les données et les cartographier Environnement technique : GCP & BigQuery ; Terraform & Github ; PowerBI Gen 2. Profil Expérimenté recherché.

🌟 Envie d’un nouveau challenge... CELAD vous attend ! 🚀 Nous poursuivons notre développement et recherchons actuellement un(e) Data Architect pour intervenir chez un de nos clients. 💻💼 Votre mission 🎯 : Vous arrivez avec votre expertise technique et vous plongez dans le développement. Vous serez là, au cœur de la guilde des architectes, assurant la bonne marche du flux de données et donnant un coup de main aux équipes de développement. C'est vous qui aurez la responsabilité de donner vie à la solution dans votre domaine, en documentant chaque étape du processus. Et puis, vous avez l'habitude de façonner, documenter et garder en bon état les modèles de données, tant logiques que physiques.

🌟 Envie d’un nouveau challenge... CELAD vous attend ! 🚀 Nous poursuivons notre développement et recherchons actuellement un(e) Data Ingénieur | Big Data pour intervenir chez un de nos clients. 💻💼 Contexte : Vous ferez partie d'une équipe dynamique de 6 personnes, répartie sur plusieurs sites, et vous participerez activement au développement informatique utilisant des technologies telles que Hadoop, HDFS, Hive, Spark SQL et PySpark, ainsi que Sqoop. Vos principales responsabilités seront les suivantes 🎯 : - Contribuer au maintien en conditions opérationnelles - Participer à la conception - Effectuer des développements - Assurer les livraisons - Réaliser les recettes