Trouvez votre prochaine mission ou futur job IT.

API Python Data Pipeline DBT Documentation Compétences techniques Python - Expert - Impératif DBT - Confirmé - Impératif Github - Confirmé - Impératif Terraform - Confirmé - Souhaitable Anglais Professionnel (Impératif) The aim of this product is to optimise order reception checks by targeting the parcels/pallets to be audited at the logistics sites's entrance. The project is divided into 2 technical modules: - an API that delivers a control decision, based on our algorithm, to all consumers from ADEO IT system (WMS), - a set of data pipelines sourced from BigQuery datasets, supplying a feature store. This feature store is then used by our API and to train our predictive model. We are looking for a Data Engineer to develop and maintain these two modules. Responsibilities : As a data Engineer, your responsibilities are the following : ● Work with the dev team to design and implement modern, scalable data solutions using a range of new and emerging technologies. ● Work with Agile and DevOps techniques and implementation approaches in the delivery ● Design and document data models that support AI products ● Orchestrate data pipelines ● Manage & responsible of data quality ● Design and document API that supports AI products ● Work closely with data scientists, ML engineer, DevOps/SRE Qualifications : ● Experience working with GCP ● Experience in Python development ● Experience in API development. Good knowledge of FastAPI is required. ● Experience in Docker. ● Experience in data pipeline orchestration. Good knowledge of DBT. ● Experience in CI/CD. Knowledge of Github & Github actions is required. ● Fluency in english is required

Dans le cadre de la plateforme de chaîne d’approvisionnement numérique du client, nous sommes responsables d’un service d’apprentissage automatique en production dans 6 BU pour l’instant. L’objectif de ce produit est d’optimiser les contrôles de réception des commandes en ciblant les colis / palettes à auditer à l’entrée des sites logistiques. Le projet est divisé en 2 modules techniques : une API qui délivre une décision de contrôle, basée sur notre algorithme, à tous les consommateurs du système informatique (WMS), un ensemble de pipelines de données provenant de jeux de données BigQuery, alimentant un magasin de fonctionnalités. Ce magasin de fonctionnalités est ensuite utilisé par notre API et pour entraîner notre modèle prédictif. Nous recherchons un/une Data Engineer pour développer et maintenir ces deux modules. Responsabilités : En tant qu’ingénieur de données, vos responsabilités sont les suivantes : ● Travailler avec l’équipe de développement pour concevoir et mettre en œuvre des solutions de données modernes et évolutives en utilisant une gamme de nouvelles technologies émergentes. ● Travailler avec des techniques Agile et DevOps et des approches de mise en œuvre dans la livraison ● Concevoir et documenter des modèles de données qui soutiennent les produits IA ● Orchestrez des pipelines de données ● Gérer et être responsable de la qualité des données ● Concevoir et documenter l’API qui prend en charge les produits IA ● Travailler en étroite collaboration avec les data scientists, les ingénieurs ML, DevOps/SRE

Description de la mission: Notre client souhaite renforcer le domaine Data de sa digitale factory avec Data engineer de plus de 5 ans d'expérience. Contexte : Dans le cadre du décommissionnement d'un datawarehouse legacy, la migration du flux Marketing est nécessaire pour assurer la continuité de service du reporting marketing ; But du projet : Migrer techniquement les extractions et les transformations de données du flux marketing de la base de données GDW depuis les outils INFORMATICA , SQL Server et SAS vers notre environnement data stratégique One Data Plateforme (Snowflake). Si cela ne met pas en risque la date de livraison, DBT et airflow peuvent être utilisés sur ce projet.

Vous interviendrez au sein de l’équipe Analytics et contribuerez au développement de la plateforme DataHub, dans un environnement international. Missions Analyser les besoins auprès des utilisateurs de Datahub (métiers, équipes IT, process...), formalisation des échanges, des process et développements à effectuer Activités DevOps pour les applications Datahub : Effectuer les déploiements et mises à jour d’applications sur clusters Kubernetes Assurer la customisation et les paramétrages avancés d’applications open-sources Participer à l’amélioration continue de la stabilité des applications Réaliser le monitoring des applications Veiller à la réalisation et au suivi des sujets d’architecture IT avec des spécialistes architecture IT (réseau, cluster Kuberneters, bases de données relationnelles, containers, usage des ressources de calculs) Réaliser les développements : Automatisation de tâches planifiées (rafraichissements de données, calculs de KPI, opérations techniques…) avec Python Traitement de données Parquet (modifications des données et schémas) avec pyArrow, pySpark ou polars Requêtes Adhoc, qualité de données, modélisation et réalisation de développements SQL complexes (Ex : datasets pour rapports BI), performance tuning

Au sein de l'équipe projet Business Intelligence & Big Data, l'expert SPARK/SCALA aura les activités suivantes : - Conception détaillée, fonctionnelle et technique. - Développements SPARK / SCALA - Contribution à la formalisation des plans de tests, exécution des tests unitaires et d'un premier niveau de tests d'intégration. - Résolution des anomalies pendant les phases d’intégration fonctionnelle et de recette utilisateur. - Packaging et déploiement en pre-production et production. - Optimisation des traitements afin de garantir la qualité de service standards du DWG. - Mise en œuvre des solutions industrielles et de réentrance permettant une reprise optimum des traitements en cas d’incident en production. - Mise en service et accompagnement au déploiement. - Suivi des environnements. Le consultant devra travailler en étroite collaboration avec le Chef de Projet, responsable du lot et l'équipe de développement du Programme. Une connaissance d'Oracle est nécessaire Une expérience >5 ans sur des technologies SPARK & SCALA est nécessaire Une connaissance de contexte technologique similaire est un plus

Proelan recrute pour un de ses clients basé à Sophia Antipolis, un(e) Ingénieur(e) Python orienté(e) Data. ** Rythme de travail : 4 jours de télétravail sont possibles pour cette mission. Dans le cadre de l'évolution du système d'information et dans le contexte de la gestion et de l'analyse de données (BI) du client, tu seras sous la supervision d'un chef de projet. Tes principales missions seront : - Le développement et l'optimisation de scripts concernant la manipulation des données ; - L'automatisation des processus de traitement et de surveillance ; - la programmation en respectant les normes de qualité et de performance établies ; - La contribution à la validation des livrables en effectuant les ajustements nécessaires ; - La participation active aux rituels de travail Agile, notamment les réunions Scrum ; - La rédaction de la documentation logicielle requise ; - La maintenance opérationnelle des applications ; - L' observance stricte des politiques de sécurité du système d'information et du RGPD. Ta stack technique : - Maîtrise des technologies et frameworks : Python (contexte DATA), SQL ; - Maîtrise des outils de construction logiciel : Git, Jenkins, Sonar ; - Pratique des méthodologies agiles Scrum/KANBAN ; - Connaissance d'un outil d'orchestration de type Airflow est un plus ; - Pratique d'ETL (Semarchy xDI) est un plus.

En tant que Data Engineer pour l'un de nos clients grands comptes, votre rôle s'articulera autour de différents axes : - Appréhender le contexte et les enjeux métier du client - Traiter et consolider les données pour permettre le calcul des indicateurs de performance - Définir des architectures data - Concevoir et développer des pipelines de données - Retranscrire les besoins métiers en solution technique

A propos de JEMS Nous sommes le seul industriel de la donnée en Europe. Notre métier est de créer, manager et exploiter le patrimoine data de nos clients. Nous avons la conviction que chaque entreprise peut adopter une démarche innovante de gestion de la donnée et créer des cas d'usage disruptifs en réduisant l'impact écologique et en diminuant la dette technique. Nous comptons plus de 840 collaborateurs en mission chez nos clients grands comptes dans tout secteur d'activité : banque, assurance, santé, énergie, e-commerce, automobile, luxe, retail, transport, agritech... Vos missions Nous recherchons un(e) data engineer expérimenté capable de trouver des solutions innovantes et robustes à l'ensemble des problématiques Data. Vous aurez la charge de : Participer à la conception et réalisation d'une solution Data depuis l'acquisition jusqu'à l'exploitation de la donnée en accompagnant la réflexion des directions métiers Identifier, collecter et intégrer les données nécessaires à la résolution de problématiques métier et opérationnelles Garantir la qualité des données en mettant en place les outils de mesure et de suivi adéquats en appliquant les règles de Data Gouvernance et de Data Management Transcrire des besoins métier en règles de gestion data Industrialiser le déploiement de vos réalisations à travers l'implémentation de tests unitaires, d'intégration et de non-régression Vos compétences En tant que Data Engineer vous maîtrisez : Le langage SQL Un langage objet (Python, JAVA, Scala) Un framework de calcul distribué L'intégration continue (Git, JUnit, SonarQube, Jenkins) Un cloud provider (AWS, GCP, Azure) ou une distribution Big Data (Hortonworks, Cloudera, Datastax) Les concepts de la modélisation relationnelle et non-relationnelle Votre profil Diplômé(e) d'une école d'ingénieur ou d'une université, vous justifiez d'une expérience professionnelle dans un contexte projet Data. Rigoureux, proactif et autonome vous restez en veille technologique et êtes force de proposition. Vous êtes capable de prendre de la hauteur et vous adapter aux enjeux du projet. Avantages à travailler chez JEMS Une JEMS Académie au service de votre montée en compétences (formations et certifications sur les technologies de pointe) Un accompagnement personnalisé et un management de proximité pour vous proposer des évolutions de carrière Une intégration dans des communautés techniques et de pratiques JEMS (encadrement par des experts, échanges sur les bonnes pratiques, favoriser l'innovation...) Une entreprise reconnue \"Great Place To Work\" Des évènements et séminaires inoubliables, des soirées d'agence conviviales Mobilité Une mobilité nationale et internationale pour vous accompagner dans vos projets de vie. Diversité Le Groupe JEMS porte fièrement sa valeur \"Diversité\" en se mobilisant pour l'inclusion et l'égalité des chances et en luttant contre toutes formes de discrimination. Tous nos postes sont ouverts aux personnes en situation de handicap.

Contexte : Dans le cadre de la plateforme digital supply chain, nous sommes pour l'instant responsables d'un service de machine learning en production dans 6 BU. L'objectif de ce produit est d'optimiser les contrôles à réception des commandes en ciblant les colis/palettes à auditer à l'entrée des sites logistiques. Le projet est divisé en 2 modules techniques : - une API qui délivre une décision de contrôle, basée sur notre algorithme, à tous les consommateurs depuis le système informatique - un ensemble de pipelines de données provenant d'ensembles de données BigQuery, fournissant un magasin de fonctionnalités. Ce magasin de fonctionnalités est ensuite utilisé par notre API et pour entraîner notre modèle prédictif. Nous recherchons un Data Engineer pour développer et maintenir ces deux modules. Responsabilités : En tant que data Engineer, vos responsabilités sont les suivantes : ? Travailler avec l'équipe de développement pour concevoir et mettre en œuvre des solutions de données modernes et évolutives en utilisant une gamme de technologies nouvelles et émergentes. ? Travailler avec les techniques Agile et DevOps et les approches de mise en œuvre dans la livraison ? Concevoir et documenter des modèles de données prenant en charge les produits d'IA ? Orchestrer les pipelines de données ? Gérer et responsable de la qualité des données ? Concevoir et documenter une API prenant en charge les produits d'IA ? Travailler en étroite collaboration avec les data scientists, les ingénieurs ML, DevOps/SRE

Nous recherchons un Data engineer pour une mission chez notre client qui active dans le secteur du retail : Le projet est divisé en 2 modules techniques : une API qui fournit une décision de contrôle à tous les utilisateurs du système informatique (WMS), basée sur notre algorithme, un ensemble de pipelines de données alimentés à partir de jeux de données BigQuery, alimentant un magasin de fonctionnalités. Ce feature store est ensuite utilisé par notre API et pour entraîner notre modèle prédictif. Le prochain collaborateur aura pour mission de développer et maintenir ces deux modules. Responsabilités : Travailler avec l'équipe de développement pour concevoir et mettre en œuvre des solutions de données modernes et évolutives en utilisant une gamme de nouvelles technologies émergentes. Travailler avec des techniques Agile et DevOps ainsi que des approches d'implémentation dans la livraison. Concevoir et documenter des modèles de données qui soutiennent les produits d'IA. Orchestrer les pipelines de données. Gérer et être responsable de la qualité des données. Concevoir et documenter des API qui soutiennent les produits d'IA. Travailler en étroite collaboration avec les scientifiques des données, les ingénieurs en ML et les équipes DevOps/SRE.

Le projet est la mise en oeuvre de l'internalisation d'une fonctionnalité à l'outil interne, qui est gérée aujourd'hui par un outil tiers. Vos missions seront : Participer à l'audit fonctionnel et à la compréhension des besoins métiers Rédiger les spécifications et le cahier des charges Réaliser les MCP et MPD Mettre en place de contrôles de données et réalisation de tableaux de bords Participer aux réunions d'avancement Suivre et évaluer la bonne mise en place via des tests d'impacts Gérer la bonne mise à disposition de la documentation

Dans le cadre d'une assistance technique, pour l'un de nos clients se trouvant en métropole Lilloise, nous recherchons: Un/une: Data Engineer / Analytics engineer. Vos missions sont les suivantes: - Automatiser et industrialiser les pipelines de transformation de données qui servent aux dashboards, modèles IA et data analyses - Construire et modéliser la semantic layer de domaine métier (commerce, supply, sports, etc.) ; - Définir la stratégie de nos stacks techniques et garantir la qualité des données exposées ; - Maintenir et repenser les datasets et pipelines existants pour servir une plus large variété de use cases ; - Permettre de l'analytique intelligente en construisant des datasets robustes, fiables et pertinents ; - Contribuer activement à notre communauté d'analytics engineers et de data engineers ; Et après ? En tant que véritable partie prenante de DAVRICOURT, vous vous verrez proposer des projets techniques et à forte valeur ajoutée par nos équipes.

Notre client, un groupe bancaire, recherche un consultant techino-fonctionnel, Data engineer risque de crédit (H/F). Renforcement de l'équipe pour le projet Surveillance Crédit, axé sur la production de POC, l'analyse métier, et le développement de solutions tactiques. Tâches et activités de la mission - Contribution à la production de POC (Proof of Concept). - Réalisation d'analyses métier spécifiques au risque de crédit. - Développement de solutions tactiques pour la gestion et l'analyse de données. Livrables - POCs fonctionnels pour nouvelles initiatives. - Rapports d'analyses métier détaillés. - Solutions tactiques développées et implémentées.

Principales responsabilités : - Collecte de données provenant de sources externes - Exploitation des capacités du Datalake (GCP) - Implémentation de la chaîne de traitement - Développement en conformité avec les normes architecturales établies - Élaboration et documentation des user stories - Création de scripts de déploiement - Priorisation de la résolution des anomalies - Contribution à la mise en place de la chaîne de livraison continue - Automatisation des tests fonctionnels - Encadrement et supervision des travaux des ingénieurs de données de l'équipe Environnement technique : GCP, Spark, Kafka, Scala

Notre client dans le secteur Industrie recherche un Data engineer Snowflake H/F But du projet : Migrer techniquement les extractions et les transformations de données du flux marketing de la base de données GDW depuis les outils INFORMATICA , SQL Server et SAS vers notre environnement data stratégique One Data Plateforme (Snowflake). Si cela ne met pas en risque la date de livraison, DBT et airflow peuvent être utilisés sur ce projet. Les principales taches seront : - Effectuer le reverse engineering des flux informatica - implémenter les flux dans snowflake - Orchestrer les flux dans snowflake - effectuer la recette en 1 pour 1 des fichiers produits

Contexte de la mission : Viveris apporte son expertise à ses clients pour la gestion et l'exploitation des serveurs du périmètre bureau technique, dans le but de maintenir les infrastructures opérationnelles à un niveau optimal en termes de qualité, de productivité et de sécurité. Dans ce cadre, nous recherchons un Data Engineer. Sa principale mission consistera à assurer le bon fonctionnement des systèmes de production bancaire, en garantissant leurs disponibilités, leurs performances et leurs sécurités. Intégré au sein du département Infrastructures, vous serez chargé de diriger et de coordonner les projets liés à l'infrastructure technique, en veillant à leur succès dans un environnement dynamique et en constante évolution. Responsabilités : - Concevoir, développer et mettre en oeuvre des pipelines de données robustes, fiables et évolutifs pour l'extraction, la transformation et le chargement (ETL) des données provenant de différentes sources ; - Collaborer avec les équipes métier pour comprendre leurs besoins et concevoir des solutions de données innovantes et efficaces ; - Concevoir et mettre en oeuvre des modèles de données et des architectures de données optimisées pour la performance et l'évolutivité ; - Assurer la qualité et l'intégrité des données tout au long du processus de traitement, en mettant en place des contrôles de qualité et des mécanismes de surveillance.