Trouvez votre prochaine mission ou futur job IT.

En quelques mots Cherry Pick est à la recherche d'un "Data Engineer AWS senior" pour un client dans le secteur de l'Energie Description 🧩 Contexte de la mission Dans le cadre du renforcement de son équipe Data, notre client recherche un Data Engineer AWS Senior capable de concevoir, maintenir et optimiser les pipelines de données critiques de la plateforme analytique. La mission s’inscrit dans un environnement cloud AWS, au cœur de la transformation data et de l’industrialisation des flux d’ingestion, de traitement et d’exposition des données. 🎯 Objectifs et livrables 🔹 Responsabilités principales : Concevoir, développer et maintenir des pipelines de données ETL/ELT robustes et scalables. Travailler principalement en Python pour manipuler, transformer et automatiser les flux d’ingestion de données. Gérer les workflows SQL et concevoir des modèles de données relationnels sur PostgreSQL. Exploiter les services AWS (Lambda, Step Function, EC2, S3, Glue, etc.) pour l’orchestration et la livraison des données. Collaborer étroitement avec les équipes backend et data consumers pour assurer la cohérence des intégrations et des APIs. Mettre en œuvre des processus de monitoring, test et optimisation des systèmes de données afin de garantir performance, fiabilité et sécurité. Contribuer activement à l’amélioration continue de l’architecture et des bonnes pratiques techniques (code review, automatisation, documentation).

Description de la mission : Dans le cadre d’un projet stratégique de consolidation et d’analyse des données commerciales d’une grande institution financière, nous recherchons un Data Engineer SQL confirmé pour rejoindre une équipe Agile dédiée à la gestion et à la valorisation des données de marché. Vos principales missions : Concevoir, alimenter et faire évoluer les flux de données d’un entrepôt décisionnel (Data Warehouse / Datamart). Développer et optimiser des procédures stockées en T-SQL sur SQL Server 2019. Mettre en place et surveiller l’ ordonnancement des traitements via Control-M. Intégrer des données issues de diverses sources (fichiers plats, XML, API REST…). Effectuer les tests unitaires et recettes techniques . Rédiger la documentation technique et assurer le support applicatif . Travailler en méthodologie Agile (Kanban) avec les Business Analysts. Participer aux astreintes selon le planning de l’équipe.

Ton quotidien chez Komeet sera rythmé par : Animation des ateliers afin d’étudier et cadrer les besoins clients Préconisation, conception et mise en œuvre des plateformes Data (datawarehouse, datalake/lakehouse ) Rédaction de dossiers d’architecture et spécifications techniques Mise en œuvre des stratégies d’exploitation de plateformes Data Construction et déploiement des pipelines de données (ETL / ELT) à l’aide de langage de programmation ou d’outils de type Low-Code Mis en œuvre des flux d’intégration (en batch ou streaming) de données structurées/non structurées et volumineuses. Tests, validation et documentation des développements Réalisation d'audits et projets d’optimisation Nos choix technologiques : - Talend - DataBricks - Snowflake - DBT - Starburst - Tableau / Power BI / Looker - AWS, Azure et GCP

Bonjour, Dans le cadre de ses projets clients, Visian est à la recherche d'un Data Engineer Pyspark/Dagster Mission: Architecture : Définition de l’organisation du Lakehouse dans le S3 Chargement : Remplacement des pipelines Informatica par des pipelines spark, pyspark et python Ordonnancement : Remplacement du DAC de OBIEE par Dagster Restitution : Création de rapports sur Apache SuperSet sur la base du LakeHouse Les principales missions à mener sont : - Description des fonctionnements existants et des besoins couverts, - Développement d’une solution de collecte de données, - Développement d’un système de stockage de la donnée, - Réalisation de tests unitaires, - Mise en place d’un suivi des traitements, - Assistance à la recette par la MOA / les utilisateurs. Si vous êtes actuellement à l'écoute du marché, n'hésitez pas à m'envoyer votre candidature. Bien à vous, Nadia

Principales missions : -Assurer un leadership technique auprès des équipes de développement. -Conseiller les parties prenantes et traduire les exigences stratégiques en architectures Azure et Databricks sécurisées, scalables et fiables. -Participer activement aux phases de conception, développement et tests. -Porter la vision technique au sein des équipes Agile. -Garantir la qualité des livrables et veiller à la réduction de la dette technique. -Réaliser la modélisation des données. -Assurer une veille technologique et participer aux POCs. -Enrichir la communauté des Data Engineers par le partage de connaissances et la promotion des CONCEPTION S'assure de l'exhaustivité et de la pertinence des spécifications confiées aux développeurs Coordonne les plans de développements et activités des développeurs sur l'ensemble des composants logiciels impactés Réalise la conception technique des applications et des échanges dans le cadre de projets et évolutions en privilégiant la réutilisation des composants existants DÉVELOPPEMENT Elabore, maintient et renforce les directives d'intégration logicielle et réalise la conception technique des applications et des échanges dans le cadre de projets et évolutions en privilégiant la réutilisation des composants Aligne son travail avec les principes d'urbanisation et les directives générales d'intégration logicielle préconisée par l'Architecture Transverse Supervise les aspects techniques d'un projet (à la demande du responsable de pôle) Participe à l'analyse fonctionnelle détaillée des besoins utilisateurs et peut être sollicité pour des ateliers de définition des spécifications générales Valide le design du logiciel et propose les frameworks utilisés dans le cadre du projet NORMALISATION ET QUALITÉ Assure la qualité du code des programmes informatiques Elabore et maintient les normes et patterns spécifiques d'intégration ainsi que leur diffusion auprès des développeurs et assure que ces normes / patterns sont bien suivies par l'équipe Est responsable également de l'élaboration et du maintien des abaques de coûts / délais nécessaires en regard des services fournis Assure la qualité des environnements de développement, des développements, du packaging et le bon usage des technologies à travers des audits de code Fait une veille permanente sur les évolutions technologiques ASSEMBLE LES COMPOSANTS ET PRÉPARE LA LIVRAISON DE SOLUTIONS Dans le cadre de projets, assemble les composants unitaires dans un package cohérent destiné au déploiement de la solution et le met sous gestion de configuration Assure la mise à disposition des environnements de développement Définit et administre une bibliothèque de composants logiciels, normes et patterns et assure la documentation de ces composants réutilisables dans la documentation ASSURE LE SUPPORT DE NIVEAU 3 Assure le support N3 pour la résolution de problèmes avec des composants développés par l'équipe et déployés dans les environnements Contribue à la rédaction des contrats de TMA en y intégrant les normes techniques COMMUNICATION ET VEILLE TECHNOLOGIQUE Assure une veille permanente sur les évolutions technologiques Assiste le responsable de pôle à identifier les axes d'amélioration technique et des compétences à développer

Dans le cadre de la mise en place d’une nouvelle solution de préparation et de gestion de données sous SQL Server, nous recherchons un Data Engineer SSIS capable d’intervenir en autonomie et d’accompagner les équipes dans l’usage et l’évolution de la plateforme de données. 🧩 Tâches principales Concevoir, développer et maintenir les packages SSIS pour l’intégration et le traitement des données. Développer et optimiser les procédures stockées SQL Server et autres traitements de préparation de données. Accompagner les utilisateurs dans l’utilisation de la plateforme SQL et SSIS. Assurer le support fonctionnel et technique sur les traitements de données. Participer à la formation et au transfert de compétences . Relire et conseiller sur les développements existants. Participer aux phases de conception technique et revue de code . Collaborer avec les équipes métiers et IT pour garantir la qualité et la pertinence des livrables . Travailler dans un cadre Agile / Scrum (participation aux cérémonies, estimation des charges, amélioration continue).

Intitulé du poste : Data Engineer Azure Contexte du poste Au sein du Centre de Compétences Data, le Data Engineer participe activement aux différents projets de transformation digitale du groupe. Il conçoit, développe et déploie des solutions data et reporting permettant aux utilisateurs métiers d’analyser efficacement leurs activités à travers des tableaux de bord et indicateurs de performance. Missions principales Participer à la conception et à la mise en œuvre des architectures Data (Data Lake, Data Warehouse, Data Marts, Cubes). Concevoir et développer des processus ETL/ELT performants et automatisés avec Azure Data Factory , SQL Server Integration Services et Azure SQL Database . Garantir la qualité, la disponibilité et la performance des données. Modéliser les données (dimensionnelles et relationnelles) selon les besoins métiers. Maintenir en conditions opérationnelles les flux ETL et les environnements de données. Participer à l’industrialisation et à l’automatisation des pipelines via CI/CD Azure DevOps . Collaborer étroitement avec les équipes DevOps , Product , Design , Data et Management pour assurer la cohérence technique et fonctionnelle des solutions. Documenter les réalisations techniques, rédiger les spécifications et enrichir le catalogue de composants réutilisables. Fournir un support technique et fonctionnel aux utilisateurs finaux. Responsabilités complémentaires Réaliser des études de faisabilité et des cadrages techniques. Optimiser les performances des requêtes SQL, DAX et MDX. Mettre en œuvre la sécurité des données (Row Level Security sur toute la chaîne). Gérer la supervision, le debugging et le monitoring des flux BI. Contribuer à l’amélioration continue et à la standardisation des pratiques Data au sein du Centre de compétences Data. Compétences techniques requises Langages / Outils : T-SQL, DAX, MDX Technologies : Azure Data Factory, Azure SQL Database, Azure Analysis Services, Azure Data Lake Gen2, Power BI, SSIS Environnements : GitLab / Azure DevOps, Visual Studio, SQL Server Management Studio, Tabular Editor, DAX Studio Méthodologies : Agile, CI/CD, DataOps Compétences clés : Data Modeling, Data Warehousing, ETL, Data Visualization, Performance Tuning Profil recherché Diplôme Bac+5 (Master) en Informatique , Statistiques ou Mathématiques appliquées . Expérience significative en développement et maintenance de solutions BI/Data sur environnement Microsoft Azure . Maîtrise des concepts de Data Warehouse et de modélisation dimensionnelle. Excellente capacité d’analyse et rigueur technique. Aisance relationnelle, sens du travail en équipe et esprit collaboratif. Niveau d’anglais professionnel (écrit et oral). Goût pour la transformation digitale et l’innovation. Qualités attendues Sens du service et orientation client. Capacité à gérer plusieurs interfaces dans un contexte international. Esprit d’initiative et autonomie. Curiosité technologique et volonté d’amélioration continue. Outils et technologies principales Azure Data Factory – Azure SQL Database – Azure Analysis Services – Power BI – ADLS Gen2 – GitLab – Azure DevOps – Visual Studio – SSMS – DAX Studio – Tabular Editor

Missions principales : Développer et industrialiser des pipelines de données et microservices sur AWS. Assurer la qualité, la fiabilité et l’accessibilité des données. Collaborer avec les équipes Data Science pour répondre aux besoins métiers. Maintenir et optimiser les systèmes existants. Participer à la collecte des besoins et à la documentation technique. Minimum 4 ans d’expérience en Data Engineering et big data. Maîtrise de Python, programmation orientée objet et design patterns. Expérience sur bases de données SQL et Graph. Connaissance des architectures microservices et APIs externes. Expertise conteneurisation (Docker, Kubernetes, Helm) et CI/CD (GitFlow, GitOps, Terraform). Bonne communication, autonomie, rigueur et capacité à gérer plusieurs tâches. Expérience des services AWS : S3, Lambda, IAM....

Contexte et objectifs de la mission : Le client recherche un Data Scientist / Data Engineer confirmé disposant d’une expérience éprouvée en Data Science, en Large Language Models (LLMs) et dans l’utilisation avancée de LangChain et LangGraph. Le candidat participera à la conception, l’optimisation et l’industrialisation de solutions d’intelligence artificielle sur une stack Azure Fabric, Docker et App Container Services, incluant des modèles multimodaux et de Computer vision. Missions : • Concevoir, entraîner et déployer des modèles prédictifs et explicatifs (Machine Learning, Deep Learning). • Développer et maintenir des pipelines de données performants sur Azure Fabric. • Conteneuriser et orchestrer les modèles via Docker et App Container Services. • Implémenter et automatiser des workflows complexes via n8n. • Intégrer et exploiter des LLMs (fine-tuning, RAG, GraphRAG) dans des environnements de production. • Développer des solutions avancées à l’aide de LangChain et LangGraph pour la création d’agents intelligents et d’applications IA. • Mettre en œuvre des modèles multimodaux (texte, image, audio, vidéo) et de computer vision. • Concevoir des interfaces de visualisation et d’interaction via Streamlit. • Exploiter des LLMs Azure OpenAI et des modèles open source (Mistral, Llama, etc.) via Hugging Face. • Garantir la qualité, la robustesse et la documentation du code et des modèles. Compétences essentielles et expérience • Automatisation & Orchestration : n8n • LLMs & IA Générative : fine-tuning, RAG, GraphRAG, LangChain, LangGraph, modèles multimodaux, Azure OpenAI, Hugging Face, LLMs open source • Machine Learning / Deep Learning : Régression linéaire et non linéaire, Random Forest, XGBoost, Gradient Boosting, CNN, RNN, Transformers, Computer Vision • Cloud & Conteneurisation : Azure Fabric, Docker, App Container Services • Langages : Python, SQL • Frameworks & Outils : Streamlit, FastAPI, scikit-learn, PyTorch, TensorFlow Profil recherché • Bac+5 (Master / Ingénieur) en Data Science • Minimum 5 ans d’expérience en Data Science et Data Engineering. • Expérience éprouvée dans la mise en production de LLMs et l’usage de LangChain / LangGraph. • Bonne maîtrise des LLMs open source et Azure OpenAI via Hugging Face. • Solides compétences en modélisation prédictive, automatisation et industrialisation de modèles IA. • Esprit analytique, rigueur et autonomie.

Contexte du poste : Dans le cadre du renforcement de ses équipes Data & Cloud, notre client recherche un Data Platform Engineer spécialisé dans la conception, le déploiement et la maintenance d’infrastructures data à grande échelle. L’objectif est de bâtir un écosystème de données robuste, automatisé et sécurisé , supportant l’ensemble des pipelines et applications data de l’entreprise. Le poste est basé en Belgique , mais 100 % remote est possible. Missions principales : Concevoir, développer et maintenir l’infrastructure sous-jacente aux plateformes data (Snowflake principalement). Industrialiser le provisioning et la configuration via Terraform (Infrastructure as Code) . Garantir la scalabilité, la sécurité et la performance de la plateforme data. Mettre en place et maintenir les pipelines CI/CD (Git-based workflows). Gérer la sécurité des secrets et credentials via les outils dédiés (Vault, AWS/Azure/GCP Secret Manager). Collaborer avec les équipes Data Engineering, Cloud et Sécurité pour assurer la cohérence et la fiabilité de la plateforme. Contribuer à la documentation technique, au suivi Jira et à l’amélioration continue du delivery. Compétences techniques requises : Excellente maîtrise de la plateforme Snowflake (architecture, performance tuning, RBAC, best practices). Expertise confirmée en Terraform , notamment pour la création de modules et l’automatisation des déploiements cloud. Expérience sur des workflows CI/CD Git-based (GitHub Actions, GitLab CI, Jenkins...). Maîtrise d’au moins un outil de gestion des secrets : HashiCorp Vault, AWS Secrets Manager, Azure Key Vault ou GCP Secret Manager. Bonne connaissance de l’ écosystème DevOps et des outils de suivi (Jira, Confluence). Profil recherché : 5 à 8 ans d’expérience en ingénierie data ou cloud infrastructure. Solides compétences en Industrialisation et Sécurité des environnements data . Esprit analytique, autonome et rigoureux. Capacité à travailler dans un environnement international et collaboratif. Langue : Anglais courant (obligatoire) .

CITECH recrute ! 👌 ✨ Si vous souhaitez apporter vos compétences dans la réalisation de différents projets, nous avons LA mission pour vous ! Nous recherchons en effet un(e) Data Engineer Azure & Databricks (H/F). 🏭 Entreprise reconnue dans le secteur de la sidérurgie, implantée dans de nombreuses villes en France, notre client est le plus important producteur d'acier au monde, et a pour objectif d'accélérer sa transformation digitale afin d'offrir toujours plus de solutions et de services innovants. Description du poste 🙌🔽 Vous aurez donc les missions principales suivantes : 🔽🙌 🔸 Configurer, structurer et mettre en œuvre l’environnement Azure Data Lake et Databricks afin de répondre aux besoins d’ingestion et de traitement des données. 🔸 Créer des pipelines d’ingestion robustes sous Apache NiFi , intégrant des sources industrielles variées et respectant les contraintes techniques de performance, de mémoire et de réseau. 🔸 Mettre en place et maintenir un Unity Catalog garantissant la gouvernance, la traçabilité et le Data self-service . 🔸 Veiller à la stabilité de l’environnement , à la qualité du code, à la performance des traitements et à la complétude de la documentation technique. 🔸 Promouvoir la solution auprès des utilisateurs, rédiger la documentation associée et contribuer activement au partage de connaissances au sein de l’équipe Data.

Bonjour, Dans le cadre de ses projets clients, Visian est à la recherche d'un Data Engineer Python/Spark/GCP Le data ingénieur avec la stack Python, Spark, SQL, dbt, BigQuery, Airflow, Terraform, Terragrunt, GCP . Ses missions : Déployer des datasets normés Accompagner les utilisateurs dans leurs usages. Mettre en place du contrôle qualité sur les datasets. En détail : Participer aux phases de conception, planification et réalisation. Construire et maintenir des pipelines data robustes et scalables. Organiser et structurer le stockage des données. Mettre en place et maintenir des infrastructures scalables et sécurisées. Contribuer à la gouvernance des données (qualité, fiabilité, intégrité). Construire et maintenir les workflows de CI/CD. Partager et appliquer les bonnes pratiques data engineering. Assurer évolutivité, sécurité et stabilité des environnements. Participer aux instances data engineers et à la mise à jour de la documentation. Assurer une veille technologique active .

Secteur Ritail Attendu : Elaboration des modèles de données en collaboration avec les architectes data. Il s’appuie sur sa compréhension des problématiques fonctionnelles et son expertise technique. Il assure la construction et le maintien des pipelines de données en évaluant, en amont, la charge de développement. Il participe à l’évolution du socle data de l’équipe en fonction des besoins. Il est garant de la couverture des tests data. Il est co-responsable de la qualité des données et participe aux redressements de données. Il participe à l’amélioration continue des processus et des pratiques techniques et méthodologiques (initialisation d’applications, mise en commun, code review, définition et animation des bonnes pratiques : clean code, sécurité, DevOps, FinOps…). Il prend part à la guilde des Data Engineers pour échanger avec ses homologues et s’imprégner des bonnes pratiques. Il assure une documentation complète des pipelines de données qu’il met en place. Il participe activement au RUN data / analyse de problèmes en Production.

Nous poursuivons notre développement et recherchons actuellement un(e) Data Engineer Vos principales missions : Dans le cadre du projet Référentiel Valeurs, visant à centraliser, fiabiliser et gouverner l’ensemble des données relatives aux instruments financiers, vous intégrerez une squad Data composée d’un Architecte technique, d’un Product Owner, d’un Business Analyst et de développeurs. Vos principales missions seront : - Concevoir et implémenter le socle data du Référentiel Valeurs - Développer et industrialiser les pipelines de données (ETL / Datalake) - Intégrer et exposer les données de référence (MDM) - Mettre en œuvre et suivre la qualité et la cohérence des données - Contribuer aux pratiques DevOps / CI-CD et au déploiement des flux - Collaborer avec les équipes métier et data governance TJM : 450€ - 500€

Missions principales Concevoir, développer et maintenir des pipelines d’ingestion et de traitement de données à forte volumétrie . Participer à la migration Scala vers Java/Spring et à l’intégration dans Snowflake/Snowpark . Travailler sur l’ architecture et l’optimisation des solutions data (batch & stream). Garantir la qualité du code : tests unitaires et d’intégration, CI/CD, documentation, monitoring. Collaborer avec le Tech Lead et l’équipe , en agile (daily scrums, code reviews, pair programming). Être un référent technique pour l’équipe et contribuer aux choix technologiques. Participer à des projets transverses et assurer la veille technologique sur les nouvelles solutions data. Architecture & concepts Expérience avec architecture medaillon data : Bronze → Silver → Gold. Compréhension des transformations et de la gestion des données selon cette architecture. Capacité à proposer et mettre en œuvre des améliorations pour la performance et la scalabilité. Stack & compétences recherchées Technologies principales : Java (expert, orienté Spark) Spring Snowflake / Snowpark Connaissances attendues : Databricks (full service managé, migration complète) Airflow, GitLab CI SQL Expérience Cloud (préférence GCP, AWS également possible) Compétences complémentaires : Conception de pipelines de données scalables Tests automatisés, monitoring, CI/CD Autonomie et capacité à driver techniquement l’équipe

Nous recherchons pour le compte de l’un de nos clients un Data Engineer Snowflake (H/F) dans le cadre d’un remplacement : Missions : Concevoir et maintenir des pipelines de données dans Matillion vers Snowflake. Intégrer diverses sources de données (API, bases, fichiers plats) dans Snowflake. Optimiser les traitements SQL et les configurations pour améliorer la performance et réduire les coûts. Mettre en place le monitoring et résoudre les anomalies sur les workflows ETL. Garantir la qualité, la fiabilité et la sécurité des données en production.