Trouvez votre prochaine mission ou futur job IT.

Contexte Dans le cadre de notre croissance, nous recrutons un Data Engineer pour intervenir sur des environnements Databricks sur AWS, avec des enjeux d’ingestion, de transformation et de fiabilité des données. Missions Développement et ingestion de données • Concevoir et développer des pipelines de données en Python et Spark sur Databricks • Mettre en place des flux entre sources externes (ex : Oracle) et un Data Lake (S3 / Delta Lake) • Optimiser les traitements et les performances Orchestration et qualité des données • Orchestrer les workflows avec AWS Airflow • Mettre en place des contrôles qualité et des mécanismes de validation • Développer des outils de monitoring et de gestion des anomalies Maintien en condition opérationnelle • Assurer la disponibilité et la performance des pipelines • Diagnostiquer et corriger les incidents • Participer à l’amélioration continue des traitements Contribution • Participer aux ateliers techniques et aux échanges avec les équipes • Documenter les pipelines, architectures et processus • Contribuer aux bonnes pratiques Data et Big Data

Dans le cadre d’une initiative groupe de modernisation et standardisation des transformations de données, le client cherche un Data Engineer expérimenté dbt pour soutenir la mise en place d’une plateforme dbt (industrialisation, bonnes pratiques, pipelines robustes et scalables) dans un contexte international (anglais fluent). Mission : -Définir et déployer les best practices dbt (standards de dev → déploiement) avec le responsable technique ELT. -Contribuer à l’architecture ELT (stratégie, modèle, gouvernance d’intégration des données). -Capturer le besoin : faisabilité technique, estimation de charge, rédaction spécifications techniques. -Concevoir et développer les jobs dbt (connecteurs/implémentation), assurer déploiement, UAT, documentation. -Assurer le support technique : optimisation, configuration, MCO, audits de jobs, amélioration continue. -Piloter l’analyse de gaps et accompagner la migration des solutions existantes vers dbt. -Animer formation / transfert de connaissances et contribuer à la communication (communauté ELT, présentations). -Co-définir stratégie de logging et gestion d’événements. Profil attendu : -Expert dbt capable de définir des standards et d’industrialiser une plateforme (dev, tests, déploiement). -À l’aise pour co-construire une architecture ELT et des modèles de données (gouvernance, conventions). -Capable de faire du support/MCO dbt (optimisation perf, configuration, audit, fiabilisation). -Expérience migration/standardisation à l’échelle groupe (gap analysis, inner source, diffusion bonnes pratiques). -Capable d’estimer, rédiger des spécifications, documenter et former. -Anglais fluent (workshops, formation, communautés internationales).

Data Engineer Semarchy ou stambia xDI Full remote ASAP Missions Développer et industrialiser les flux Data Integration avec Semarchy xDI. Assurer la qualité, la fiabilité et la gouvernance des données. Automatiser les traitements (CI/CD, DataOps) et collaborer avec les équipes IA et Data Science. Participer aux rituels Agile et rédiger la documentation technique. Profil Bac+5 en informatique / Data, 3 à 5 ans d’expérience en Data Engineering. Maîtrise Semarchy xDI , SQL avancé, Python/Java, ETL/MDM, Git, Docker, Kubernetes. Connaissance des bases SQL / NoSQL et orchestration (Kafka, Airflow…). Autonomie, travail en équipe, force de proposition.

Bonjour, Pour le compte de l'un de mes clients dans le secteur de l'électroménager, je suis à la recherche d'un Data Engineer Snowflake. Son rôle : Participer à des ateliers d’analyse des besoins avec les partenaires commerciaux (finances, ventes, achats, etc.) Suggérer & construire des architectures techniques adaptées, en se concentrant sur la fiabilité ainsi que les performances Développer & maintenir des flux de données, notamment dans le contexte de migration vers Snowflake Optimiser les performances des applications existantes et assurer une documentation approfondie

Prestations demandées RESPONSABILITES - Conception et implémentation des pipelines de données : • Concevoir et développer des pipelines de données automatisés pour collecter, charger et transformer les données provenant de différentes sources (internes et externes) dans le Data Hub puis pour les transformer en Data Product Data Hub, Data Science ou Data Viz (Power BI). • Optimiser les pipelines de données pour garantir des performances élevées, une faible latence, et une intégrité des données et des traitements tout au long du processus. • Travailler avec les équipes data science et métiers pour comprendre leurs besoins en données et en traitements, et adapter les pipelines en conséquence. - Industrialisation et automatisation des flux de données et des traitements : • Mettre en place des processus d’industrialisation des modèles de machine learning et des flux de données, en garantissant la scalabilité et la fiabilité des pipelines en production. • Automatiser la gestion et le traitement des données à grande échelle, en veillant à réduire les interventions manuelles tout en assurant une supervision proactive des performances et des anomalies. • Collaborer étroitement avec les data scientists et MLOps pour assurer une transition des projets de l’exploration à la production, en intégrant les modèles dans des pipelines automatisés. - Gestion des données et optimisation des performances : • Optimiser les performances des requêtes et des pipelines de traitement des données, en utilisant les meilleures pratiques en matière de gestion des ressources et d’architecture de stockage (raw, refined, trusted layers). • Assurer une surveillance continue de la qualité des données et mettre en place des contrôles de validation pour maintenir l’intégrité des jeux de données. - Sécurité et gouvernance des données : • Mettre en œuvre des solutions de sécurisation des données (gestion des accès, cryptage, audits) pour garantir la conformité avec les réglementations internes et externes. • Travailler en collaboration avec le Data Office pour assurer l’alignement avec les politiques et processus définis. • Maintenir la documentation technique des pipelines et des flux de données, en assurant la traçabilité et la gestion des métadonnées. COMPETENCES - Expérience confirmée en ingénierie des données : Solide expérience dans la conception, la mise en œuvre et l’optimisation de pipelines de données. - Maîtrise des technologies de traitement de données : Expertise dans l’utilisation d’outils et technologies tels que ELT, Spark, SQL, Python, Dataiku, et la gestion de data warehouses et data hubs. - Compétence en sécurité et gouvernance des données : Connaissance des enjeux de sécurité, de conformité réglementaire (GDPR), et de gouvernance des données, avec une capacité à implémenter des solutions adéquates. - Compétences en automatisation et industrialisation : Capacité à automatiser et industrialiser les flux de données et les traitements afférents, en assurant la transition fluide des projets data science vers la production. - Maîtrise de l’anglais : La maîtrise de l’anglais est indispensable pour interagir avec des parties prenantes

Data Engineer Niort Buisness Object,Optimisation SQL, TABLEAU,DATAIKU La mission consiste à contribuer à la structuration, l’industrialisation et la valorisation de la donnée au sein d’une équipe dédiée, afin de soutenir une transformation data ambitieuse et d’améliorer de manière continue la fiabilité et la performance des traitements. Elle vise à concevoir, organiser et optimiser les flux de données, en garantissant que chaque chaîne d’alimentation et chaque modèle produit s’inscrivent dans une démarche cohérente, durable et alignée avec les besoins métiers. Le rôle repose sur la capacité à bâtir des pipelines robustes et industrialisés, à modéliser des structures de données adaptées, et à assurer une qualité irréprochable sur l’ensemble du cycle de vie de la donnée. Une attention particulière est portée à la standardisation des pratiques, à la réduction de la dette technique et à la bonne intégration des données dans les outils d’analyse et de visualisation. La mission implique également de challenger les solutions existantes, d’identifier des axes d’optimisation et de proposer des architectures ou processus plus performants, notamment en matière d’automatisation et de gouvernance. Elle s’inscrit dans un objectif global d’amélioration continue : sécuriser les traitements, fiabiliser les décisions métier, fluidifier les interactions entre les équipes impliquées et transformer les contraintes opérationnelles en leviers de performance durable.

contexte de la mission intervention chez un client grenoblois sur des sujets data environnement orienté cloud aws avec exploitation d’un datalake besoin d’un profil capable de couvrir à la fois la data ingénierie et une partie data visualisation missions principales conception, développement et maintenance de pipelines data exploitation et optimisation d’un datalake sur aws traitement, transformation et intégration des données via talend mise à disposition des données pour les équipes métiers création de dashboards et reporting sous power bi participation aux choix techniques et à l’amélioration continue des architectures data environnement technique cloud / data : aws (lambda, athena, glue, step functions, rds, s3) etl : talend data visualisation : microsoft power bi profil recherché expérience significative en data engineering bonne maîtrise de l’écosystème aws data (datalake) solide expérience sur talend (obligatoire) capacité à produire des dashboards power bi autonomie et capacité à intervenir en environnement projet

Notre client, acteur majeur du secteur de la grande distribution, recherche son futur Data Engineer (H/F) pour son site basé dans l'Aude, à 45 minutes de Toulouse, dans le cadre du développement et de l’évolution de ses outils de pilotage. ### Vos missions Intégré à l’équipe informatique du client, vous devrez : * Centraliser et fiabiliser les données issues des outils métiers (logistique, commerce, marketing, qualité, finance). * Concevoir et déployer des architectures robustes pour collecter, structurer et exploiter des volumes importants de données. * Développer, automatiser et optimiser les flux et traitements de données, notamment depuis l’environnement SAP BusinessObjects via l’ETL BODS. * Garantir la performance, la disponibilité et la pérennité des infrastructures data. * Collaborer étroitement avec les équipes métiers et les Data Analysts afin de fournir des données fiables et exploitables pour la prise de décision. Les compétences techniques * Maîtrise des langages : Python, C/C++, Java, Perl. * Solide expérience des environnements UNIX, Linux, Solaris. * Bonne connaissance des bases de données et du SQL. * Compréhension globale des enjeux Big Data. * Atouts complémentaires : Access, VBA, Google Cloud Platform (GCP).

Missions principalesConception et architecture des solutions data Concevoir et développer des pipelines de données robustes pour des environnements industriels. Cartographier et documenter les sources de données . Concevoir des solutions permettant le traitement de volumes importants de données . Définir la structure des bases de données et des métadonnées . Participer à la mise en place et à l’évolution d’un Data Lake . Intégration et gestion des données Collecter et intégrer des données provenant de sources multiples (applications, capteurs industriels, systèmes externes) . Garantir la qualité, la sécurité et la fiabilité des données . Mettre en place des mécanismes de contrôle, nettoyage et validation des données . Assurer la supervision et la maintenance des pipelines de données en production. Collaboration et animation Collaborer avec les équipes métier et IT afin de comprendre les besoins en données. Participer à l’animation de la communauté technique autour des sujets data . Contribuer à la veille technologique sur les solutions data et proposer des améliorations. Livrables attendus Dossier de spécification et d’architecture des solutions data mises en œuvre. Catalogues et cartographie des données . Mise en place d’un Data Lake adapté aux besoins métier . Documentation et outils permettant de garantir la qualité des données .

Intégré à la DSI au sein de l’équipe Data Tech Knowledge de la direction IT DATA de notre client à Bordeaux , le Data Engineer participera à des projets autour de l’IA et de la data. La mission consiste à : Effectuer des alimentations de données . Collaborer avec un Data Analyst sur des projets IA/Data. Développer et travailler autour d’ agents IA pour le requetage SQL en langage naturel . Mettre à disposition des outils d’aide au développement et au monitoring . Assurer une veille technologique sur les architectures data et outils associés. Stack Technique : Langages : Python, SQL Bases de données : Snowflake, SQL Server, PostgreSQL DevOps : Git, TFS, Azure DevOps, Docker, Kubernetes, Liquibase Infrastructure as Code : Terraform Data Processing : DBT, Talend Data Ingestion : DLT, Kafka, Talend Data Visualisation : PowerBI

Data engineer Spark Nantes La Squad Socles-Data a pour missions : • Le MCO de la plateforme Data Hub actuelle (DH V1). • La co-construction des nouvelles offres Data managées du nouveau Data Hub (DH V2) avec l’IT Groupe : o Prototypes, o Bêta-tests, o Pilotes, o Instanciation, o Homologation…etc. • La définition des normes, bonnes pratiques, guidelines pour simplifier/accélérer les futurs portages applicatifs sur Data-Hub V2. • Gouvernance opérationnelle. • La migration des Uses-Cases existants vers le Data-Hub V2 dans le Cloud privé BNPParibas. • Facilitage de l’usage des services Data. • Assurance du support et l’accompagnement des usagers des socles-Data. • Fournissement de l’expertise. Objectifs et livrables Les tâches sont: Data ingénieur : • Codage et testage des composants logiciels. • Formalisation des cas d’usages. • Conception et mise en œuvre des flux d’intégration de données. • Optimisation de la performance et la qualité logicielle. • Apport du support technique. • Bonne maitrise de l’écosystème Data / Java / SQL / Cloud. • Notions dans d’autres langages de programmation (Python, Scala) et connaître le fonctionnement des bases de données (SQL, NoSQL). Technologie Langage Niveau Starburst (Trino) SQL Moyen Astronomer Airflow Python Moyen Spark 3 Java (Scala selon vos applications) Avancé Cloud (Kubernetes, COS(S3), Vault) Bas DevOps (Gitlab, Jenkins, ArgoCD, Ansible) Go, Yaml Bas Log As a Service (elk) Moyen Java Moyen SQL Moyen Python Moyen Scala (selon vos applications) Moyen Compétences demandées Compétences Niveau de compétence SCALA Confirmé Apache Airflow Confirmé APACHE Confirmé

Mission basée à Lyon. Pour l'un de nos clients, nous recherchons un(e) Data Engineer expérimenté(e) pour intervenir sur des environnements cloud Microsoft et participer à la conception de plateformes data modernes et performantes. Missions Concevoir et développer des pipelines de données robustes sur Azure Mettre en place et maintenir les flux via Azure Data Factory Développer et optimiser les traitements de données dans Databricks Participer à la modélisation des données (Data Lake / Data Warehouse) Garantir la qualité, la performance et la fiabilité des données Collaborer avec les équipes métiers et BI pour faciliter l’exploitation des données (notamment via Power BI )

Nous recherchons un Lead Data Engineer chevronné pour rejoindre un acteur majeur de la Tech Parisienne. Au sein d'une équipe dynamique, votre mission sera de piloter l'acquisition de données à grande échelle et d'orchestrer une migration technologique stratégique. Votre Mission En tant que garant technique de l'acquisition de données, vous intervenez sur l'ensemble de la chaîne de valeur, du cleaning à l'enrichissement. Vos responsabilités principales incluent : Architecture & Design : Concevoir et refondre des pipelines de données robustes dans le cadre d'une migration majeure de GCP vers AWS. Ingestion Massive : Gérer l'ingestion de types de données variés (Listing, etc.) et assurer leur qualité. Optimisation : Assurer le nettoyage et l'enrichissement des données pour les rendre exploitables par les équipes consommatrices. Snowflake : Exposer les données de manière optimale. Compétences Techniques Requises Cloud : Maîtrise avancée de l'écosystème AWS (tous services) et idéalement une expérience de migration depuis GCP. Data Processing : Expertise sur Spark / PySpark pour le traitement de données volumineuses. Infrastructure : Solides compétences en Terraform (IaC). Langages : Maîtrise de Python. Data : Connaissance de Snowflake pour la partie consommation.

Bonjour, Dans le cadre de ses projets clients, Visian est à la recherche d'un Data Engineer Azure avec une très bonne maîtrise d'Azure Data Factory et d'Azure Devops pour la CI/CD Nous recherchons un consultant capable de mettre en place les flux d'interface entre SAP Concur et les différentes applications Finance au travers de l'ETL Microsoft Azure Data Factory et d’en assurer le RUN/ CI/CD avec Azure Devops. Il est nécessaire d'avoir une capacité à être force de proposition et travailler en autonomie.

Afin de mener à bien notre mission l’équipe est composée de Data Engineer, de Data Scientist, de développeurs Python et d’un data analyst. L’équipe se veut jeune dynamique, motivée et très pro-active, l’entraide et la bonne ambiance sont présentes. Le candidat devra donc avoir la personnalité permettant de conserver cette dynamique intacte. Les softs skills sont donc autant essentielles que la technique : bon communiquant, motivé, force de proposition et sociable. La mission : Un programme visant à traiter l’ensemble des uses cases nécessitant l’utilisation d’IA à destination de la Finance a été lancé. Dans le cadre de notre activité nous avons pour mission d’accompagner la phase de cadrage faite par les Product Owner et d’implémenter des solutions adaptées aux besoins exprimés. Pour se faire nous cherchons à renforcer l’équipe actuelle constituée de développeur Full stack (Python\Angular) de data engineer et de data scientist avec un Data Engineer possédant de bonnes compétences en IA générative. La mission principale du profil retenu sera : Concevoir et développer des solutions de traitement de données complexes Implémenter solutions exploitant des modèles d'IA générative Participer à la mise en place de prompts et de RAG Collaborer étroitement avec les Product owner, les autres membres de l’équipe et d’autres DSI afin garantir l'efficacité et la fiabilité des solutions mises en œuvre. Si vous êtes passionné par les défis liés à la manipulation de données non structurées, que vous maîtrisez le Python et que vous avez une solide expérience en Data Engineering et en Ia générative, nous serions ravis de recevoir votre candidature. L’environnement de travail se veut stimulant, il offre des opportunités d'apprentissage continu et des projets innovants au sein d'une équipe dynamique et passionnée par les technologies émergentes. Durant votre intervention vous serez rattaché au responsable de l’équipe de développements tactiques et vous serez supervisé par un membre de l’équipe maitrisant les outils de data science. Vous serez fréquemment au contact du métier, des équipes innovation et d’autres développeurs.