Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Airflow
Votre recherche renvoie 104 résultats.
Mission freelance
[SCH] Developpeur experimenté DBT - 1366
ISUPPLIER
Publiée le
10 mois
500-550 €
Vélizy-Villacoublay, Île-de-France
Mission chez un client basé à Vélizy / La Défense (présence 3 jours/semaine) dans un contexte de déploiement de dbt sur une Data Platform (probable remplacement de Talend). Le client cherche un profil avec une expérience significative sur dbt, incluant les flux de transformation mais aussi data quality et data lineage. Connaissance Airflow fortement appréciée. Mission : -Concevoir, développer et maintenir les transformations dbt (modèles, macros, tests, documentation). -Mettre en place la data quality (tests dbt, contrôles, conventions, monitoring qualité). -Assurer la traçabilité / lineage (documentation, dépendances, exposition lineage selon outils). -Orchestrer l’exécution dbt via Airflow (DAGs dbt, scheduling, dépendances, retries, alerting). -Définir et appliquer les best practices dbt (structure projet, naming, environnements, code review). -Industrialiser via CI/CD (build/test/deploy), et optimiser la performance SQL. Profil attendu : -Expert dbt : modèles en couches, macros/packages, tests, documentation/lineage, optimisation. -Très bon niveau SQL (performance, optimisation, volumétrie). -À l’aise sur Airflow (DAGs, dépendances, exploitation, troubleshooting). -Capable d’industrialiser via CI/CD et de travailler avec une posture “best practices / standards”. -Bon niveau Python (scripts, utilitaires, debugging). -Ok pour 3 jours sur site à Vélizy.
Offre d'emploi
Data Engineer/Architecte
OBJECTWARE
Publiée le
Apache Spark
AWS Cloud
DBT
3 ans
41k-91k €
400-710 €
Île-de-France, France
Missions principales Conception et optimisation de pipelines de données à grande échelle (batch, streaming, API) Structuration des données selon le modèle Médaillon (Bronze / Silver / Gold) Développement et industrialisation via DBT, Spark et Iceberg Orchestration des workflows ETL/ELT via Airflow Déploiement cloud sur AWS et infrastructure as code avec Terraform Conteneurisation des traitements ( Docker, Kubernetes ) Supervision, observabilité, gestion des incidents et qualité des données Documentation et conformité RGPD Accompagnement de profils juniors
Offre d'emploi
Data Scientist Confirmé (H/F)
Clostera
Publiée le
Data science
Île-de-France, France
Rejoignez-nous ! Aujourd’hui, nous recherchons un(e) Data Scientist Confirmé pour intervenir sur un projet clé de transformation analytique dans le secteur de la distribution. Ce que vous ferez : Modélisation et analyse Concevoir et développer des modèles de Machine Learning permettant de prédire l’appétence client aux offres promotionnelles. Explorer, transformer et enrichir de nouveaux jeux de données afin de les rendre exploitables pour les analyses et les modèles. Test & Learn Concevoir et analyser des protocoles d’A/B Testing afin d’évaluer l’efficacité des campagnes marketing. Mesurer l’impact réel des dispositifs promotionnels sur les comportements clients. Industrialisation & MLOps Participer à la mise en production des modèles et au monitoring de leur performance (dérive des données, qualité des scores). Contribuer à l’industrialisation des pipelines de traitement de données et des workflows analytiques. Data Engineering & Cloud Développer des traitements et automatisations en Python pour la manipulation et l’industrialisation des données. Concevoir et optimiser des requêtes et datasets via SQL / BigQuery . Déployer des solutions data sur une plateforme Cloud (GCP) . Conteneuriser les applications avec Docker pour garantir leur portabilité. Orchestrer des workloads avec Kubernetes . Planifier et superviser les pipelines data via Airflow / Cloud Composer . Gérer le versioning et la collaboration via Git . Votre positionnement vous permettra de travailler sur des projets innovants, d’interagir avec des équipes multidisciplinaires et d’exploiter votre expertise pour apporter une réelle valeur ajoutée. Environnement technique Langages : Python, SQL Cloud : Google Cloud Platform (GCP) Data : BigQuery Orchestration : Airflow (Cloud Composer) Conteneurisation : Docker Orchestration de conteneurs : Kubernetes Versioning : Git Méthodologie projet : Agile (Scrum, Sprint Planning, Backlog)
Offre d'emploi
Techlead Data Engineer | AWS | Databricks | Big Data
Hexateam
Publiée le
AWS Cloud
Databricks
Python
36 mois
Île-de-France, France
Contexte Dans le cadre de la mise en place et de l’évolution d’une plateforme DATA centralisée, nous renforcons son équipe avec un Data Ingénieur confirmé. Cette plateforme permet l’intégration, la mise en qualité et la mise à disposition de données brutes ou retravaillées issues de différents producteurs, afin de répondre à des besoins métiers opérationnels et analytiques à grande échelle. Rôle et responsabilités Développement et ingestion de données Concevoir, développer et optimiser des jobs d’ingestion et de transformation de données en Python et Spark sur Databricks , avec gestion de gros volumes. Mettre en place et maintenir des flux de données entre sources externes (ex. bases Oracle) et Delta Lake sur AWS S3 . Orchestration et supervision Créer et orchestrer des workflows avec AWS Airflow et automatiser les traitements. Mettre en place des mécanismes de contrôle qualité et de validation des données pour garantir cohérence et fiabilité. Développer des jobs de monitoring pour détecter et corriger automatiquement les anomalies. Maintien en condition opérationnelle Assurer la disponibilité et la performance des jobs en production. Analyser et corriger les incidents et anomalies détectées. Contribution stratégique Participer aux ateliers de conception technique et fonctionnelle. Promouvoir les bonnes pratiques de développement et d’optimisation Big Data. Documenter les processus, architectures et scripts. Compétences techniques requises MUST : Python Spark Databricks SQL SHOULD : AWS (S3, Glue, Airflow, CloudWatch, Lambda, IAM) COULD : Big Data (gestion et traitement de très gros volumes de données) WOULD : Git Méthodologies et outils : CI/CD avec GitLab JIRA / Confluence Méthodologie agile Scrum
Offre d'emploi
Data Engineer AWS expérimenté
UCASE CONSULTING
Publiée le
Apache Spark
AWS Cloud
Python
1 an
50k-60k €
500-600 €
Île-de-France, France
Dans le cadre du renforcement de l'équipe Data de notre client, nous recherchons un(e) Data Engineer AWS expérimenté(e) (5 à 7 ans d’expérience minimum), capable d’intervenir sur des plateformes data à forte volumétrie et à forts enjeux de performance, de sécurité et de coûts. Missions 1️⃣ Maintien en condition opérationnelle de la plateforme Contrôler et garantir la disponibilité des données et des services Assurer le suivi des traitements et la gestion des incidents Répondre aux demandes de données ad hoc et analyser les anomalies Développer des correctifs et des évolutions si nécessaire Contribuer à la qualité des données et à l’industrialisation de la plateforme Communiquer avec les utilisateurs et accompagner les équipes 2️⃣ Design & construction de services et pipelines data Concevoir et mettre en place des flux de données (acquisition, transformation, exposition) Développer des pipelines robustes et performants (batch et temps réel) Réaliser des modélisations de données adaptées aux usages métiers Mettre en place les traitements sur différents formats (CSV, XML, JSON, Parquet) Ordonnancer les traitements et gérer les dépendances (Airflow) Développer et maintenir des flux temps réel via Kafka (MSK) Réaliser les tests unitaires et d’intégration Participer aux revues de code et veiller au respect des standards Gérer les déploiements sur l’ensemble des environnements Enrichir et maintenir la documentation technique Environnement technique AWS : S3, EMR, EKS, EC2, Lambda, Athena Spark (Scala), Python, SQL Kafka Airflow Dataiku GitLab & GitLab CI Terraform
Offre d'emploi
Data Engineer Big Data
Signe +
Publiée le
24 mois
45k-50k €
322-500 €
Saint-Denis, Île-de-France
Contexte: Nous recherchons un Data Engineer Expérimenté/Senior spécialisé en environnement Big Data OnPremise pour une mission dans le cadre de l'exploitation, du maintien en conditions opérationnelles et des évolutions du Data Lake OnPremise (DataStore). Le collaborateur s'intégrera dans une équipe de 14 développeurs et contribuera également aux travaux liés à la migration progressive du Data Lake vers GCP. Missions : Exploitation et maintenance des traitements Big Data : supervision, intégration des données, contrôle qualité. Développements et évolutions sur les pipelines existants (Spark, Kafka, NIFI). Optimisation des performances et maintien des services DataStore. Gestion des incidents niveau 3 : diagnostic, correction, suivi JIRA/ITZMI. Participation aux évolutions applicatives, aux travaux transverses et aux actions préparatoires à la migration Cloud. Profil : Data Engineer Tech Lead Compétences techniques requises : Spark Kafka NIFI HDFS HBase Airflow Python SQL Technologies complémentaires : Java Scala BigQuery
Mission freelance
245891/Data engineer Spark Nantes
WorldWide People
Publiée le
Apache Spark
12 mois
Nantes, Pays de la Loire
Data engineer Spark Nantes La Squad Socles-Data a pour missions : • Le MCO de la plateforme Data Hub actuelle (DH V1). • La co-construction des nouvelles offres Data managées du nouveau Data Hub (DH V2) avec l’IT Groupe : o Prototypes, o Bêta-tests, o Pilotes, o Instanciation, o Homologation…etc. • La définition des normes, bonnes pratiques, guidelines pour simplifier/accélérer les futurs portages applicatifs sur Data-Hub V2. • Gouvernance opérationnelle. • La migration des Uses-Cases existants vers le Data-Hub V2 dans le Cloud privé BNPParibas. • Facilitage de l’usage des services Data. • Assurance du support et l’accompagnement des usagers des socles-Data. • Fournissement de l’expertise. Objectifs et livrables Les tâches sont: Data ingénieur : • Codage et testage des composants logiciels. • Formalisation des cas d’usages. • Conception et mise en œuvre des flux d’intégration de données. • Optimisation de la performance et la qualité logicielle. • Apport du support technique. • Bonne maitrise de l’écosystème Data / Java / SQL / Cloud. • Notions dans d’autres langages de programmation (Python, Scala) et connaître le fonctionnement des bases de données (SQL, NoSQL). Technologie Langage Niveau Starburst (Trino) SQL Moyen Astronomer Airflow Python Moyen Spark 3 Java (Scala selon vos applications) Avancé Cloud (Kubernetes, COS(S3), Vault) Bas DevOps (Gitlab, Jenkins, ArgoCD, Ansible) Go, Yaml Bas Log As a Service (elk) Moyen Java Moyen SQL Moyen Python Moyen Scala (selon vos applications) Moyen Compétences demandées Compétences Niveau de compétence SCALA Confirmé Apache Airflow Confirmé APACHE Confirmé
Mission freelance
Lead Plateforme MLOps / LLMOps
Cherry Pick
Publiée le
Apache Airflow
AWS Cloud
Azure AI
12 mois
500-600 €
Paris, France
Mission de pilotage de socle industriel IA Contexte Dans le cadre de sa stratégie Data & IA, notre client en secteur d'assurance engage un programme structurant visant à industrialiser et accélérer le déploiement des cas d’usage de Data Science, Machine Learning et IA Générative (LLM) . Ce programme repose sur la mise en place de socles technologiques mutualisés, robustes, sécurisés et scalables , notamment : une plateforme MLOps , un socle LLMOps , un environnement Python standardisé . Ces socles doivent permettre aux équipes Data & IA de concevoir, entraîner, déployer et superviser des modèles d’IA de bout en bout, dans des conditions industrielles. Dans ce contexte, notre client recherche un Responsable Plateforme MLOps , en charge du pilotage, de la conception, de la mise en œuvre et de l’exploitation du socle MLOps . Responsable Plateforme MLOps (Mission pilote de socle IA) Rattachement fonctionnel Data Office / Direction Data & IA En collaboration étroite avec : équipes Data Scientists & ML Engineers équipes IT / DSI / Production équipes Architecture et Sécurité SI 🎯 MISSIONS PRINCIPALES1. Conception & Architecture Définir, maintenir et faire évoluer l’ architecture cible de la plateforme MLOps en cohérence avec les standards du client. Sélectionner et intégrer les outils MLOps les plus pertinents (orchestration, versioning, CI/CD IA, monitoring…), sur la base du cadrage réalisé. Garantir l’ interopérabilité avec les socles LLMOps existants et l’environnement Python à venir . Valider les choix techniques avec les instances d’architecture et de sécurité. 2. Mise en œuvre & Déploiement Piloter et contribuer activement à la mise en œuvre technique du socle MLOps. Compléter le socle CI/CD existant avec les composants spécifiques à l’IA et au ML. Définir et implémenter les processus de déploiement, de versioning et de mise à jour des modèles en production . Travailler en coordination avec les équipes DSI / Production Data. 3. Exploitation, RUN & Monitoring Garantir la disponibilité, la performance, la sécurité et la scalabilité de la plateforme. Mettre en place un monitoring proactif des modèles (qualité, dérive, performance) et de l’infrastructure. Définir et suivre les KPIs, SLAs et indicateurs de service . Gérer les incidents et problèmes selon les pratiques ITIL. 4. Standardisation & Bonnes pratiques Définir et diffuser les bonnes pratiques MLOps auprès des équipes Data & IA. Mettre en place des standards de développement, de test, de packaging et de déploiement des modèles. Produire et maintenir une documentation technique et fonctionnelle complète. 5. Accompagnement & Support Accompagner les Data Scientists et ML Engineers dans l’appropriation de la plateforme. Fournir un support technique expert . Contribuer aux actions de formation, de conduite du changement et de partage de connaissances , en lien avec les équipes Change du Data Office. 6. Veille & amélioration continue Assurer une veille technologique active sur les outils et pratiques MLOps / LLMOps. Proposer des évolutions continues du socle en fonction des besoins métiers et des innovations du marché.
Mission freelance
Data Architect GCP
Atlas Connect
Publiée le
Apache
Apache Airflow
Apache Spark
12 mois
540-600 €
Marseille, Provence-Alpes-Côte d'Azur
L’objectif principal est la conception et la mise en œuvre d’un Data Lake moderne sur GCP , basé sur une architecture Médaillon (Bronze / Silver / Gold) et s’appuyant sur Apache Iceberg , avec la capacité de détacher une brique autonome pour certains clients manipulant des données sensibles. Missions principalesArchitecture & Data Platform Concevoir et mettre en place un Data Lake sur GCP basé sur Apache Iceberg Définir et implémenter une architecture Médaillon (ingestion, transformation, exposition) Participer aux choix d’architecture pour une brique data autonome dédiée aux données sensibles Contribuer à l’ internalisation de la plateforme data (design, outillage, bonnes pratiques) Data Engineering Développer des pipelines d’ingestion pour : Données capteurs issues de drones Données tabulaires associées Gérer des pics de charge importants (jusqu’à 10 Go ingérés simultanément) Garantir la disponibilité rapide des données après les vols d’essai Mettre en place des contrôles de qualité, traçabilité et gouvernance des données Data & Analytics Préparer les données pour des cas d’usage de maintenance prédictive Optimiser les performances de lecture et d’écriture (partitionnement, schéma, versioning) Collaborer avec les équipes data science / métier Sécurité & conformité Travailler dans un contexte habilitable (données sensibles, clients spécifiques) Appliquer les contraintes de sécurité et de cloisonnement des données
Offre d'emploi
Data Engineer confirmé
ANAFI CONSULTING
Publiée le
Google Cloud Platform (GCP)
Python
SQL
1 an
40k-45k €
100-400 €
Nantes, Pays de la Loire
Contexte de la mission Au sein de la Direction des Systèmes d'Information d'un acteur majeur du secteur bancaire, vous intégrez une équipe Data en charge de la conception, du développement et du maintien en conditions opérationnelles des pipelines de données. Vous intervenez en transverse auprès de plusieurs directions métiers (Marketing, Fraude, Risque) pour répondre à leurs besoins en données fiables et accessibles. Missions principales Concevoir, développer et industrialiser les pipelines de données (batch et/ou temps réel) pour alimenter les cas d'usage métiers Développer et maintenir des APIs de mise à disposition des données Assurer le Build et le Run des solutions data : monitoring, gestion des incidents, optimisation des performances Collaborer avec les équipes métiers Marketing, Fraude et Risque pour comprendre les besoins, modéliser les flux de données et garantir la qualité des livrables Participer à l'industrialisation des déploiements via les outils XL Release et XL Deploy () Mettre en place et maintenir les workflows d'orchestration sur GCP Cloud Composer (Airflow) Contribuer à l'amélioration continue des pratiques (documentation, tests, revues de code) Stack technique Langages : Python, SQL Cloud : Google Cloud Platform (BigQuery, Cloud Storage, Pub/Sub…) Orchestration : Cloud Composer (Apache Airflow) CI/CD & Déploiement : XL Release, XL Deploy () Versioning : Git
Offre d'emploi
Data Engineer confirmé
ANAFI CONSULTING
Publiée le
Google Cloud Platform (GCP)
Python
SQL
1 an
40k-45k €
100-400 €
Aix-en-Provence, Provence-Alpes-Côte d'Azur
Au sein de la Direction des Systèmes d'Information d'un acteur majeur du secteur bancaire, vous intégrez une équipe Data en charge de la conception, du développement et du maintien en conditions opérationnelles des pipelines de données. Vous intervenez en transverse auprès de plusieurs directions métiers (Marketing, Fraude, Risque) pour répondre à leurs besoins en données fiables et accessibles. Missions principales Concevoir, développer et industrialiser les pipelines de données (batch et/ou temps réel) pour alimenter les cas d'usage métiers Développer et maintenir des APIs de mise à disposition des données Assurer le Build et le Run des solutions data : monitoring, gestion des incidents, optimisation des performances Collaborer avec les équipes métiers Marketing, Fraude et Risque pour comprendre les besoins, modéliser les flux de données et garantir la qualité des livrables Participer à l'industrialisation des déploiements via les outils XL Release et XL Deploy () Mettre en place et maintenir les workflows d'orchestration sur GCP Cloud Composer (Airflow) Contribuer à l'amélioration continue des pratiques (documentation, tests, revues de code) Stack technique Langages : Python, SQL Cloud : Google Cloud Platform (BigQuery, Cloud Storage, Pub/Sub…) Orchestration : Cloud Composer (Apache Airflow) CI/CD & Déploiement : XL Release, XL Deploy () Versioning : Git
Offre d'emploi
🚀 Data Engineer / Architecte Data Senior
ASAP TECHNOLOGIES
Publiée le
AWS Cloud
Data analysis
PySpark
3 ans
32k-70k €
150-650 €
Saint-Denis, Île-de-France
Dans le cadre d’une mission stratégique auprès d’un grand acteur du secteur des services digitaux, ASAP Technologies recherche un(e) Data Engineer / Architecte Data Senior . Vous interviendrez au sein d’un pôle Data Services pour accompagner la conception, l’industrialisation et l’évolution d’une plateforme Lakehouse à grande échelle, dans un environnement cloud moderne et exigeant. 🎯 Vos missions En tant qu’Architecte Data Senior, vous jouerez un rôle central dans la structuration et l’optimisation des solutions Data. 🏗 Architecture & Modélisation Concevoir et faire évoluer une architecture Lakehouse Structurer les transformations selon un modèle Médaillon (Bronze / Silver / Gold) Modéliser les données et optimiser la performance des pipelines ⚙️ Développement & Industrialisation Concevoir, développer et optimiser des pipelines de données à grande échelle Mettre en œuvre des flux batch , streaming et ingestion via API Développer et industrialiser les pipelines avec DBT Spark et Iceberg Orchestrer les workflows ETL/ELT via Airflow Déployer et maintenir les pipelines dans un environnement Cloud (AWS ou équivalent) Mettre en œuvre l’Infrastructure as Code via Terraform Exécuter les traitements dans des environnements conteneurisés ( Docker / Kubernetes ) 🔎 Qualité, Sécurité & Performance Garantir la disponibilité, la supervision et l’observabilité des traitements Définir et implémenter les règles de qualité des données (tests, contrôles automatisés) Documenter architectures, pipelines et règles métier Assurer la conformité réglementaire (RGPD) Participer à la gestion des incidents et à l’amélioration continue 🤝 Leadership & Expertise Accompagner des profils juniors Être force de proposition sur les choix techniques Faire le lien entre enjeux métiers et architecture data
Mission freelance
Data Engineer AWS / GenAI
Cherry Pick
Publiée le
Amazon S3
Apache Airflow
Apache Spark
12 mois
450-550 €
Paris, France
Dans le cadre du plan de transformation DATA de notre Client, notre client développe des applications et plateformes DATA pour rendre nos métiers (pilotage, marketing, commerce, etc.) autonomes dans l’analyse de leurs données et KPI. Les infrastructures et projets incluent : AWS, GitLab, Terraform, DBT, Snowflake, Python, Scala, Spark, PowerBI, AI/GenAI Architectures Big Data sophistiquées pour ingérer plus de 100 par jour (Datalake, Event-Driven, Streaming, etc.) Exemples de projets : Chatbot AI Socle vidéo, navigation et calcul des audiences Recommandation de programmes via IA Feature Store et modernisation des flux financiers Plateformes CRM et partage de données partenaires Kubernetes et applications de data self-service Missions En tant que Data Engineer , vous serez en charge de : Concevoir, développer et maintenir des pipelines de données scalables et performants (ingestion, traitement et stockage de données massives). Développer des architectures Big Data sur AWS (S3, EMR, Lambda, Kinesis, Batch…), Snowflake et Spark. Développer en Scala et Python pour le traitement massif des données. Automatiser les workflows et orchestrer les pipelines avec Airflow et DBT . Concevoir et exposer des APIs customer-facing performantes. Optimiser les performances et garantir la scalabilité pour gérer un volume important d’utilisateurs. Collaborer avec les équipes Data Science, Produit et DevOps pour une intégration fluide.
Mission freelance
245644/LeadTech DataOps Niort
WorldWide People
Publiée le
Control-M
Dynatrace
Informatica
3 mois
400-450 €
Niort, Nouvelle-Aquitaine
LeadTech DataOps Niort Ordonnanceur (Control M) Confirmé (***) Monitoring (Dynatrace/Grafana/Prometheus) Confirmé (***) ETL Powercenter / ELT DBT / Airflow Composer Élémentaire (*) Informatica MDM / IDQ Confirmé (***) Couche échange (Tibco / Kafka / Gateway) Confirmé (***) SQL (Oracle, MySQL, PostgreSQL) Élémentaire (*) No-SQL (Mongo DB) Avancé (**) Hadoop (HDFS, Spark) Avancé (**) Compétence Niveau Souhaité Google Cloud Platform (Big Query - Cloud Run) / Terraform) Élémentaire (*) Outil de consommation Tableau Élémentaire (*) Outil de consommation Dataiku Élémentaire (*) Déploiement continu (Gitlab, Openshift, CICD) Confirmé Le Data Office de mon client définit les orientations stratégiques dans le domaine de la donnée et assure l'homogénéité et la performance de l'écosystème Data. L'équipe Data OPS de Services Delivery Data est responsable de l'unification des pratiques d'exploitation, du déploiement continu (Gitlab Cloud & On-Prem) et de l'industrialisation des usages. Objectifs et Livrables Le prestataire retenu devra contribuer aux objectifs suivants et fournir les livrables associés : Objectif Livrable Collaboration et versions Détermination des versions des composants en collaboration avec les équipes de conception et les release manager. Disponibilité et stabilité Garantie de la disponibilité et de la stabilité des environnements (développement, test, déploiement continu). Supervision et diagnostic Documentation (ou auto-documentation) des dépendances pour la supervision et le diagnostic. Analyse des incidents Rapports d'analyse des causes racines des incidents et suivi des plans de remédiation. Gestion des configurations Application et documentation des configurations spécifiques à chaque environnement. Qualité et risques Vérification de la complétude des livrables (tests, documentation, conformité) et identification des risques de mise en production. Exigences Non Fonctionnelles (ENF) Participation à la définition des ENF (sécurité, performance, scalabilité, disponibilité, etc.). Suivi et garantie des ENF Suivi des ENF des applications du SI et garantie de leur implémentation en projet et en production. Traçabilité des changements Mise en place et suivi de la traçabilité des changements de configuration et de versions. Automatisation et maintenance Automatisation des déploiements et maintenance des pipelines CI/CD. Compétences Requises Le profil recherché doit démontrer une expérience significative et des compétences avérées. Savoir-Être (Soft Skills) ● Qualité de service et communication. ● Travail collaboratif avec traçabilité des actions. ● Leadership, réactivité, disponibilité, autonomie, force de proposition. ● Bonne connaissance des contraintes de production. ● Expérience significative en DevOps et Release Management. Compétences Techniques (Hard Skills) Objectifs et livrables Ordonnanceur (Control M) Confirmé (***) Monitoring (Dynatrace/Grafana/Prometheus) Confirmé (***) ETL Powercenter / ELT DBT / Airflow Composer Élémentaire (*) Informatica MDM / IDQ Confirmé (***) Couche échange (Tibco / Kafka / Gateway) Confirmé (***) SQL (Oracle, MySQL, PostgreSQL) Élémentaire (*) No-SQL (Mongo DB) Avancé (**) Hadoop (HDFS, Spark) Avancé (**) Compétence Niveau Souhaité Google Cloud Platform (Big Query - Cloud Run) / Terraform) Élémentaire (*) Outil de consommation Tableau Élémentaire (*) Outil de consommation Dataiku Élémentaire (*) Déploiement continu (Gitlab, Openshift, CICD) Confirmé
Offre d'emploi
Data Engineer | Databricks
Hexateam
Publiée le
AWS Cloud
Databricks
Python
Île-de-France, France
Contexte Dans le cadre de la mise en place et de l’évolution d’une plateforme DATA centralisée, nous renforcons son équipe avec un Data Ingénieur confirmé. Cette plateforme permet l’intégration, la mise en qualité et la mise à disposition de données brutes ou retravaillées issues de différents producteurs, afin de répondre à des besoins métiers opérationnels et analytiques à grande échelle. Rôle et responsabilités Développement et ingestion de données Concevoir, développer et optimiser des jobs d’ingestion et de transformation de données en Python et Spark sur Databricks , avec gestion de gros volumes. Mettre en place et maintenir des flux de données entre sources externes (ex. bases Oracle) et Delta Lake sur AWS S3 . Orchestration et supervision Créer et orchestrer des workflows avec AWS Airflow et automatiser les traitements. Mettre en place des mécanismes de contrôle qualité et de validation des données pour garantir cohérence et fiabilité. Développer des jobs de monitoring pour détecter et corriger automatiquement les anomalies. Maintien en condition opérationnelle Assurer la disponibilité et la performance des jobs en production. Analyser et corriger les incidents et anomalies détectées. Contribution stratégique Participer aux ateliers de conception technique et fonctionnelle. Promouvoir les bonnes pratiques de développement et d’optimisation Big Data. Documenter les processus, architectures et scripts. Compétences techniques requises MUST : Python Spark Databricks SQL SHOULD : AWS (S3, Glue, Airflow, CloudWatch, Lambda, IAM) COULD : Big Data (gestion et traitement de très gros volumes de données) WOULD : Git Méthodologies et outils : CI/CD avec GitLab JIRA / Confluence Méthodologie agile Scrum
Offre d'emploi
SRE Data et IA
VISIAN
Publiée le
DevOps
Site Reliability Engineering (SRE)
1 an
40k-45k €
400-650 €
Île-de-France, France
Descriptif du poste Le bénéficiaire souhaite une prestation d'accompagnement afin de garantir la disponibilité, la performance et la résilience des services en production. Le/La SRE anticipe les risques, accompagne les équipes Dev/Prod et développe l'automatisation nécessaire pour assurer un fonctionnement optimal des plateformes, avec une spécificité sur la gestion des applications Data et IA. Responsabilités principales Suivi de la fiabilité, l'intégrité et la qualité de la plateforme en production Définition et suivi des SLO/SLI ; rétablissement du service en cas d'incident Participation aux projets dès le cadrage et anticipation des impacts sur la production Automatisation des opérations et réduction du travail manuel Mise en place d'un monitoring, de l'alerting et des dashboards pertinents Pilotage de l'obsolescence et contribution à la sécurité opérationnelle Contribution à la communauté SRE : bonnes pratiques, partage d'expérience Compétences clés Techniques : Connaissances des solutions Data & AI (ex : Airflow, Spark, Starburst, Domino AI …) Linux (RHEL), Docker, Kubernetes / OpenShift Automatisation & IaC : Git, Jenkins (CI/CD), Ansible, Terraform Scripting : Python, Shell, YAML Observabilité & Monitoring : ELK, SysDig, Dynatrace, Grafana Supervision / Scheduling : Control-M Cloud : IBM Cloud
Déposez votre CV
-
Fixez vos conditions
Rémunération, télétravail... Définissez tous les critères importants pour vous.
-
Faites-vous chasser
Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.
-
100% gratuit
Aucune commission prélevée sur votre mission freelance.
Derniers posts sur le forum
104 résultats
Contrats
Lieu
Télétravail
Taux Journalier Moyen min.
150 €
1300 € et +
Salaire brut annuel min.
20k €
250k €
Durée
0
mois
48
mois