Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Airflow

Contexte Dans le cadre de la mise en place et de l’évolution d’une plateforme DATA centralisée, nous renforcons son équipe avec un Data Ingénieur confirmé. Cette plateforme permet l’intégration, la mise en qualité et la mise à disposition de données brutes ou retravaillées issues de différents producteurs, afin de répondre à des besoins métiers opérationnels et analytiques à grande échelle. Rôle et responsabilités Développement et ingestion de données Concevoir, développer et optimiser des jobs d’ingestion et de transformation de données en Python et Spark sur Databricks , avec gestion de gros volumes. Mettre en place et maintenir des flux de données entre sources externes (ex. bases Oracle) et Delta Lake sur AWS S3 . Orchestration et supervision Créer et orchestrer des workflows avec AWS Airflow et automatiser les traitements. Mettre en place des mécanismes de contrôle qualité et de validation des données pour garantir cohérence et fiabilité. Développer des jobs de monitoring pour détecter et corriger automatiquement les anomalies. Maintien en condition opérationnelle Assurer la disponibilité et la performance des jobs en production. Analyser et corriger les incidents et anomalies détectées. Contribution stratégique Participer aux ateliers de conception technique et fonctionnelle. Promouvoir les bonnes pratiques de développement et d’optimisation Big Data. Documenter les processus, architectures et scripts. Compétences techniques requises MUST : Python Spark Databricks SQL SHOULD : AWS (S3, Glue, Airflow, CloudWatch, Lambda, IAM) COULD : Big Data (gestion et traitement de très gros volumes de données) WOULD : Git Méthodologies et outils : CI/CD avec GitLab JIRA / Confluence Méthodologie agile Scrum

Descriptif du poste Au sein de la division Automation Lab, vous intégrerez une équipe dynamique, en charge du maintien en condition opérationnelle des différents orchestrateurs chargés de provisionner les infrastructure de BP2i et ses clients (entités BNPP). Les orchestrateurs sont composés des outils Hashicorp Terraform et Airflow, ainsi que de développement en java ou en python. Responsabilités Gérer le RUN (monitoring, alerting, inventaire, patching) Maintenir en condition opérationnelle les différentes plateformes, onPremises et dans le Cloud Travailler sur des environnements basés sur linux et kubernetes, en HO comme en HNO Faire de la PRODUCTION Revoir et assurer la documentation

Dans le cadre d'une mission pour l'un de nos clients, nous recherchons un(e) Site Reliability Engineer (SRE) pour assurer le maintien en condition opérationnelle de différentes plateformes et orchestrateurs, aussi bien onPremises que dans le Cloud. Ces orchestrateurs reposent sur les outils HashiCorp Terraform et Apache Airflow, avec des développements complémentaires en Java ou Python. Vous interviendrez dans un environnement basé sur Linux et Kubernetes, dans le respect des bonnes pratiques SRE. Vos missions principales Assurer le RUN : monitoring, alerting, inventaire, patching. Maintenir en condition opérationnelle les plateformes (Cloud et onPremises). Participer à la production et garantir la disponibilité des services. Revoir, améliorer et maintenir la documentation technique. Environnement technique Indispensable : GitLab CI/CD, RHEL, Windows, Terraform, Virtualisation VMware, SQL, Kubernetes, Python, Golang, Docker, Orchestration, LOKI, GRAFANA. Connaissances pratiques appréciées : Développement sur Kubernetes, Design fonctionnel, Cloud providers (IBM Cloud apprécié), méthodologie Agile, Java Spring. Optionnel : Java Spring. Langue : Anglais professionnel.

Pour le besoind emon client, je suis à la recherche d'un Data Engineer avec compétences Google Cloud / BigQuery Analyse, Conception et Modélisation Rédiger les documents associés au projet (Spécifications Techniques, Cahier de recette Technique, Document d’exploitation). GCP (BigQuery, Cloud Storage, Cloud Composer, Airflow, GKE) .. ... .. ... ... ... ... .. .. .. .. ... .. ... .. ... .. ... ... .... ... ... .. .. ... ... ... ... ... ... .. ... ... ... ... ... ... ... ... ... ... ... ... ... .... ... ..

Missions principales : Conception d’outils Big Data : Contribution active à la conception, au développement et à l’amélioration d’outils de traitement de données massives, couvrant l’ensemble du cycle de vie des données : ingestion, traitement, analyse et restitution. Définition des besoins techniques : Collaboration étroite avec les utilisateurs de la plateforme Data pour comprendre les besoins métier et garantir un alignement optimal entre les solutions développées et les attentes fonctionnelles. Développement sur Databricks et AWS : Réalisation de développements avancés sur les plateformes Databricks et AWS, en utilisant notamment les technologies suivantes : Python, SQL, Spark et Airflow. Intégration des pratiques FinOps : Mise en œuvre de bonnes pratiques FinOps dans le développement afin d’optimiser les coûts, les performances et l’utilisation des ressources sur AWS. Utilisation d’outils tels que dbt , GitLab CI/CD , et autres solutions DevOps. Audit et accompagnement transverse : Réalisation d’audits techniques et de revues de code au sein des équipes, avec pour objectif de renforcer la maîtrise des enjeux techniques et de favoriser l’adoption de stratégies FinOps efficaces. Technologies et outils utilisés : Cloud & Big Data : AWS (S3, EC2, Lambda, Glue), Databricks, Spark Langages & Frameworks : Python, SQL, PySpark Orchestration & Automatisation : Airflow, GitLab CI/CD, dbt Suivi des coûts et performance : Outils FinOps intégrés à AWS Méthodologies de travail : Agile / Scrum, DevOps, FinOps

Descriptif du poste Au sein de la division Automation Lab, vous intégrerez une équipe dynamique, en charge du maintien en condition opérationnelle des différents orchestrateurs chargés de provisionner les infrastructure de [entreprise bancaire] et ses clients (entités [groupe bancaire]). Les orchestrateurs sont composés des outils Hashicorp Terraform et Airflow, ainsi que de développement en java ou en python. Développement en mode agile autour de la nouvelle robotique Dans le cadre de sa gestion de son offre d'infrastructure, l'équipe Cloud en charge de l'orchestrateur des différents Cloud privés [groupe bancaire], recherche un développeur expert PYTHON et traitera des sujets liés à la résilience. À ce titre, il participera à la conception et l'écriture de l'orchestrateur afin de permettre le provisioning dans différents environnements onPremises, Clouds. Il devra aussi s'impliquer, en autonomie, sur le RUN (DEVOPS) et sur les developpements pilotés en mode AGILE SCRUM. Les compétences en JAVA sont appréciables. Revoir et Assurer la documentation. Compétences requises Des compétences PYTHON seront nécessaires pour la mission (maitrise) et pour assurer la maintenance de certains orchestrateurs (micro-services). Niveau de maîtrise gitlab CI/CD Python Terraform Orchestration Airflow

Notre client recherche un Data Engineer senior pour concevoir et maintenir des pipelines de réplication et de traitement de données dans un environnement cloud AWS à grande échelle. Ce poste s’inscrit dans un programme de transformation data visant à développer des applications qui enrichissent l’expérience client et rendent les équipes métiers autonomes dans l’exploitation des données. L’environnement technique intègre : Outils et plateformes : AWS (S3, Kinesis, DMS, Lambda…), Airflow, Terraform, GitLab CI/CD, Python, Snowflake, Dataiku, Braze, Power BI, IA/ML Bases de données : Exadata, Oracle, SQL Server, Snowflake Architectures : Data Lake, Event-driven, Streaming (+100 To/jour) Cas d’usage : moteur de recommandation, chatbot IA, feature store, socle vidéo, plateforme de contenu, partage de données partenaires, data self-service Missions Concevoir, développer et maintenir des pipelines ETL/ELT pour la réplication et le traitement de données issues de sources hétérogènes. Connecter et intégrer les données depuis différentes bases (Exadata, Oracle, etc.) vers AWS. Mettre en œuvre des traitements de nettoyage, mapping, déduplication et enrichissement des données. Collaborer avec les architectes pour appliquer les modèles cibles et les bonnes pratiques de gouvernance data. Automatiser les pipelines via GitLab CI/CD. Concevoir et déployer l’infrastructure avec Terraform, Ansible et Python (IaC). Assurer le monitoring, la qualité et la performance des flux de données. Contribuer aux initiatives FinOps pour optimiser les coûts cloud. Documenter les processus et alimenter les référentiels techniques.

Missions principales : Conception d’outils Big Data : Contribution active à la conception, au développement et à l’amélioration d’outils de traitement de données massives, couvrant l’ensemble du cycle de vie des données : ingestion, traitement, analyse et restitution. Définition des besoins techniques : Collaboration étroite avec les utilisateurs de la plateforme Data pour comprendre les besoins métier et garantir un alignement optimal entre les solutions développées et les attentes fonctionnelles. Développement sur Databricks et AWS : Réalisation de développements avancés sur les plateformes Databricks et AWS, en utilisant notamment les technologies suivantes : Python, SQL, Spark et Airflow. Intégration des pratiques FinOps : Mise en œuvre de bonnes pratiques FinOps dans le développement afin d’optimiser les coûts, les performances et l’utilisation des ressources sur AWS. Utilisation d’outils tels que dbt , GitLab CI/CD , et autres solutions DevOps. Audit et accompagnement transverse : Réalisation d’audits techniques et de revues de code au sein des équipes, avec pour objectif de renforcer la maîtrise des enjeux techniques et de favoriser l’adoption de stratégies FinOps efficaces. Technologies et outils utilisés : Cloud & Big Data : AWS (S3, EC2, Lambda, Glue), Databricks, Spark Langages & Frameworks : Python, SQL, PySpark Orchestration & Automatisation : Airflow, GitLab CI/CD, dbt Suivi des coûts et performance : Outils FinOps intégrés à AWS Méthodologies de travail : Agile / Scrum, DevOps, FinOps

Ingénieur Infrastructure Au sein de l'équipe "Automation Lab", vous travaillerez dans le domaine "Support Cloud" pour résoudre les problèmes techniques liés aux demandes clients bloquées dans les portails Cloud opérés par l'orchestrateur BPM (IBM Business Automation) et/ou IBM Cloud. Vous collaborerez étroitement avec les équipes pour résoudre les blocages et assurer un suivi efficace des demandes. Environnement technique Vous travaillerez avec les outils et technologies suivants : Cloud IBM et orchestrateur (Terraform, Schematics) Ansible Python Toolchain, Gitlab, Airflow, Terraform, Schematics Linux Red Hat, Virtualization VMware ESX, TCP/IP, TLS/SSL, ICMP, LDAP, Virtual Directory, IKS, Kubernetes Service, SFTP, SMTP, SSH, X509, PKI, OpenSSL, GPG/PGP, Java, HTML/CSS, MySQL Responsabilités Suivi des demandes du portail Cloud : IBM Cloud (Cloud dédié) Traitement des incidents clients et accompagnement client sur le suivi des incidents Suivi des blocages des demandes via l'orchestrateur et analyse des problèmes pour les résoudre Documentation des anomalies rencontrées et des modes opératoires Connaissance de l'environnement Cloud et de l'orchestrateur BPM (IBM Business Automation)

Dans le cadre de l’évolution d’une plateforme data existante de niveau entreprise, nous recherchons un Tech Lead Data Engineer pour renforcer une équipe agile internationale. L’environnement est déjà en place – il s’agira de l’optimiser, l’industrialiser et l’étendre à de nouveaux cas d’usage analytiques 🎯 Vos missions principales : ✅ Faire évoluer la plateforme Data existante (Datawarehouse & pipelines) ✅ Implémenter & gérer le Unity Catalog sur Databricks ✅ Développer et maintenir des workflows complexes sous Airflow ✅ Structurer les bonnes pratiques d’ingénierie sur AWS ✅ Garantir la robustesse, la scalabilité et la gouvernance des données ✅ Collaborer avec des profils anglophones sur des projets critiques

Descriptif du poste Au sein du groupe "automation lab" vous travaillerez dans le domaine "Support Cloud" pour traiter les tickets et résoudre les problèmes techniques liés aux demandes clients bloquées dans les portails Cloud opéré par l'orchestrateur BPM (IBM Business Automation) et/ou de l'IBM Cloud Automation et AirFlow sur le cloud OnPREM comme sur l'IBM Cloud. Vous collaborerez étroitement avec les équipes pour résoudre les blocages et assurer un suivi efficace des demandes. Vous serez donc amené à travailler avec toute la Factory (Linux, windows, x86, IKS, ...) les équipes data base, ICD, les équipes sécurité, etc afin d'identifier les root cause sur les blocages des demandes. Le support Cloud est en pleine transformation, la rigueur et l'organisation seront un véritable appui pour la réussite de cette mission. Environnement technique Vous travaillerez avec les outils et technologies suivants : • Cloud IBM et orchestrateur (Terraform, Schematics) • Ansible • Python • Toolchain, Gitlab • Linux Red Hat, Virtualization VMware ESX, TCP/IP, TLS/SSL, ICMP, LDAP, Virtual Directory, IKS, Kubernetes • Service, SFTP, SMTP, SSH, X509, PKI, OpenSSL, GPG/PGP, Java, HTML/CSS, MySQL • SFM • SCCM

Bonjour, Dans le cadre de ses projets clients, Visian est à la recherche d'un Data Engineer Snowflake. Nous sommes à la recherche d'un consultant Data Analytics Engineer autonome pour mettre en œuvre une connectivité entre ServiceNow et Snowflake. Cette mission vise à exploiter les données de ServiceNow ITSM (incidents, demandes, changements, problèmes…) pour alimenter des cas d’usage analytiques à destination de plusieurs départements internes (IT, qualité, gouvernance, opérations…). Objectifs de la mission Établir et sécuriser une connexion technique entre ServiceNow ITSM et Snowflake Extraire et charger les données des modules ITSM suivants : Request Management, Incident Management, Change Management, Problem Management Concevoir une pipeline automatisée d’ingestion (batch ou incrémentale) Structurer les données dans Snowflake selon une logique modulaire, réutilisable et exploitable à des fins analytiques Mettre en place des métadonnées, logiques de rafraîchissement et suivi de qualité Documenter le pipeline, les schémas de données et les points de reprise Environnement technique Source : ServiceNow ITSM (via REST API ou export planifié) Destination : Snowflake (data warehouse cloud) Orchestration : Airflow ou solution équivalente (à confirmer) Transformation : DBT Core / SQL (si besoin pour structuration analytique) Modélisation : DrawIO ou autre support outil libre. Visualisation : Tableau CI/CD / versioning : GitLab Documentation : Confluence, Jira,

Expert devops GCP - avec experiences autour de Firebase Contexte de la mission Pour EDF, il s'agit d'integrer une nouvelle et au départ petite équipe (3 personnes) pour la prise en charge de l'administration de la plateforme cloud qui accueille en back-office des traitements d'ingestion/compute de data et en front office des applis web/mobile. Les services Cloud sont sur GCP : Google Cloud Storage, Cloud Composer, Cloud run, Big Query, Cloud SQL, FireBase, IAM, Cloud Logging Monitoring, Cloud Armor WAF, Cloud Load Balancing, Cloud Pub/Sub, Compute Engine, Google App Engine, etc. Mention spéciale sur Firebase qui est clef pour toute la partie front-office et qui necessitera que le profil soit en mesure d'accompagner les équipes sur le sujet Langages de développement : Python, Java, JavaScript Objectifs et livrables Les principaux travaux au cours de la mission : définition et surveillance' des patterns d'intégration, mise en production déploiement et MCO des services cloud via du scripting IaC déploiement logiciels via du scripting type Ansible, Puppet, etc mise en place du scheduling avec Airflow surveillance applicative/monitoring mise en place de la CICD (Gitlab, Jenkins etc) accompagnement aux équipes de réalisation sur l'utilisation de la plateforme Compétences demandées gcp iam Avancé BIGQUERY Élémentaire cloud monitoring Confirmé Cloud Run Élémentaire pubsub Élémentaire FIREBASE Confirmé GCP Confirmé DEVOPS Confirmé Infrastructure en tant que code Terraform et Ansible Confirmé

CONTEXTE MISSONS La mission comprend : · L’intégration et le paramétrage des solutions logicielles, en préparant et suivant les mises en exploitation des applications. · Le traitement des incidents & changements. · Le contrôle les livrables. · L’installation des nouveaux modules du progiciel ainsi que les évolutions demandées · Le paramétrage des modules conformément aux besoins métier du client. · La réalisation des tests associés au paramétrage : tests unitaires, tests d’intégration… · Déploiement et maintien des solutions techniques en collaboration avec les Référents Techniques (RT). · Reporting auprès des RT et du responsable de la Gestion de la Production. · La veille technologique et être force de proposition sur l’amélioration continue. · Rigueur et aisance rédactionnelle · Esprit de synthèse · Bonne communication (orale et écrite) et une bonne capacité d’analyse et de vulgarisation. ENVIRONNEMENT TECHNIQUE L’environnement technique du Bureau Technique (BT) et des Référents Techniques (RT) sont composés des éléments ci-dessous selon le niveau de compétence. Le premier tableau sert de référence sur les notations attendues dans le deuxième tableau ciblant l’activité RT et BT. Compétences et niveaux minimum attendus sur chaque catégorie : Systèmes d'exploitation Niveau Attendu Unix 4 Linux 4 Windows 3 Outils d'ordonnancement Niveau Attendu Control-M 2 Outils de supervision Niveau Attendu Zabbix 3 Instana 2 Langage de scripting Niveau Attendu Shell et Python 3 Langage de programmation Niveau Attendu Python 3 SQL 2 JAVA 3 Equilibrage de charge Niveau Attendu HAProxy 3 Nginx 3 Gestion des logs Niveau Attendu LOKI 3 Elasticsearch 3 Outil de gestion des workflows (orchestration) Niveau Attendu Airflow 3 Plateformes de gestion de code source Niveau Attendu Github 3 Gitlab 3 Outils de conteneurisation Niveau Attendu Docker 3 Kubernetes 3 Outils d'automatisation Niveau Attendu Ansible 3 Terraform 3 Puppet 3 Chef 2 Outils d'intégration et déploiement continue (CI/CD) Niveau Attendu Jenkins 3 GitLab 3 JFrog 1 Technologies de messagerie Niveau Attendu Kafka 2 Rabbit MQ 2 IBM MQ Series 2 Solutions de transfert de fichiers Niveau Attendu TOM/CFT/Pe-Sit 2 Bases de données Niveau Attendu Oracle 1 REDIS 3 MS SQL 2 MongoDB 2 PostgreSQL 2 Serveurs d'application Niveau Attendu Apache 2 TOMCAT 2 JBOSS 2 Visualisation de données Niveau Attendu Prometheus 2 Grafana 2 Kibana 2

Basée à Lille, Lyon, Nantes, Grenoble et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s’imposer comme une référence en matière de freelancing par son expertise dans l’IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Data Engineer (H/F) à Lille, France. Contexte : Au sein de la direction DATA, nous sommes à la recherche d'un profil Data Engineer pour contribuer aux opérations de développement d'un projet DATA sous un environnement Google. Les missions attendues par le Data Engineer (H/F) : Sa mission sera de concevoir et développer les nouveaux flux de données (batch et temps réel) en étroite collaboration avec l'équipe actuelle de Data Engineer, Data Scientist et les équipes métiers. Ses principales missions seront les suivantes : - Analyser les besoins des métiers et les traduire en spécifications techniques (en contribuant également à l'élaboration des contrats d'interface et à la modélisation physique) - Développer des pipelines de données au sein de son périmètre - Veiller à la qualité et l'efficience des développements de l'équipe - Contribuer à la construction de la plateforme data et des services en remontant les besoins non couverts par le framework - Travailler en étroite collaboration avec l'équipe actuelle de Data Engineers, Data Scientists et les équipes métiers. Votre profil : - Expérience significative dans l'utilisation des systèmes cloud GCP et de ses services dans des projets Data. (Bigquery, GCS, Pubsub, Cloud function, Composer etc...) - Expérience avec les processus de transformation des données ETL / ELT - Maîtrise du Shell - Connaissance du langage Python et de l’ordonnanceur Airflow - Excellentes connaissances du SQL et des grands principes de modèle de données - Sensible aux méthodes de travail agiles. - Autonome, curieux et proactif - Compétences : SQL : Expert GCP Big Query : Confirmé GCS & google cloud function : Confirmé Pyhon/Shell : Confirmé