Contexte : Au sein des équipes de production Data, l'ingénieur assure le maintien en conditions opérationnelles (MCO) des plateformes décisionnelles et Big Data du groupe : Teradata, Entrepôt de Données & Usages, Cloudera, Datalayer. Il intervient également sur un chantier structurant de migration des traitements batch Big Data de l'ordonnanceur DollarU vers Control-M. Missions : Maintien en conditions opérationnelles des plateformesParticipation aux différentes réunions de suivi (production, exploitation, comités techniques) Intervention sur les incidents de production Pilotage des incidents et des problèmes, et sollicitation des entités compétentes en cas de besoin (Système, Stockage, Réseau, Éditeurs…) Déploiement des nouvelles versions applicatives et des patchs correctifs, en coordination avec la MOA et la MOE Déploiement de nouveaux batchs et flux de transferts, en veillant à la conformité avec l'existant et les nomenclatures en place Mise à jour des documentations d'exploitation (fiches consigne, dossiers d'exploitation, procédures) Coordination des tâches de l'équipe Migration des traitements batch Big Data (DollarU → Control-M)Définition des lots de migration en fonction des contraintes de production Contrôles de cohérence des données utilisées selon les environnements cibles Adaptation des scripts et des variables à l'environnement Control-M Vérification du bon fonctionnement en Pré-Production, puis en Production Participation aux comités de suivi Coordination des tests et du plan de migration avec les MOE Adaptation des consignes d'exploitation à la nomenclature spécifique Control-M Conditions d'exerciceLocalisation : site client / télétravail partiel selon la politique en vigueur Rythme : horaires de production, avec possibles astreintes et interventions en heures non ouvrées (HNO) lors des mises en production Langue : français courant ; anglais technique (lecture de documentation) Livrables attendusRésolution et suivi documenté des incidents et problèmes Mises en production réalisées conformément au processus de changement Documentation d'exploitation à jour (fiches consigne, dossiers d'exploitations Comptes rendus de comités de suivi
🚀 Tech Lead Data / Expert Teradata & Talend – Lille - ASAP - 4 ans de projet 🚀 📍 Lille - 2 jours par semaine puis 2 jours par mois post-onboarding 🏠 Freelance ONLY 📅 Démarrage ASAP 📆 Projet de 4 ans - Contrats annuels Pour l'un de nos clients, nous recherchons un Tech Lead Teradata disposant aussi d'une expertise Talend pour accompagner des projets stratégiques autour des plateformes décisionnelles. 🎯 Les attendus • Expertise Teradata (Build) • SQL avancé • Modélisation Data Warehouse (Étoile / Flocon) • Talend • Data & BI • Python (un plus) • Expérience en revue de conception, optimisation des développements et accompagnement des équipes techniques Tu te reconnais dans ce profil ou tu connais quelqu'un qui pourrait être intéressé ? N'hésite pas à me contacter en message privé ou à m'envoyer ton CV. #Data #Teradata #BusinessIntelligence #SQL #Talend #BI #Lille #freelance
Mission : Lead Transformation Data Contexte de la missionAu sein de la Direction des Systèmes d'Information d'un grand groupe, intervention sur la transformation de la plateforme Data afin d'accompagner son évolution vers une architecture hybride, orientée Data Driven et Data Product. La mission s'inscrit dans une équipe d'expertise Data transverse, en étroite collaboration avec les équipes métiers, les équipes Data Platform, DataOps et les architectes SI, avec pour objectif de définir les standards d'architecture et de garantir la cohérence des solutions Data à l'échelle du système d'information. MissionsDéfinir les trajectoires d'évolution de la plateforme Data et contribuer à la stratégie de transformation Data. Concevoir les architectures cibles en garantissant leur alignement avec le schéma directeur du SI. Définir et formaliser les standards, normes et patterns d'architecture Data réutilisables. Challenger les choix d'architecture sous les angles de la performance, de la scalabilité, de la maintenabilité et de la gouvernance. Participer à l'évaluation des solutions techniques et aux décisions d'architecture structurantes. Accompagner les projets lors des phases de cadrage et réaliser des revues d'architecture. Assurer une veille technologique sur les solutions Data et les architectures Cloud hybrides. Collaborer avec les équipes Data Platform, Data Engineering, DataOps et Architecture afin de garantir la cohérence des implémentations. Promouvoir les bonnes pratiques d'architecture, de gouvernance et de Data Engineering auprès des différentes équipes.
Contexte de la mission Dans le cadre d'un programme de transformation digitale d'envergure, vous rejoindrez une équipe agile dédiée au développement d'une plateforme de données temps réel. Cette plateforme permet de centraliser, traiter et valoriser des données clients afin de proposer de nouveaux services digitaux et d'accompagner la modernisation du système d'information. Vous évoluerez au sein d'un environnement collaboratif, orienté qualité de code, amélioration continue et excellence technique. Vos missions Développer et mettre en œuvre de nouvelles fonctionnalités à partir des besoins métiers priorisés Concevoir des solutions techniques robustes et évolutives. Participer aux choix d'architecture et aux orientations techniques de l'équipe. Concevoir et développer des API. Automatiser les tests et promouvoir les bonnes pratiques de développement. Garantir la qualité, la performance et la maintenabilité des applications. Assurer le bon fonctionnement des solutions en production. Accompagner les membres de l'équipe dans une démarche d'amélioration continue. Environnement technique Langages & Frameworks Java Scala Apache Spark (Streaming & Batch) Apache Kafka Data & Big Data Hadoop / Cloudera HDFS Hive HBase Phoenix API & Intégration Développement d'API DevOps & Qualité GitLab CI/CD Jenkins Artifactory SonarQube ELK Grafana XRAY JUnit Automatisation des tests / Craftsmanship Méthodologie Agile Scrum
Missions principales: Assurer le maintien en conditions opérationnelles (RUN/MCO) de la plateforme Big Data. Prendre en charge le support N3 et la résolution d'incidents complexes. Administrer et optimiser les environnements Cloudera CDH/CDP. Piloter et superviser les composants Hadoop (HDFS, YARN) et Spark. Gérer les sujets de sécurité (Kerberos, Ranger). Contribuer à l'automatisation et à l'industrialisation des opérations (Jenkins, CI/CD). Apporter un leadership technique auprès des équipes. Participer aux projets d'évolution vers Azure et Databricks. Compétences requises: Indispensables : Cloudera Manager Hadoop (HDFS, YARN) Spark RUN / MCO de plateformes critiques Support N3 et gestion d'incidents Kerberos / Ranger Jenkins et outils CI/CD Linux Appréciées : Azure Databricks Scripting Shell ou Python Environnements Cloud hybrides
CONTEXTE DE LA MISSION Au sein du Centre des Opérations (entité Operations Data / IA), le prestataire intervient en soutien du Responsable de Projet de Production dans la mise en œuvre des projets fonctionnels et techniques en environnement de production. La mission couvre la prise en charge complète de la pré-production et de la mise en exploitation des évolutions applicatives et des maintenances, dans un contexte multiplateforme (Unix/AIX/Linux, mainframe MVS/Z-OS, environnements Data et IA : Cloudera, Talend, Informatica, Azure Databricks). L'enjeu principal est la fiabilisation du passage en production : homologation, ordonnancement des traitements, livraisons applicatives et suivi des VSR (Vérification de Service Régulier). RÔLE ET RESPONSABILITÉS PRINCIPALES Réceptionner et analyser les dossiers d'homologation transmis par les équipes de développement. Concevoir les chaînes de traitements : automatisation et ordonnancement (Control-M). Développer les procédures d'exploitation et piloter les tests d'homologation. Réaliser et mettre à disposition les dossiers d'exploitation. Livrer les applications dans l'environnement de production ; assurer la validation de l'installation et de l'intégration des nouveaux outils et systèmes. Assurer la communication transverse avec les entités développement, supports, planning et exploitation. Réaliser le transfert de compétences vers les équipes Production dans le cadre de l'accompagnement au changement. Assurer le suivi des premières exploitations et la période de VSR ; traiter les incidents du diagnostic à la remise en service. LIVRABLES ATTENDUS Dossiers d'homologation analysés et validés. Chaînes de traitement configurées dans Control-M. Procédures d'exploitation documentées et mises à disposition. Dossiers d'exploitation complets, prêts à remise. Applications livrées en environnement de production. Documentation des règles d'utilisation et normes d'exploitation. Reporting de suivi des VSR et gestion des incidents. Support technique et transfert de compétences formalisé vers les équipes Production.
ContexteLe bénéficiaire souhaite une prestation d'accompagnement dans le cadre de la maintenance et la construction des plateformes Hadoop Cloudera (CDP). Il s'agit également d'un accompagnement au développement d'un ensemble des DATA Services, avec un challenge sur les fonctionnalités à développer et les standards de travail. MissionsInstallation de cluster Monitoring et administration des outils Big Data Administration de cluster Upgrade des distributions et des composants Hadoop Installation des différents composants sur Hadoop Support et résolution des problèmes N2 et N3 Mise en place d'environnements de développement et de test Sécurisation des clusters
Chaque moment compte. Surtout ceux que vous vivez à fond. Bienvenue chez Consort Group. Consort Group, accompagne depuis plus de 30 ans les entreprises dans la valorisation de leurs données et infrastructures. Elle s'appuie sur deux leaders, Consortis et Consortia, et place l'humain et la responsabilité sociétale au cœur de ses valeurs. C'est votre future équipe Les équipes de ConsortIA, sont des acteurs de référence de la Data, du Développement Digital et de l'Ingénierie Média. En combinant ces expertises, nous concevons des systèmes d'information augmentés, intégrés, agiles et sécurisés, au service de la performance et de la transformation numérique de nos clients. Data Engineer Senior H/F C'est votre mission Vous êtes passionné·e par les environnements Big Data, le Cloud et les architectures distribuées ? Ce poste est fait pour vous. En tant que Data Engineer Senior, vous participez à la modernisation des plateformes Data d'un grand acteur bancaire, en contribuant aux projets de migration et d'industrialisation des traitements Big Data. Côté build : Participer aux études de faisabilité (POC/POV) autour des plateformes Data Cloudera CDP, Flexible Lake House et Google Cloud Platform. Concevoir et développer les solutions de migration des traitements Big Data vers les nouvelles architectures. Préparer les données (nettoyage, transformation, chiffrement et chargement) avant leur migration. Réaliser les développements Spark et SQL nécessaires à l'adaptation des traitements existants. Concevoir et exécuter les tests unitaires, d'intégration et de performance. Documenter les solutions mises en œuvre et contribuer aux estimations de charge des projets. Côté run : Participer au déploiement en production et aux opérations de bascule des applications. Assurer le monitoring des traitements et le diagnostic des incidents via l'analyse des logs et des métriques Spark. Garantir la période de support post-migration et accompagner les équipes métiers lors des phases de validation. Collaborer avec les équipes architecture, plateforme et les différentes squads Data. Contribuer à l'amélioration continue des plateformes et des pratiques d'industrialisation. C'est votre parcours Vous avez au moins 7 ans d'expérience en Data Engineering dans des environnements Big Data et Cloud. Vous appréciez les projets de transformation technique, les architectures distribuées et les environnements collaboratifs où innovation et qualité vont de pair. C'est votre expertise : Spark, SQL et traitements batch distribués Cloudera CDP Parquet, Apache Iceberg Google Cloud Platform (GCS, Dataproc ou GKE) Kubernetes (exécution de jobs Spark) Git, GitLab CI/CD, Docker Kafka et technologies de streaming (notions appréciées) Lecture de logs, monitoring et diagnostic des traitements Méthodologie Agile Jira, Confluence, GitHub Copilot C'est votre manière de faire équipe : Sens du service Esprit d'analyse et de synthèse Excellent relationnel et communication Esprit collaboratif Organisation et adaptabilité Autonomie Curiosité Capacité à travailler avec des équipes techniques et métiers C'est notre engagement Chez Consort Group, vous êtes un·e expert·e qu'on accompagne pour que chaque mission devienne une étape qui compte. Un onboarding attentif et humain Une vraie proximité managériale Des formations accessibles en continu Des engagements concrets : inclusion, égalité, solidarité Un package RH complet : mutuelle, carte TR, CSE, prévoyance Une culture du feedback et des projets qui font sens C'est clair Le process de recrutement : Un premier échange téléphonique avec notre team recrutement Un entretien RH ainsi qu'un échange métier avec un.e ingénieur.e d'affaires Un test ou un échange technique avec un.e de nos expert.es Un dernier point avec votre futur.e manager ou responsable de mission Et si on se reconnaît : on démarre ensemble C'est bon à savoir Lieu : Villejuif Contrat : Freelance Télétravail : [Hybride selon mission] TJM = à partir de 600€ Famille métier : Data Engineering / Big Data / Cloud Ce que vous ferez ici, vous ne le ferez nulle part ailleurs. Ce moment, c'est le vôtre.
