Trouvez votre prochaine offre d’emploi ou de mission freelance IBM DataStage

22 résultats
CDD

Offre d'emploiData Warehouse Developer (Datastage)

LA International Computer Consultants Ltd
Publiée le

7 mois
SW1A 2AH, City of Westminster, England, United Kingdom
Job title: Data Warehouse Developer (Datastage) Contract: 12 Months Location: Remote Clearance: Active SC Clearance or candidates must be eligible and willing to obtain SC Clearance. IR35: Inside Overview We are seeking an experienced Data Warehouse Developer to support a major consulting-led digital transformation programme for a UK Public Sector Government client. The successful contractor will play a key role in the design, development, and maintenance of data warehouse and data engineering solutions, ensuring the efficient integration, transformation, and management of large-scale data sets within a secure environment. Key Responsibilities * Design, develop, and support enterprise-scale data warehouse solutions. * Build, maintain, and optimise ETL processes for data extraction, transformation, and loading. * Develop and enhance data integration workflows using IBM DataStage. * Work with Oracle databases to manage, query, and optimise data structures and performance. * Collaborate with technical and business stakeholders to deliver high-quality data solutions. * Troubleshoot and resolve data quality, performance, and integration issues. * Ensure all development activities comply with security and governance requirements. Essential Skills & Experience * Strong experience in Data Warehouse Development and Data Engineering. * Proven expertise in ETL development and data integration methodologies. * Hands-on experience with IBM DataStage. * Strong knowledge of Oracle Database technologies. * Experience working on complex data migration, integration, or transformation projects. Desirable Skills * Experience working within secure, highly regulated, or government environments. * Previous Public Sector or Government project experience. * Knowledge of data governance, security, and compliance standards Due to the nature and urgency of this post, candidates holding or who have held high level security clearance in the past are most welcome to apply. Please note successful applicants will be required to be security cleared prior to appointment which can take a minimum 10 weeks. LA International is an award-winning partner of choice for many of the world's most influential companies and government organisations. Holding Enhanced Government Security Accreditation, we are recognised as the European market leader in the delivery of Security Cleared talent to organisations that demand the very highest levels of security, compliance and assurance. An award-winning organisation, having secured the prestigious Queens Award for Enterprise: International Trade over multiple years. We are committed to fostering an inclusive, equitable and accessible workplace where everyone feels valued and supported. We welcome applications from all individuals, regardless of background or identity, and we encourage candidates who may not meet every listed requirement to still apply. If you require any adjustments or support during the recruitment process, please let us know and we will work with you to ensure a fair and accessible experience. Please Note: If a high volume of applications is received, only candidates shortlisted will be contacted.
Voir cette offre
Freelance
CDI

Offre d'emploiConsultant senior Support fonctionnel BI / Production décisionnelle — H/F

Nexius Finance
Publiée le
IBM DataStage

1 an
40k-45k €
400-550 €
Lyon, Auvergne-Rhône-Alpes
Dans le cadre du renforcement de son équipe de support fonctionnel, notre client recherche un consultant senior pour assurer le suivi de son système d'information décisionnel, sécuriser les mises en production et contribuer à la continuité de service. La mission implique des échanges réguliers avec les équipes d'exploitation, de développement, de qualification et les responsables de projets. Missions principales • Piloter les mises en production : coordonner les préparatifs, vérifier les dossiers de déploiement et les prérequis, animer les réunions de préparation et participer aux comités des changements (CAB). • Sécuriser les changements : analyser leurs impacts techniques et fonctionnels, coordonner les équipes mobilisées, suivre les déploiements sensibles et organiser les retours d'expérience. • Coordonner la production décisionnelle : suivre les traitements et les chaînes batchs, analyser les dysfonctionnements et coordonner les actions correctives, préventives et les corrections de données. • Assurer le support fonctionnel : analyser, qualifier et prioriser les incidents et demandes d'assistance, contribuer à leur résolution et suivre les tickets jusqu'à leur clôture. • Gérer les incidents majeurs : organiser les cellules de crise et assurer la communication sur les impacts et les plans d'action. • Améliorer la qualité de service : réduire les incidents récurrents et les délais de résolution, fiabiliser les traitements et produire le reporting opérationnel.
Voir cette offre
Freelance

Mission freelanceExpert Kafka / Confluent - Socle d’échange de données

Cherry Pick
Publiée le
Ansible
Apache Kafka
IBM DataStage

12 mois
700-750 €
Gradignan, Nouvelle-Aquitaine
Notre client, un organisme de protection sociale (retraite complémentaire), construit son socle Kafka d'entreprise sur la distribution Confluent. Ce socle portera les échanges, la réplication et l'intégration de données de tout le SI. Il doit aussi remplacer progressivement IBM CDC, les extractions batch et le socle WebMethods. Vous rejoignez l'équipe projet pour concevoir, construire et industrialiser ce socle. La mission est basée à Gradignan, près de Bordeaux. Un profil basé à Paris ou à Lyon est envisageable s'il est très autonome et peut se déplacer régulièrement sur site. MissionsConcevoir l'architecture Kafka / Confluent et la faire évoluer d'un socle pilote vers une plateforme cible capacitive et multi-cas d'usage Installer, configurer et administrer les clusters Kafka : brokers en mode KRaft, Schema Registry, workers Kafka Connect, sur RedHat et Kubernetes (Confluent / Strimzi) Mettre en œuvre et industrialiser les connecteurs Kafka Connect : JDBC, Debezium PostgreSQL, HDFS, Datastage, Teradata. Cela couvre la déclaration des producteurs et consommateurs, la gestion des configurations et des souscriptions, l'initialisation des données et l'évolution des schémas Remplacer les flux CDC et batch existants par des flux temps réel, et mettre en place la réplication PostgreSQL via Kafka Sécuriser les échanges et intégrer la gestion des habilitations à l'écosystème SI existant Tuner et optimiser les performances de la plateforme Automatiser le déploiement et les opérations récurrentes avec Ansible, Shell, Python et des pipelines CI/CD Mettre en place l'exploitation du socle : supervision Prometheus / Grafana, tableaux de bord, procédures d'arrêt et de relance, traitement des incidents, demandes et changements Rédiger les dossiers d'architecture, d'administration et d'exploitation, ainsi que les normes et bonnes pratiques Former les équipes et assurer le transfert de compétences
Voir cette offre
Freelance

Mission freelanceDéveloppeur datastage ETL

Freelance.com
Publiée le
ETL (Extract-transform-load)
IBM DataStage
Java

1 an
400-460 €
Île-de-France, France
Dans le cadre de la modernisation d'un SI Data au sein d'un acteur majeur du secteur bancaire et financier, nous recherchons un Développeur Data / ETL Senior disposant de 6 à 9 ans d'expérience. Vous intégrerez une équipe Agile en charge d'un périmètre Data, Infocentres et Reporting, composée d'un Product Owner, d'un Scrum Master, d'un Tech Lead et de plusieurs développeurs. La mission s'inscrit dans un contexte d'évolution et de modernisation des traitements Data existants. Une forte expertise IBM DataStage est attendue afin d'intervenir sur l'existant, notamment pour des travaux de maintenance et d'évolution, tout en participant à la préparation de sa transformation progressive. Vos principales missions seront les suivantes : Intervenir sur les traitements existants sous IBM DataStage PX et Server. Assurer les travaux de maintenance corrective et évolutive sur les flux ETL. Analyser les traitements existants et participer à la préparation de leur évolution. Développer de nouveaux traitements en Java 17/21 et/ou Python. Participer à la conception et à la modélisation des données décisionnelles. Réaliser la modélisation sous PowerDesigner ou un outil équivalent. Intervenir sur les bases Oracle et PostgreSQL et réaliser les requêtes SQL nécessaires. Participer à la conception technique et au refinement des User Stories avec le Product Owner et le Tech Lead. Prendre en charge le delivery des User Stories et identifier les éventuels points de blocage. Analyser et participer à la résolution des incidents dans le respect des SLA. Participer activement aux cérémonies Agile / SAFe : Daily, Refinement, System Demo, PI Planning, etc.
Voir cette offre
Freelance

Mission freelanceSupport Fonctionnel / Expert BI (H/F)

Insitoo Freelances
Publiée le
HFSQL
IBM DataStage
Microsoft Power BI

2 ans
450-510 €
Lyon, Auvergne-Rhône-Alpes
Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s'imposer comme une référence en matière de freelancing par son expertise dans l'IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Support Fonctionnel / Expert BI (H/F) à Lyon, France. Pilotage des mises en production - Coordonner l'ensemble des activités préparatoires aux mises en production. - Vérifier la complétude des dossiers de déploiement et des prérequis. - Animer les réunions de préparation des mises en production. - Représenter le domaine Décisionnel lors des Comités des changements (CAB). - Évaluer les impacts techniques et fonctionnels des changements. - S'assurer de la disponibilité des équipes et des dispositifs de surveillance avant la mise en production et post-déploiement. - Piloter les mises en production sensibles ou à fort impact. - Assurer le reporting des changements et suivre les retours d'expérience Coordination de la production - Assurer le suivi quotidien de la production décisionnelle et des plans batchs en lien avec les équipes d'exploitation. - Veiller à la bonne exécution des chaînes décisionnelles et analyser les dysfonctionnements. - Coordonner les actions correctives et préventives entre les différents contributeurs. - Garantir la prise en compte et le suivi des traitements de correction de données. Support fonctionnel : - Superviser le traitement des incidents, demandes d'assistance et anomalies remontés via ITOP. - Analyser les incidents de production et contribuer directement à leur résolution. - Qualifier, prioriser et suivre les tickets jusqu'à leur résolution. - Organiser et animer les cellules de crise lors d'incidents majeurs - Assurer la communication auprès des parties prenantes sur les incidents et les plans d'actions associés. Techniques : Expérience significative dans le support applicatif et la production décisionnelle. Maîtrise des environnements décisionnels et Data Warehouse. Bonne connaissance des outils ETL, notamment DataStage et des outils de restitution et de datavisualisation, notamment Power BI. Maîtrise avancée du langage SQL. Connaissance des processus ITIL, notamment la gestion des incidents, des problèmes et des changements. Expérience avérée dans la préparation et le pilotage des mises en production ainsi que dans la participation aux CAB. Connaissance des plateformes décisionnelles et des architectures Data.
Voir cette offre
Freelance
CDI

Offre d'emploiIngénieur IA

Mosofty
Publiée le
Cloudera
IBM DataStage
Informatica

1 an
52k-60k €
400-510 €
Paris, Île-de-France
Nous recherchons un AI Engineer expérimenté pour une mission longue durée au sein d'un grand groupe, autour du maintien en condition opérationnelle et de l'évolution d'une plateforme d'intelligence artificielle générative. Contexte de la mission: Vous interviendrez sur une plateforme d'IA générative en production, avec pour objectifs de garantir sa stabilité, d'améliorer ses performances, de renforcer sa sécurité et de contribuer à l'industrialisation des solutions IA. Vos principales missions : Assurer la continuité de service et le bon fonctionnement de la plateforme IA. Optimiser les performances des solutions LLM et RAG. Contribuer à la sécurisation de la plateforme et à sa mise en conformité RGPD. Renforcer les stratégies de tests, automatiser les contrôles et améliorer la chaîne CI/CD. Participer aux évolutions techniques et à l'industrialisation des solutions d'IA générative. Mettre en place des pratiques d'observabilité et d'amélioration continue. Compétences techniques recherchées: IA générative : LLM, RAG, LLMOps, MLOps. Data Engineering : Hadoop, Hive, Spark, Kafka, Cloudera. Business Intelligence : Power BI, Cognos, Essbase. ETL et intégration de données : DataStage, Informatica, Talend. Industrialisation : DevOps, CI/CD, automatisation des tests, observabilité. Sécurité : protection des données, conformité RGPD et maîtrise des risques.
Voir cette offre
Freelance
CDI

Offre d'emploiTech Lead AWS / Kafka / Python-Java – Socle Legacy Oracle & DataStage (H/F)

SKOTT GROUP SAS
Publiée le
AWS Lambda
Confluence
Gitlab

2 ans
40k-45k €
380-450 €
Île-de-France, France
Contexte de la mission Nous recherchons un Tech Lead technique pour intervenir sur un périmètre applicatif bancaire mêlant plateforme AWS, architecture événementielle et environnement legacy (Oracle, DataStage). Le consultant sera chargé d'encadrer l'équipe de développement et de porter les bonnes pratiques de développement, de sécurité et de livraison. Missions principales Dans le cadre de cette mission, vous serez notamment amené à : - Assurer le rôle de Tech Lead technique sur le périmètre applicatif. - Encadrer et accompagner l'équipe de développement. - Porter les bonnes pratiques de développement, de sécurité et de livraison. - Intervenir sur une plateforme AWS. - Travailler sur une architecture événementielle avec Kafka et une architecture microservices. - Intervenir sur des développements en Python et Java. - Prendre en compte les enjeux liés aux chaînes de déploiement CI/CD, à GitLab, Terraform et Kubernetes. - Évoluer dans un environnement comprenant un socle legacy Oracle et DataStage. Environnement technique Cloud AWS : AWS Lambda, IAM, API Gateway, S3, RDS (base de données managée), Athena, EKS Architecture et développement : Kafka, Architecture événementielle, Architecture microservices, Python, Java, SQL CI/CD et infrastructure : GitLab, Terraform, Kubernetes Environnement legacy et Data : Oracle, DataStage, Qlik Sense Méthodologie et outils : Méthode SAFe, Jira, Confluence, PowerDesigner
Voir cette offre
Freelance
CDI
CDD

Offre d'emploiConsultant Data Warehouse – Néerlandophone

Gamme solutions
Publiée le
BI
Business Intelligence
Cognos

24 ans
Bruxelles, Bruxelles-Capitale, Belgique
Nous recherchons un consultant Data Warehouse néerlandophone pour rejoindre notre équipe à Bruxelles. Le poste porte sur la conception et la mise en œuvre de solutions de Data Warehouse, ainsi que sur le pilotage d'initiatives basées sur l'intelligence artificielle (IA) dans le cadre de projets gouvernementaux. Le consultant interviendra auprès du gouvernement flamand. Responsabilités principales : - Planifier, concevoir et développer des applications Data Warehouse à l'aide d'outils tels que Cognos ou DataStage. - Encadrer des équipes de développement Agile et jouer un rôle clé dans la livraison des projets. - Piloter stratégiquement les processus liés à l'intelligence artificielle et superviser des équipes de consultants et d'ingénieurs dans un environnement gouvernemental. - Traduire les problématiques politiques et les besoins métiers en solutions concrètes basées sur l'IA. - Superviser le développement des composants d'intégration des données (ETL), de reporting et d'analyse décisionnelle (BI), des bases de données et des métadonnées. - Collaborer avec les parties prenantes afin de garantir l'alignement des projets avec les objectifs métiers. Informations complémentaires : client final : Gouvernement flamand. Nombre de postes : 5. Date limite de présentation des profils : 30 décembre 2026. Urgence élevée ; le recruteur précise que la date limite de présentation des candidatures est stricte.
Voir cette offre
Freelance
CDI

Offre d'emploiChef de projet MOE Senior – Reporting réglementaire & Intégration de progiciels financiers

Freelance.com
Publiée le
CI/CD
IBM Db2
Reporting

2 ans
40k-45k €
400-550 €
Issy-les-Moulineaux, Île-de-France
Freelance / Portage : Chef de projet MOE Senior – Reporting réglementaire & Intégration de progiciels financiers Localisation : Issy-les-Moulineaux (92) – 2 à 3 jours de télétravail/semaine Démarrage : 04/01/2027 Durée : 60 jours fermes + 570 jours optionnels (630 jours maximum) TJM négociable : 560 € max Expérience : Plus de 7 ans Secteur : Banque / Finance / Risques Contexte de la mission : Je recherche un Chef de projet MOE Senior pour intervenir sur des projets de reporting réglementaire bancaire et d'intégration de progiciels financiers. La mission se répartit entre 2/3 de pilotage de projets MOE et 1/3 d'intégration de progiciels financiers, dans un environnement Finance, Risque et Data. Principales missions : Piloter les projets MOE de bout en bout, du cadrage à la mise en production. Analyser les besoins métiers et définir les solutions fonctionnelles et techniques. Gérer les plannings, budgets, risques, dépendances et livrables. Coordonner les équipes MOA, MOE, architectes et éditeurs. Préparer et animer les comités projet (COSOL, CODEL, CVA, COPROJ). Piloter l'intégration de progiciels financiers et les évolutions applicatives. Suivre les développements, tests, recettes et mises en production. Assurer le reporting opérationnel et budgétaire. Compétences indispensables : Plus de 7 ans d'expérience en gestion de projets SI / MOE. Maîtrise du pilotage de projets en cycle en V. Expérience dans le secteur bancaire, idéalement en Finance / Risques. Connaissance des reportings réglementaires bancaires (FINREP, RUBA). Expérience en coordination d'équipes techniques et fonctionnelles. Maîtrise du suivi budgétaire, des risques et des instances de gouvernance. Capacité à intervenir sur des projets d'intégration de progiciels financiers. Environnement technique : ARC de Deloitte Abacus360 Banking (Regnology) DB2, DataStage, Dataiku Unix / Shell, OpenShift, PostgreSQL GitLab, CI/CD, XLRelease Atouts : Expérience sur des projets de convergence Finance / Risques. Connaissance des progiciels de reporting réglementaire. Expérience en responsabilité applicative. Maîtrise des phases d'intégration, de recette et de mise en production. Excellentes capacités de communication, de synthèse et de coordination. Profil recherché : Je privilégie un Chef de projet MOE expérimenté, ayant une véritable connaissance des environnements bancaires et du reporting réglementaire, capable de piloter des projets complexes tout en conservant une proximité avec les sujets techniques et l'intégration applicative.
Voir cette offre
CDD
CDI
Freelance

Offre d'emploiExpert KAFKA/Confluent

KEONI CONSULTING
Publiée le
Ansible
Apache Kafka
Cloudera

18 mois
20k-40k €
400-600 €
Gradignan, Nouvelle-Aquitaine
Contexte Dans le cadre d'un projet de mise en œuvre d'un socle d'échange de données basé sur la technologie open source Apache Kafka, s'appuyant sur la distribution Confluent, nous recherchons un expert Kafka afin de renforcer l'équipe projet. MISSIONS Pour renforcer l'équipe projet, nous recherchons une expertise technique Kafka dans le cadre de la mise en oeuvre d'un nouveau socle Kafka Confluent. L'objectif est la mise en place d'un socle Kafka d'entreprise destiné à supporter différents cas d'usage d'échange, de réplication et d'intégration de données. Les missions porteront sur les différentes phases du projet qui ont été identifiées : Phase 1 - Mise en oeuvre du socle pilote : Cette premiere étape consiste à mettre en place un socle pilote pour alimenter un premier cas d'usage de type Plateforme Data. Les données mises à disposition de de socle seront produites par les différents socles techniques du SI, soit : SI de gestion (PostgreSQL), Hadoop (Cloudera), SID-RC (Datastage) + Teradata. Parmis les travaux identifiés à réaliser : - Installation et configuration du cluster Kafka / Confluent. - Définition et mise en œuvre des normes et standards d'exploitation. - Mise en place de l'outillage d'administration et d'exploitation; - Mise en place des mécanismes de sécurité et de gestion des habilitations en s'intégrant dans l'ecosyteme SI ; - Optimisation des performances de la plateforme. - Construction et industrialisation des processus de fabrication et d'intégration des livrables. - Mise en œuvre des workflows d'intégration et de déploiement. - Instalaltion et configuration des connecteurs producteurs et consommateurs Kafka "standard" et "spécifiques Confluent" nécessaires aux premiers cas d'usage : PostgreSQL, Hadoop (HDFS), Datastage, Teradata, autres connecteurs nécessaires au périmètre du pilote.. Une attention particulière sera portée à l'industrialisation des connecteurs, notamment : - Déclaration des nouveaux producteurs et consommateurs, - Gestion des configurations, - Initialisation et rafrachissement des données consommateurs , - Déploiement automatisé des souscriptions, - Prise en compte évolutions schémas de données par les Topics Kafka, - Automatisation des opérations récurrentes, Il conviendra également de mettre en place l'ensemble des procédures d'exploitation du socle : - Procédures d'arrêt et de relance ; - Gestion des servitudes techniques ; - Supervision et monitoring ; - Mise en place des tableaux de bord ; - Documentation d'exploitation. - Connecteurs à mettre en œuvre Phase 2 : Extension du socle : Après la validation et la livraison du socle pilote, le projet entrera dans une phase d'extension afin de construire un socle cible plus capacitif et capable d'accueillir de nouveaux cas d'usage. Les principaux cas d'usage envisagés sont : - Cas d'usage n°1 : Extension Plateforme Data + Extension du pilote initial à l'ensemble des bases de données et des usages de la Plateforme Data. - Cas d'usage n°2 : Remplacement de l'outil IBM CDC + Migration des flux actuellement gérés par IBM Change Data Capture (CDC) vers Kafka. - Cas d'usage n°3 : Remplacement des extracteurs batch + Remplacement progressif des mécanismes d'extraction batch alimentant les plateformes décisionnelles par des flux temps réel basés sur Kafka. - Cas d'usage n°4 : Réplication des bases PostgreSQL + Mise en œuvre de mécanismes de réplication et de synchronisation de bases PostgreSQL via Kafka. - Cas d'usage n°5 : Migration du socle WebMethods + Étude et mise en œuvre de la migration des échanges actuellement gérés par le socle WebMethods vers Kafka. Profil recherché : Nous recherchons un expert Kafka / Confluent capable de participer à l'ensemble des phases du projet et d'accompagner l'équipe sur les sujets suivants : - Architecture Kafka et Confluent ; - Installation et administration de plateformes Kafka ; - Sécurisation des échanges ; - Performance et tuning ; - Mise en œuvre de connecteurs Kafka Connect ; - Industrialisation et automatisation des déploiements ; - Supervision et exploitation ; - Accompagnement des équipes projet et transfert de compétences. - Rédaction de dossiers d'architecture, de normes et bonnes pratiques, de dossiers d'exploitation, ...; L'expert intégrera l'équipe projet pour contribuer à la conception, à la mise en œuvre et à l'industrialisation du futur socle d'échange de données de l'entreprise. Environnement technique - technologique Environnement Socle Kafka : - Distribution Kafka Confluent et Strimzy - Langages de scripting et de developpement : Shell, Python, Json, - Systeme d'exploitation : Linux Redhat Autres environnements techniques: - Base de données : PostgreSQL - Hadoop : Cloudera - Data Streaming : IBM Infosphere CdC - Socle technique infrastructure : Kubernetes, Ansible, Linux RedHat, Vmware - Exploitation: : ordonnanceur IWS, sauvegarde HDPS, supervision Prometheus / Grafana, Competences Techniques Distribution "Kafka Confluent / IBM" : composant du cluster kafka (Broker, Kraft, Cwork) , Scema registry, Connecteurs (JDBC, Debezium PgSQL, HDFS, ...) Distribution Autres : "Kafka Strimzi", connecteurs propriétaires (exemple : "Datastage") ou outillage complémentaire Langages de scripting et de developpement : Shell, Python, Json Infrastructure et Système d'exploitation : Linux, Kubernetes, Ansible Outils connexes : ETL Datastage, Power-BI, SAS, Teradata, PostgreSQL, Data streaming, Hadoop Savoir Faire et savoir-être Capacités rédactionnelles : documentation technique, cahier des charges, communication et compte-rendu Communication et Capacités relationnelles(sens de l'écoute et du dialogue, conduite de réunion, négociation) Autonomie Capacité à travailler en équipe Esprit d'analyse et de synthèse
Voir cette offre
Freelance
CDI

Offre d'emploiExpert Kafka / Kafka Confluent / IBM / Kafka Strimzi

CAT-AMANIA
Publiée le
Apache Kafka
Cloudera

1 an
40k-45k €
550-700 €
Paris, France
Je suis à la recherche pour un de nos clients d'un Expert Kafka / Kafka Confluent / IBM / Kafka Strimzi. L'objectif est la mise en place d'un socle Kafka d'entreprise destiné à supporter différents cas d'usage d'échange, de réplication et d'intégration de données. Les missions porteront sur les différentes phases du projet qui ont été identifiées : Phase 1 - Mise en oeuvre du socle pilote : Cette première étape consiste à mettre en place un socle pilote pour alimenter un premier cas d'usage de type Plateforme Data. Les données mises à disposition de ce socle seront produites par les différents socles techniques du SI du Client, soit : SI de gestion (PostgreSQL), Hadoop (Cloudera), SID (Datastage) + Teradata. Parmi les travaux identifiés à réaliser : - Installation et configuration du cluster Kafka / Confluent. - Définition et mise en œuvre des normes et standards d'exploitation. - Mise en place de l'outillage d'administration et d'exploitation; - Mise en place des mécanismes de sécurité et de gestion des habilitations en s'intégrant dans l'écosyteme SI Client ; - Optimisation des performances de la plateforme. - Construction et industrialisation des processus de fabrication et d'intégration des livrables. - Mise en œuvre des workflows d'intégration et de déploiement. - Installation et configuration des connecteurs producteurs et consommateurs Kafka "standard" et "spécifiques Confluent" nécessaires aux premiers cas d'usage : PostgreSQL, Hadoop (HDFS), Datastage, Teradata, autres connecteurs nécessaires au périmètre du pilote.. Une attention particulière sera portée à l'industrialisation des connecteurs, notamment : - Déclaration des nouveaux producteurs et consommateurs, - Gestion des configurations, - Initialisation et rafraîchissement des données consommateurs , - Déploiement automatisé des souscriptions, - Prise en compte évolutions schémas de données par les Topics Kafka, - Automatisation des opérations récurrentes, Il conviendra également de mettre en place l'ensemble des procédures d'exploitation du socle : - Procédures d'arrêt et de relance ; - Gestion des servitudes techniques ; - Supervision et monitoring ; - Mise en place des tableaux de bord ; - Documentation d'exploitation. - Connecteurs à mettre en œuvre Phase 2 : Extension du socle : Après la validation et la livraison du socle pilote, le projet entrera dans une phase d'extension afin de construire un socle cible plus capacitif et capable d'accueillir de nouveaux cas d'usage. Les principaux cas d'usage envisagés sont : - Cas d'usage n°1 : Extension Plateforme Data + Extension du pilote initial à l'ensemble des bases de données et des usages de la Plateforme Data. - Cas d'usage n°2 : Remplacement de l'outil IBM CDC + Migration des flux actuellement gérés par IBM Change Data Capture (CDC) vers Kafka. - Cas d'usage n°3 : Remplacement des extracteurs batch + Remplacement progressif des mécanismes d'extraction batch alimentant les plateformes décisionnelles par des flux temps réel basés sur Kafka. - Cas d'usage n°4 : Réplication des bases PostgreSQL + Mise en œuvre de mécanismes de réplication et de synchronisation de bases PostgreSQL via Kafka. - Cas d'usage n°5 : Migration du socle WebMethods + Étude et mise en œuvre de la migration des échanges actuellement gérés par le socle WebMethods vers Kafka.
Voir cette offre
CDD

Offre d'emploiDataState Data Engineer

LA International Computer Consultants Ltd
Publiée le

7 mois
SW1A 2AH, City of Westminster, England, United Kingdom
Job title: DataStage Data Engineer Location: London (Hybrid) Day Rate: £514.00 per day Contract Length: 12 Months IR35 Status: Inside IR35 Public Sector Overview An exciting opportunity is available for an experienced DataStage Data Engineer to join a high-profile programme delivering complex data integration and migration solutions within a large-scale enterprise environment. The successful candidate will play a key role in designing, developing, and supporting robust data pipelines, ETL processes, and data warehouse solutions using a range of AWS and enterprise data technologies. This role requires a strong technical background in data engineering, ETL development, cloud-based data platforms, and DevSecOps practices. You will work closely with architects, developers, business stakeholders, and delivery teams to ensure the successful movement, transformation, and management of critical business data. Key Responsibilities * Design, develop, and maintain scalable ETL and data migration solutions using IBM DataStage. * Build and optimise batch and real-time data integration pipelines to support business and operational requirements. * Develop and enhance data warehouse solutions, ensuring high performance, resilience, and scalability. * Design and implement data solutions using AWS services, including Amazon Redshift, Amazon S3, and Amazon QuickSight. * Collaborate with cross-functional teams to analyse data requirements and translate them into technical solutions. * Support the adoption of DevSecOps principles, ensuring secure and automated deployment practices. * Develop and maintain high-quality code using Java and SQL. * Design, query, and optimise relational database structures and data models. * Implement source control, version management, and CI/CD processes using GitHub and/or GitLab. * Troubleshoot and resolve data-related issues, ensuring data integrity and platform stability. * Contribute to technical design reviews, code reviews, and best practice initiatives across the engineering team. Essential Skills & Experience * Strong commercial experience with IBM DataStage. * Proven expertise in data migration and ETL development, including both batch and real-time processing. * Experience designing and supporting enterprise data warehouse solutions. * Hands-on experience with: o Amazon Redshift o Amazon S3 o Amazon QuickSight * Strong understanding of DevSecOps methodologies and modern software delivery practices. * Proficiency in Java development. * Advanced SQL skills. * Experience working with relational databases. * Hands-on experience with GitHub and/or GitLab. * Strong analytical, problem-solving, and stakeholder engagement skills. * Ability to work effectively within Agile delivery environments. Desirable Skills * Experience implementing and monitoring data quality frameworks. * Knowledge of XML technologies and data formats. * AWS Certified Data Analytics or AWS Data Specialty Certification. * Experience working within large-scale cloud migration or transformation programmes. Candidate Profile The ideal candidate will be a proactive and technically strong Data Engineer with a proven track record of delivering enterprise-scale data solutions. They will possess excellent communication skills, a collaborative approach to problem solving, and the ability to operate effectively within fast-paced, complex environments. Due to the nature and urgency of this post, candidates holding or who have held high level security clearance in the past are most welcome to apply. Please note successful applicants will be required to be security cleared prior to appointment which can take a minimum 10 weeks. LA International is an award-winning partner of choice for many of the world's most influential companies and government organisations. Holding Enhanced Government Security Accreditation, we are recognised as the European market leader in the delivery of Security Cleared talent to organisations that demand the very highest levels of security, compliance and assurance. An award-winning organisation, having secured the prestigious Queens Award for Enterprise: International Trade over multiple years. We are committed to fostering an inclusive, equitable and accessible workplace where everyone feels valued and supported. We welcome applications from all individuals, regardless of background or identity, and we encourage candidates who may not meet every listed requirement to still apply. If you require any adjustments or support during the recruitment process, please let us know and we will work with you to ensure a fair and accessible experience. Please Note: If a high volume of applications is received, only candidates shortlisted will be contacted.
Voir cette offre
Freelance

Mission freelanceExpert Kafka H/F

Insitoo Freelances
Publiée le
Apache Kafka

2 ans
500-800 €
Bordeaux, Nouvelle-Aquitaine
Basée à Lille, Lyon, Nantes, Grenoble, Marseille, Paris et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s'imposer comme une référence en matière de freelancing par son expertise dans l'IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Expert Kafka H/F à Bordeaux, France. Les missions porteront sur les différentes phases du projet qui ont été identifiées : Phase 1 - Mise en oeuvre du socle pilote : Cette premiere étape consiste à mettre en place un socle pilote pour alimenter un premier cas d'usage de type Plateforme Data. Les données mises à disposition de de socle seront produites par les différents socles techniques du SI client, soit : SI de gestion (PostgreSQL), Hadoop (Cloudera), SID-RC (Datastage) + Teradata. Parmis les travaux identifiés à réaliser : - Installation et configuration du cluster Kafka / Confluent. - Définition et mise en œuvre des normes et standards d'exploitation. - Mise en place de l'outillage d'administration et d'exploitation; - Mise en place des mécanismes de sécurité et de gestion des habilitations en s'intégrant dans l'ecosyteme SI Agirc-Arrco; - Optimisation des performances de la plateforme. - Construction et industrialisation des processus de fabrication et d'intégration des livrables. - Mise en œuvre des workflows d'intégration et de déploiement. - Instalaltion et configuration des connecteurs producteurs et consommateurs Kafka "standard" et "spécifiques Confluent" nécessaires aux premiers cas d'usage : PostgreSQL, Hadoop (HDFS), Datastage, Teradata, autres connecteurs nécessaires au périmètre du pilote.. Une attention particulière sera portée à l'industrialisation des connecteurs, notamment : - Déclaration des nouveaux producteurs et consommateurs, - Gestion des configurations, - Initialisation et rafrachissement des données consommateurs , - Déploiement automatisé des souscriptions, - Prise en compte évolutions schémas de données par les Topics Kafka, - Automatisation des opérations récurrentes, Il conviendra également de mettre en place l'ensemble des procédures d'exploitation du socle : - Procédures d'arrêt et de relance ; - Gestion des servitudes techniques ; - Supervision et monitoring ; - Mise en place des tableaux de bord ; - Documentation d'exploitation. - Connecteurs à mettre en œuvre Phase 2 : Extension du socle : Après la validation et la livraison du socle pilote, le projet entrera dans une phase d'extension afin de construire un socle cible plus capacitif et capable d'accueillir de nouveaux cas d'usage.
Voir cette offre

Au service des talents IT

Free-Work est une plateforme qui s'adresse à tous les professionnels des métiers de l'informatique.

Ses contenus et son jobboard IT sont mis à disposition 100% gratuitement pour les indépendants et les salariés du secteur.

Free-workers
Ressources
A propos
Espace recruteurs
2026 © Free-Work / AGSI SAS
Suivez-nous