Find your next tech and IT Job or contract Data Engineering

Calytis recherche un Data Engineer Expert pour accompagner l'un de ses clients majeurs du secteur de l'assurance dans la transformation de son système d'information et l'industrialisation de sa plateforme de données. Votre mission Intégré à une Data Factory, vous interviendrez sur des projets stratégiques de conception, de développement et d'industrialisation de flux de données. Vous contribuerez également à la mise en place d'un modèle de données d'entreprise, au développement de Data Products et à l'amélioration de la gouvernance des données. Vos principales activités Analyser les besoins métiers et techniques et rédiger les spécifications associées. Concevoir et développer des pipelines de données performants et industrialisés. Mettre en œuvre des traitements et orchestrations de données sur AWS. Développer des transformations de données avec Snowflake et dbt. Concevoir et faire évoluer les modèles de données et objets métier. Participer à la construction de Data Products et à la structuration des données d'entreprise. Utiliser Azure DevOps pour accompagner les processus de développement et de livraison. Contribuer à l'intégration de l'intelligence artificielle dans le cycle de développement logiciel (IA4DEV). Assurer les tests, la qualité des développements, la correction des anomalies et la documentation technique. Garantir le respect des standards d'architecture, de sécurité et de gouvernance des données.

Nous recherchez pour une mission longue chez notre client secteur banque/finance en région parisienne Profil recherché : x Qui sommes-nous : INGENIANCE est une ESN spécialisée en finance de marché, banque et assurance depuis plus de 18 ans. Nous accompagnons les grands acteurs bancaires et assurantiels français sur leurs projets les plus critiques, avec une expertise reconnue en Craft Development, Big Data, Cloud/DevOps et Agilité. Rejoindre Ingéniance, c'est intégrer une communauté d'experts, être accompagné par un management de proximité et construire son parcours sur des missions à forte valeur ajoutée. Build your success! Ref : O-KUPCP

Le besoin La plateforme actuelle est on-premise : pipelines sur Hadoop (HDFS, Hive) et Spark, datawarehouse Oracle Exadata, temps réel avec Kafka et MongoDB, restitution sous Qlik. Une migration vers Google Cloud Platform est en cours. Aujourd'hui, l'exploitation des environnements hors production est très manuelle. Vous serez le référent technique opérationnel de ces environnements, aux côtés d'un chef de projet et d'un coordinateur. Vos missionsExploitation des environnements hors prod (DEV, RCT, PREPROD) : garantir leur disponibilité, leur cohérence et leur fiabilité, sur une chaîne Data dupliquée de bout en bout. Refresh des données entre environnements, puis leur automatisation. Installations applicatives : traitements Spark/Scala, ETL Informatica, scripts SQL Oracle, scripts shell. Synchronisation des environnements : versions applicatives et logicielles, configurations, paramétrages. Maintien en conditions opérationnelles : exécution des jobs Spark, analyse des logs, contrôle des dépendances, suivi et relance des batchs (Opcon). Automatisation : développer les scripts et outils qui réduisent l'effort manuel (contrôle des écarts entre environnements, validation post-installation et post-refresh, cohérence des bases). Monitoring et observabilité : construire et maintenir un dashboard de suivi des environnements (exécutions, volumes), avec alerting et reporting. Vous êtes force de proposition sur l'outillage. Livraisons : contribuer aux pipelines de livraison GitLab et à la qualité des livrables. Migration GCP : participer à la reconstruction des environnements hors prod sur Google Cloud.

Dans le cadre de l'équipe Data Analytic, création et maintenance d'architectures Big Data pour les besoins internes de l'entreprise. Renforcement de l'équipe support via une mission de DATA ENGINEERING sur KAFKA. Les principales technologies utilisées : • Kafka • Open Search • Elastic Stack (Elasticsearch / Logstash / Kibana / Beats) Approche basée sur l'automation, avec l'utilisation courante des technologies suivantes : • Ansible • Git/Bitbucket • Développement Python et REST APIs Périmètre d'intervention : Mise en œuvre de l'expertise sur Kafka.

Vos missions ? Intégré(e) à nos équipes ou chez nos clients, vous contribuez à développer et valoriser l'ensemble des données en résolvant des problématiques business concrètes via les technologies liées à la Data A ce titre, vos missions seront les suivantes : - Concevoir et mettre en place des architectures de données en choisissant les technologies adaptées aux besoins. - Gestion des bases de données en garantissant la performance et la scalabilité des solutions de stockage. - Analyser et explorer les données avec les différents outils. - Mettre en place des tableaux de bord avec Power BI ou Tableau en exploitant les données transformées via Talend. - Interagir avec les équipes métier pour comprendre et les besoins. - Utiliser TALEND pour extraire des données depuis plusieurs sources (SQL, API, Excel ...). - Automatiser les processus ETL pour centraliser les données dans un Data Wrehouse (Snowflake). - Participation aux projets IA. Compétences requises : - ETL: Talend - Analyse de données (PowerBI, Tableau) - Base de données (SQL, GCP) - Langages: Python, SQL

Nous recherchons un(e) Data Engineer capable de trouver des solutions innovantes et robustes à l'ensemble des problématiques Data. Vous aurez la charge de : • Participer à la conception et réalisation d'une solution Data depuis l'acquisition jusqu'à l'exploitation de la donnée en accompagnant la réflexion des directions métiers • Identifier, collecter et intégrer les données nécessaires à la résolution de problématiques métier et opérationnelles • Garantir la qualité des données en mettant en place les outils de mesure et de suivi adéquats en appliquant les règles de Data Gouvernance et de Data Management • Transcrire des besoins métier en règles de gestion data • Industrialiser le déploiement de vos réalisations à travers l'implémentation de tests unitaires, d'intégration et de non-régression Référence de l'offre : e8bdkh2n2v

Nous recherchons un Délveloppeur pour travailler sur un outil Power BI qui gère les données des activités de notre client. Les challenges techniques et de performance sont importants, les sujets variés Le concepteur développeur doit être capable de maitriser des technos variées ( SQL, Power BI, Java, Hadoop ... ) et d'être dans une approche d'apprentissage rapide et de maîtrise du fonctionnel (Maintenance, Finance… ). Travail en étroite collaboration avec l'AMO (quotidien) ainsi que des discussions avec les différentes équipes, donc capacité à communiquer avec toutes les parties prenantes IT et non IT.

Database Engineer with SQL Server and SSIS Our Client is a bank based in Central London who are looking to recruit a Database Engineer with the ability to work with SSIS. You must have solid expertise of at least 5 years experience of working with MS SQL Server and SSIS – SSIS is very important for this position. Responsible for the development and delivery of new systems to automate and streamline processes required by different departments. To support the internal IT department with changes and upgrades to software platforms. To be primary contact for all technical questions relating to in-house bespoke systems and interfacing. Database Support Supporting budgeting and financial planning processes for Finance department, including loading and refreshing of data based on requirements. Understand and conduct the front-end functionality to amend and change hierarchical structures within the environment. Debug and analyse errors and anomalies within Hyperion system as raised by Finance and to pinpoint areas of failure and correct any issues. Liaise with Finance on a daily basis to ensure smooth running of the Hyperion environment. Build data flows within the SQL environment in SSIS packages. Risk & Regulatory Duties Maintain knowledge of all applicable regulatory requirements including the Bank's Risk and Compliance policies and procedures and adhere to these to avoid exposing the Bank to undue risk. Report policy/procedure breaches and areas of potential non-compliance and suspicions promptly upon identification in accordance with the Bank's Risk and Compliance policies. Accurately execute all controls within own area to minimise risk of policy, procedure, and/or regulatory breaches. Identify new risks/control gaps within own area and escalate accordingly to your Line Manager and/or Head of Department. Qualifications/Experience Degree level qualified or equivalent. SQL Programming. Knowledge and Skills Software analysis and design. SQL query language. Data warehouse design concepts, (Inmon or Kimball) Must have solid experience of working with SSIS and building data warehouses and some knowledge of reporting using SSRS. The Client is a Bank based in the Central London. This is a 12 month FTC position with a salary of circa £55K - £70K. You will be required to be in the office at least 3 days week. Do send your CV to us in Word format along with your salary and availability.

Vous rejoindrez un acteur majeur du secteur bancaire pour participer à la conception et la mise en œuvre d'une stratégie complète de gestion et de valorisation des données. Dans un environnement hybride alliant infrastructure On Premise et Cloud, vous piloterez les différentes étapes du cycle de vie des données : ingestion, transformation, optimisation et mise à disposition pour les besoins analytiques des clients internes et externes. Cette mission s'inscrit dans un contexte de modernisation technologique et de conformité renforcée, où la qualité, la sécurité et la gouvernance des données sont des enjeux critiques. Vous travaillerez au sein d'une équipe pluridisciplinaire (Data Engineers, Data Analysts, Data Scientists) en méthodologie Agile, en vous appuyant sur les meilleures pratiques du secteur. Responsabilités : - Concevoir, développer et maintenir des flux de données robustes, scalables et performants, capables de traiter des volumes importants et des sources hétérogènes - Assurer l'ingestion, la transformation et l'optimisation des données selon les normes de qualité et de sécurité en vigueur - Implémenter et administrer des architectures de données : Data Lake, Data Warehouse et Datamarts, en optimisant la performance et la maintenabilité - Modéliser les données de manière à répondre aux besoins analytiques spécifiques et aux exigences réglementaires du secteur - Collaborer étroitement avec les Data Analysts et métiers pour traduire les besoins fonctionnels en solutions techniques adaptées - Contribuer à la conception des dashboards et outils de dataviz en assurant la fiabilité et la pertinence des données sous-jacentes - Piloter en autonomie les projets confiés, de la phase de conception à la mise en production et au support - Mettre en place et documenter les bonnes pratiques en matière de gouvernance, de qualité, de sécurité et d'industrialisation des traitements - Assurer le RUN des processus et modèles en production, gérer les évolutions et optimiser les performances - Développer et tester des prototypes basés sur des algorithmes de Machine Learning pour exploiter des modèles prédictifs - Conduire une veille technologique active et proposer des évolutions d'architecture alignées avec la stratégie data de l'organisation Télétravail : 2 jours par semaine Localisation : Guyancourt