Find your next tech and IT Job or contract ETL (Extract-transform-load)

Nous recherchons un(e) Ingénieur(e) QA / Qualité Logicielle IT expérimenté(e) pour piloter les activités d'assurance qualité sur des plateformes de données complexes, des pipelines ETL et des écosystèmes basés sur le Cloud. Le poste nécessite une solide combinaison de compétences en tests manuels, SQL avancé, tests ETL/Data, réconciliation des données, tests d'API et tests de plateformes de données Cloud. La personne retenue travaillera en étroite collaboration avec les équipes pluridisciplinaires afin de garantir la qualité des mises en production de données. Responsabilités principales : Réaliser des tests de bout en bout des processus ETL et des workflows de données, en validant les processus d'extraction, de transformation et de chargement. Analyser les exigences fonctionnelles et techniques et élaborer des scénarios, cas et stratégies de tests détaillés. Rédiger et exécuter des requêtes SQL avancées afin de contrôler les jointures, agrégations, transformations et règles métier. Développer et maintenir des solutions automatisées de validation des données avec Python, PySpark et Pandas. Tester les pipelines de données développés avec Azure Data Factory, Azure Databricks et Azure Data Lake Gen2. Réaliser des tests d'API et d'intégration avec Postman et d'autres outils, en garantissant l'intégrité des données entre les différents services. Assurer la gestion du cycle de vie des anomalies, documenter les défauts, évaluer leur impact et collaborer avec les équipes concernées pour leur résolution. Suivre l'avancement des tests, communiquer l'état des activités et remonter les risques aux différentes parties prenantes.

Contexte Mission au sein d'une équipe transverse BI et ETL d'un grand compte du secteur bancaire / gestion d'actifs. Le besoin porte sur la modélisation de bases de données orientées BI et sur l'alimentation des différents Datamarts de l'entité, à partir des besoins métiers. Une bonne connaissance de l'anglais est requise afin de collaborer avec une partie de l'équipe ETL basée en Inde ainsi qu'avec les équipes d'exploitation. Environnement technique : Informatica Cloud Data Integration, Microsoft SQL Server, Sybase ASE, CTRLM, Jira, Unix. Rôle et responsabilités principales Proposer et mettre en place, en équipe, des solutions de modélisation de bases de données orientées BI à partir des besoins métiers Intervenir sur la mise en place des différents composants de la chaîne d'alimentation des Datamarts Animer/participer aux cérémonies Scrum (Sprint Planning, Daily Meeting, Grooming, Retrospective) Analyser les nouveaux besoins et estimer leur complexité Concevoir et mettre en place les nouvelles solutions ETL Informatica Cloud Data Integration Coordonner avec l'équipe d'exploitation la mise en place de nouveaux flux de transfert de données avec les partenaires Assurer la documentation technique (Confluence) Assurer le suivi des incidents de production et la communication avec les différents intervenants Livrables attendus Solutions ETL Informatica Cloud Data Integration conçues et mises en place Modèles de bases de données orientés BI Composants de la chaîne d'alimentation des Datamarts Nouveaux flux de transfert de données avec les partenaires Documentation technique à jour (Confluence) Estimations de complexité pour les nouveaux besoins analysés Suivi des incidents de production formalisé et communiqué aux intervenants

ContexteDans le cadre de la transition vers une architecture Data Mesh, nous recherchons un(e) Data Product Engineerspécialisé(e) dans le développement de pipelines sur la plateforme Talend Real Time BigData et de data products sur la plateforme Starburst (Trino). La mission consiste à concevoir, collecter, intégrer, construire et opérer des jeux de données fiables, auto-descriptifs et interopérables, en collaboration avec les domain teams et les data owners. MissionsConcevoir des flux de données et des Data Products Développer des pipelines d'intégration de données optimisés via la Talend Data Fabric / Talend Real Time BigData Développer des requêtes SQL optimisées pour Starburst/Trino (push-down predicates, partitionnement, formats de fichiers comme Iceberg/Parquet) Automatiser les pipelines de données (ETL/ELT) avec des outils comme Airflow, dbt, ou Starburst Galaxy Configurer des accès sécurisés (RBAC, row-level security) et des politiques de gouvernance (tagging, lineage) Collaborer avec les domain teams pour identifier les sources de données et les cas d'usage Documenter les data products (métadonnées, ownership, qualité) via des outils comme Amundsen, DataHub, ou Starburst Discover Participer à la définition des standards d'interopérabilité (formats communs, APIs de données) Monitorer la performance (latence, coût des requêtes) et la qualité des données (frais, complétude) Mettre en place des alertes et des dashboards (Grafana, Metabase) pour le suivi des data products Contribuer à l'amélioration continue de la plateforme Starburst (scaling, caching, federation) Compétences techniques requisesTalend RealTime BigData : expérience avancée en développement de pipelines sur Talend Studio en mode batch ou route (runtime) Starburst/Trino : expérience avancée en SQL sur Starburst/Trino (jointures, CTEs, fonctions analytiques) Data Modeling Pipelines : expérience avec Airflow/Astronomer, Spark, Talend Real Time Big Data / Talend Data intégration Stockage : connaissance des formats Iceberg, Parquet, S3 Gouvernance : familiarité avec les outils de sécurité (Ranger, RBAC) DevOps/DataOps : pratiques CI/CD pour les pipelines, infrastructure-as-code (Terraform, Kubernetes) Langages : SQL avancé (mandatory), Python (Pandas, PySpark), bash Compétences transverses (Data Mesh)Compréhension des principes Data Mesh (domain-oriented ownership, self-serve platform, federated governance) Capacité à travailler en mode produit (roadmap, priorisation, collaboration avec les métiers) Sensibilité à la data quality (tests, monitoring, remédiation) et à la documentation (data contracts, métadonnées) Soft SkillsEsprit collaboratif : travail avec les équipes métiers, data scientists, et DevOps Pédagogie : capacité à expliquer des concepts techniques à des non-experts Autonomie : prise d'initiative dans un cadre agile Environnement techniqueExpertise écosystème zoo Hadoop Connaissance / maîtrise Data Connaissance / maîtrise technique de l'environnement DevOps Maîtrise technique de l'environnement Data Expertise couche d'accès et d'échange (Kafka, Nifi, …) Expertise Java, Scala, Python, Hive, Spark Expertise ETL, Bash Expertise SQL / NoSQL

La mission consiste à : - Exposer les données utiles à l'entreprise pour les analyser et les utiliser afin d'améliorer l'expérience utilisateur et la productivité - Transformer des données issues du DataLake afin de les normaliser - Modéliser la sphère de données - Développer les flux - Exposer des données brutes et/ou agrégées au bon niveau de granularité aux différents métiers de l'entreprise - Travailler en lien avec des Data Scientists sur les données qu'il aura exposées - Mettre en place des rapports de Dataviz - Mission basée en métropole lilloise avec présence sur site 3j/semaine obligatoire Compétences demandées : - Première expérience en Data Engineering indispensable - Snowflake, GCP, BigQuery, DBT, SQL, Semarchy, Airflow, Python ... - Data Analyse sur Power BI un + - Excellents savoir-être : rigueur, esprit analytique et de synthèse, communication... - Méthode Agile - Anglais

Concevoir, développer et maintenir des Data Products batch et temps réel. Construire et optimiser des pipelines ETL/ELT. Garantir la qualité, la fiabilité et la gouvernance des données. Collaborer avec les équipes métier, Produit et Data. Participer à la migration Cloud et à la réduction de la dette technique. Mettre en œuvre les bonnes pratiques de testing, documentation et monitoring. Promouvoir l'utilisation responsable des outils d'IA (Copilot, Claude Code, etc.). Participer aux code reviews et au partage de connaissances.

Consultant BI Confirmé / Senior – Intégration Data & Reporting DécisionnelContexte de la missionDans le cadre du déploiement d'une solution de pilotage et de reporting pour plusieurs entités ultramarines d'un grand groupe immobilier, notre client recherche un consultant BI expérimenté afin de renforcer son équipe décisionnelle. La mission consiste à contribuer à l'intégration de données issues d'un système métier spécifique au sein de l'infocentre groupe, ainsi qu'à la conception, au développement et à la maintenance des solutions de reporting décisionnel. Le consultant interviendra sur l'ensemble de la chaîne décisionnelle : analyse des besoins, conception, développement, tests, mise en production et accompagnement des utilisateurs. Missions principalesAnalyse et cadrage fonctionnelRecueillir et analyser les besoins auprès des équipes métiers. Participer aux ateliers de cadrage. Comprendre les enjeux fonctionnels et décisionnels. Formaliser les besoins fonctionnels et techniques. Rédiger les spécifications associées aux évolutions demandées. Conception et développement décisionnelConcevoir et développer des solutions BI adaptées aux besoins métiers. Développer les flux d'intégration de données. Participer à l'intégration des données issues du système métier dans l'infocentre. Concevoir et maintenir des tableaux de bord et reportings décisionnels. Garantir la cohérence, la qualité et la fiabilité des données exploitées. Tests et mise en productionRéaliser les tests unitaires. Participer aux phases de recette fonctionnelle et technique. Préparer les livrables nécessaires aux mises en production. Accompagner les déploiements. Assurer le suivi de la qualité des données. Accompagnement utilisateursAssister les utilisateurs métiers dans l'exploitation des outils décisionnels. Former et accompagner les équipes. Assurer le support fonctionnel et technique. Participer à l'amélioration continue des solutions BI. Environnement techniqueBI & ReportingQlik Sense QlikView NPrinting Framework décisionnel groupe Data & IntégrationDataiku OTIC / GENIO V16 OpCon V22 Concepts ETL Datawarehouse Infocentre Bases de donnéesIBM DB2 400 IBM DB2 BLU SQL Server Oracle MySQL Outils projet & DevOpsGit Bitbucket Jira Jalios Sciforma ERP métierIKOS (Sopra)

Dans le cadre du renforcement d'une équipe transverse BI & ETL au sein d'un grand acteur du secteur financier, nous recherchons un(e) Développeur BI / ETL Informatica Cloud Data Integration. Vous intégrerez une équipe internationale en charge de la conception, du développement et de l'évolution des solutions décisionnelles, en collaboration avec des équipes techniques basées à l'international et les équipes d'exploitation. Vos missions principales seront : Participer aux cérémonies Agile (Sprint Planning, Daily Meeting, Grooming, Rétrospective) Analyser les nouveaux besoins métiers et évaluer leur complexité Concevoir et mettre en œuvre des solutions ETL avec Informatica Cloud Data Integration Participer à la modélisation de bases de données orientées BI Développer et maintenir les chaînes d'alimentation des Datamarts Coordonner la mise en place de nouveaux flux de données avec les équipes d'exploitation Assurer la documentation technique des solutions mises en place Participer au suivi et à la résolution des incidents de production Être force de proposition sur les choix techniques et les solutions d'intégration de données

Les travaux s'inscriront au sein du système d'information d'un grand groupe industriel, caractérisé par : Un socle applicatif SAP, intégrant des modules standards ainsi que des développements spécifiques, pilotant les principaux processus métiers. Des interfaces fonctionnelles et techniques : connexions avec des solutions tierces (ERP, plateformes de facturation, solutions de dématérialisation, outils décisionnels, etc.) via des outils middleware ou autres technologies d'intégration. Un écosystème applicatif étendu, comprenant également des applications spécifiques, déployées sur plusieurs sites et interconnectées selon les besoins métiers. ? Compétences attendues Pilotage de projets applicatifs d'envergure Expérience confirmée dans la conduite de projets informatiques (SAP, middleware, applications métiers), avec des enjeux de coordination multi-acteurs et d'intégration dans des environnements SI complexes. Maîtrise des environnements SAP Connaissance approfondie des modules SAP standards (FI, SD, MM, etc.) ainsi que des développements spécifiques. Bonne compréhension des flux d'acomptes, des problématiques de facturation et des processus métiers associés. Gestion des interfaces et de l'intégration Expertise des solutions d'intégration middleware (ex. : SAP PI/PO, SAP CPI, ETL, iPaaS, EDI). Capacité à piloter des interfaces fonctionnelles et techniques (API, webservices, flux batch, EDI…). Interopérabilité et applications tierces Expérience dans l'intégration d'applications satellites, les interconnexions multi-sites, et la gestion d'architectures distribuées avec des bases de données hétérogènes. Méthodologie de gestion de projet Maîtrise des méthodes de gestion de projet (cycle en V, Agile, hybride), avec pilotage du planning, gestion des risques, reporting et documentation. Recette et déploiement Expérience des phases de test (unitaires, intégration, UAT), gestion des anomalies et accompagnement au Go Live et post-démarrage. Sécurité et conformité Sensibilité aux enjeux de sécurité SI, conformité réglementaire (RGPD, normes internationales), et auditabilité des flux. Outils et collaboration Maîtrise des outils de gestion de projet et de ticketing (JIRA, ServiceNow, etc.), ainsi que des outils collaboratifs. Anglais technique Capacité à piloter des projets internationaux et à interagir avec des équipes techniques non francophones.

Data & AI Engineer (Data Engineering / AI Engineering) Qui sommes-nous ? Fondée par des experts techniques et portée par des passionnés de l'IT, Big APPS est une société de conseil spécialisée dans la Data, le Cloud, le DevOps et l'Intelligence Artificielle (IA). Nous accompagnons nos clients dans leurs projets de transformation digitale en concevant des plateformes de données performantes et des solutions innovantes basées sur l'IA. Nous intervenons sur des projets à forte valeur ajoutée en mettant en œuvre les technologies les plus récentes et les meilleures pratiques du marché. Dans le cadre de notre croissance, nous recherchons un(e) Data & AI Engineer pour renforcer nos équipes. Vos missions En tant que Data & AI Engineer, vous serez amené(e) à : Concevoir, développer et maintenir des plateformes de données robustes et évolutives. Développer et optimiser des pipelines de données (ETL/ELT). Concevoir des architectures Data sur Azure, AWS ou GCP. Préparer, transformer et valoriser les données pour les projets d'IA. Développer, intégrer et industrialiser des modèles de Machine Learning et d'IA générative. Participer au déploiement des modèles en production (MLOps). Collaborer avec les équipes métiers, Data Science et Cloud. Mettre en œuvre les bonnes pratiques DevOps, CI/CD et Infrastructure as Code. Garantir la qualité, la sécurité et la disponibilité des données. Que vous soyez Data Engineer, AI Engineer, Data Scientist ou déjà doté(e) d'une double compétence Data & IA, vous souhaitez intervenir sur des projets innovants mêlant Data Engineering, Machine Learning, IA Générative et Cloud ? Rejoignez Big APPS !

Business Data Analyst with Actimize – Canary Wharf Docklands London We are currently seeking an experienced contracting Data Analyst to join our dynamic and growing Professional Analysis team based in central London. You will primarily gather, understand and document detailed business requirements using appropriate tools and techniques and manipulate, analyze and interpret complex data sets relating to the employer's business. Data analysis, management and Integration experience Perform business analysis to support the deployment of Actimize AML products to meet clients' business requirements Identify, evaluate and implement external services and tools to support data validation and cleansing Liaise with internal and external clients to fully understand data content Create data dashboards, graphs and visualizations Mine and analyze large datasets, draw valid inferences and present them successfully to management using a reporting tool Develop and document data processes including data cleansing and matching ETL design You must have at least 1 to 2 years experience of working with Actimize software. Candidates must have a Bachelor's degree in a related subject Candidates must have proven and significant experience as a Data Analyst Strong PL/SQL skills Database development (SQL Server, Oracle) Data migration knowledge & experience Development and test of ETL Extract/Transform/Load (ETL) with large data sets. Using Enterprise level tools including MS SSIS, Informatica etc Procedural language such as C# or Python Master data management routines using Oracle SQL & PL/SQL This is a 6 month contract assignment in Canary Wharf Docklands London. Please send your CV to us in Word format along with an hourly rate and availability.

Pour un poste en CDI sur PAris , nous recherchons un développeur de Solutions IA Conditions Rémunération fixe définie selon votre expérience et votre profil, complétée par une prime de performance. . Package d'avantages incluant mutuelle, prévoyance et chèques-repas. Le Développeur de Solutions IA sera responsable du développement de solutions basées sur l'intelligence artificielle afin de renforcer les solutions et processus de sécurité de la Production IT. Ce poste implique une collaboration étroite avec des experts métiers afin d'adapter les outils et de les améliorer en continu. Le développeur utilisera Python ainsi que les bibliothèques associées pour concevoir et déployer des modèles de machine learning et des interfaces utilisateurs. MissionsResponsabilités principales Développer et déployer des solutions basées sur l'IA en utilisant Python. Concevoir des interfaces utilisateurs avec Streamlit, Gradio, Flask et d'autres frameworks pertinents. Collaborer avec des experts métiers afin de comprendre les besoins et adapter les outils en conséquence. Mettre en œuvre des processus ETL (Extract, Transform, Load) pour gérer et transformer les données. Utiliser des bibliothèques telles que pandas et scikit-learn pour la manipulation de données et les tâches de machine learning. Améliorer continuellement les outils en fonction des retours utilisateurs et des analyses de données. Une bonne culture en cybersécurité est attendue. Comment se passe la suite Le processus tient en trois temps : un premier échange avec l'équipe recrutement pour faire connaissance, une mise en situation concrète sur des cas proches de votre futur quotidien ou des besoins de nos clients, et — en option, si l'exercice vous tente — un entretien vidéo à enregistrer quand cela vous arrange, guidé par un assistant IA.

Our government client is looking for candidates who have at least one production AI/ML implementation, recent experience with AWS data services, Terraform, CI/CD, Python, and SQL. Candidates should have more than five years of overall experience and meet the other requirements outlined in the attached JD. Inside IR35 Monthly travel to Swindon, mostly remote Initial 6 months + extensions Job Purpose: The BI Engineer will be responsible for the requirements analysis and design of solutions for data platform, ETL, integration and analysis solutions. Our toolset includes AWS hosted databases (postgres, S3 based data lake, MySQL, Athena), integration services (AWS API gateway, lambda functions), ETL services (AWS Glue, Step functions, AWS Batch), infrastructure a management tool such as Terraform and extensive use of SQLs and python. Key Responsibilities and Accountabilities: The BI Engineer will be a hands-on data developer to develop and construct complete solution designs to complex application requirements across platforms and data sources: 1. Infrastructure Management: a. Set up and manage data infrastructure, including clusters, servers, and cloud-based resources using Terraform. b. Monitor and optimize system performance, troubleshoot issues, and ensure system availability. 2. Data Architecture and Design: a. Design and implement scalable and efficient data pipelines, databases, and data warehouses. b. Collaborate with data visualization and analysts' teams to understand data requirements and translate them into technical specifications. 3. Data Processing: a. Develop and maintain ETL (Extract, Transform, Load) processes for ingesting data from various sources into the data infrastructure. b. Optimize data processing and storage for performance and cost-effectiveness. 4. AI: a. Develop and deploy AI/ML models into production environments. b. Build scalable inference pipelines and AI APIs. c. Implement MLOps workflows for model versioning, monitoring, and retraining. d. Collaborate with data scientists to productionize machine learning solutions. e. Evaluate and optimize AI model performance and operational efficiency. 5. Database Management: a. Manage and maintain databases, ensuring data integrity, security, and availability. b. Implement database schema changes and optimizations as needed. 6. Collaboration: a. Collaborate with cross-functional teams, including data scientists, analysts, and software engineers, to meet data requirements. b. Communicate effectively with stakeholders to gather requirements and provide updates on data engineering projects. To Achieve this, you will have the following skills: * Comfortable working in an Agile rapidly changing environment * You will be an accomplished developer and BI Engineer, with excellent python skills. * Experience with the infrastructure deployment tool such as terraform, CDK or cloud formation. * Experience developing API based data integration. * Excellent analytic skills associated with working on structured and unstructured datasets. * Excellent SQL experience on various platforms (SQL, PostgresSQL, PL/SQL etc) * Experience of several of MySQL, Oracle, SQL, Postgres, RDS, Aurora, Athena or other similar large scale database technologies. * Experience working with AI framework such as LangChain / LlamaIndex * Experience with Vector databases (Pinecone, Weaviate, FAISS) This is an outline description of the key responsibilities and accountabilities involved in the job. This is not an exhaustive list and the post-holder might be expected to undertake any other duties across the wider directorate, commensurate with the Band and level of responsibility of this post, for which the post holder has the necessary experience and/or training. LA International is an award-winning partner of choice for many of the world's most influential companies and government organisations. Holding Enhanced Government Security Accreditation, we are recognised as the European market leader in the delivery of Security Cleared talent to organisations that demand the very highest levels of security, compliance and assurance. A multiple award-winning organisation, having secured the prestigious Queens Award for Enterprise: International Trade over consecutive years. We are committed to fostering an inclusive, equitable and accessible workplace where everyone feels valued and supported. We welcome applications from all individuals, regardless of background or identity, and we encourage candidates who may not meet every listed requirement to still apply. If you require any adjustments or support during the recruitment process, please let us know and we will work with you to ensure a fair and accessible experience. Please Note: If a high volume of applications is received, only candidates shortlisted will be contacted.