Contractor job Data Engineer Gen IA "chatbots AI" (Spark, scala, Python, Airflow, Terraform, AWS, Snowflake)
Paris
WINSIDE Technology
Job position Data Engineer Gen IA "chatbots AI" (Spark, scala, Python, Airflow, Terraform, AWS, Snowflake)
Share this job
Nous sommes à la recherche deux consultants de haut niveau spécialisés en Data Engineering, disposant d’une expertise approfondie dans les technologies Python, Data, GenAI, AWS (Kinesis, S3, EMR, etc.), Airflow, Terraform, GitLab CI/CD, Python ainsi qu’une solide maîtrise de SQL, Snowflake et les architectures Data Streaming.
Une expertise en Scala et Spark serait fortement appréciée.
Il sera chargé de concevoir et développer des pipelines de données, développer sur des chatbots AI dans un environnement cloud tout en contribuant activement à la fiabilité, l’automatisation et la scalabilité de notre plateforme data.
Votre rôle sera de :
- Faire des développements avanacés en Python
- Mettre en place des systèmes basés sur la GenAI
- Concevoir, développer, maintenir et déployer des pipelines de données scalables et performants.
- Mettre en place des architectures Big Data sur AWS (S3, EMR, Lambda, Snowflake...).
- Développer en Scala et exploiter Apache Spark pour le traitement massif des données.
- Automatiser les workflows avec Apache Airflow et DBT pour orchestrer les pipelines.
- Concevoir et exposer des APIs performantes (recommandations en temps réel, etc.)
- Optimiser les performances et garantir la scalabilité du système pour gérer un grand volume d’utilisateurs.
- Travailler en collaboration avec les équipes Data Science, Produit et DevOps pour assurer une intégration fluide.
Candidate profile
Compétences et qualités attendues :
- Vous justifiez d’une expérience de 5 ans minimum dans un environnement similaire
- Vous maîtrisez AWS, Gitlab CI/CD, Terraform, vous êtes fluent en Python avancé et aimez les challenges
- Vous etes experts dans le développement de solution d'intégration de données.
- Vous parlez Anglais couramment
- Vous connaissez et maîtrisez les outils JIRA et les méthodes « agiles » n’ont pas de secret pour vous !
- Autonome, ouvert d’esprit et bon communiquant, vous disposez d’une grande curiosité scientifique
Working environment
Nous sommes à la recherche deux consultants de haut niveau spécialisés en Data Engineering, disposant d’une expertise approfondie dans les technologies Python, Data, GenAI, AWS (Kinesis, S3, EMR, etc.), Airflow, Terraform, GitLab CI/CD, Python ainsi qu’une solide maîtrise de SQL, Snowflake et les architectures Data Streaming.
Une expertise en Scala et Spark serait fortement appréciée.
Il sera chargé de concevoir et développer des pipelines de données, développer sur des chatbots AI dans un environnement cloud tout en contribuant activement à la fiabilité, l’automatisation et la scalabilité de notre plateforme data.
Votre rôle sera de :
- Faire des développements avanacés en Python
- Mettre en place des systèmes basés sur la GenAI
- Concevoir, développer, maintenir et déployer des pipelines de données scalables et performants.
- Mettre en place des architectures Big Data sur AWS (S3, EMR, Lambda, Snowflake...).
- Développer en Scala et exploiter Apache Spark pour le traitement massif des données.
- Automatiser les workflows avec Apache Airflow et DBT pour orchestrer les pipelines.
- Concevoir et exposer des APIs performantes (recommandations en temps réel, etc.)
- Optimiser les performances et garantir la scalabilité du système pour gérer un grand volume d’utilisateurs.
- Travailler en collaboration avec les équipes Data Science, Produit et DevOps pour assurer une intégration fluide.
Apply to this job!
Find your next career move from +1,000 jobs!
-
Manage your visibility
Salary, remote work... Define all the criteria that are important to you.
-
Get discovered
Recruiters come directly to look for their future hires in our CV library.
-
Join a community
Connect with like-minded tech and IT professionals on a daily basis through our forum.
Data Engineer Gen IA "chatbots AI" (Spark, scala, Python, Airflow, Terraform, AWS, Snowflake)
WINSIDE Technology