Toutes les offres

Date Engineer - H/F

Twyce Montréal, fondé en 2023 autour des principes d'intrapreneuriat, de l'intelligence collective et de la co-construction, est un cabinet de consultation d'un nouveau genre, qui met l'accent sur un engagement solide envers ses clients et ses équipes.

Afin d'accompagner ses clients sur l'ensemble des phases de leurs projets Twyce intervient sur 4 expertises fortes :

  • Données & Infonuagique
  • Développement TI
  • Projet & Ingénierie
  • Chaines d’approvisionnement

 

Ta mission :

 

1. Intégration des données au sein d’une Data MarketPlace :

 

• Documenter les données techniques des différents Data Domain (Customer, Account, Transaction …)

• Analyser le modèle de données afin de répondre aux besoins spécifiques des consommateurs groupe

• Extraire les données et les transformer dans la Data MarketPlace

• Monitorer les pipelines mis en place et les documenter

 

2. Développement des pipelines de données

• Développement des pipelines de données sur la plateforme Databricks (PySpark, SQL)

• Mise en qualité des données

• Respect des bonnes pratiques et de la modélisation du Lakehouse (DataVault)

• Déploiement des développements en mode CI/CD (Azure DevOps)

 

3. Projet Dataviz

• Analyse les traitements existants sur DataStage (ancien Datawarehouse et Datamarts) afin de documenter et de réintégrer (après validation) les indicateurs dans la nouvelle architecture

• Aider à l’intégration des nouvelles Golden Source

 

Séniorité : au moins 6 ans d’expérience sur des problématiques Data Engineer

 

Compétences techniques indispensables :

- Au moins 2 ans d’expérience sur Databricks. Certification Databricks Certified Data Engineer Associate ou Databricks Certified Data Engineer Professional

- Maîtrise de Python, Spark et SQL

 

Compétences techniques souhaitables :

- Azure DevOps

- Airflow

- Dbt (data build tool)

- Expérience dans le monde bancaire

Informations clés
Montréal
Permanent(e) / Pigiste
A définir
Postuler