Montreal, Canada•Montreal
Remote
Senior
Full Time
15 days ago
💰$100,000 - $135,000
data engineerseniorsnowflakedbtawsdatabricksfivetrancube.devapache kafka
Requirements
- •Excellente compréhension des flux de travail associés au développement assisté par IA et expérience pratique avec des outils comme Cursor, Claude, OpenCode, GitHub Copilot ou ChatGPT
- •Expérience de l’approche du développement guidée par les spécifications
- •2+ années d’expérience en conception et exploitation de pipelines et modèles de données de production sur Snowflake avec SQL, Python et dbt
- •2+ années d’expérience pratique dans la conception de modèles de données modulaires, versionnés et testés avec dbt
- •2+ années d’expérience de travail avec les services infonuagiques AWS
- •Solide compréhension des concepts liés à la qualité, la traçabilité, les techniques de validation et la gouvernance des données
- •Capacité à communiquer des concepts techniques complexes à des interlocuteurs techniques et non techniques et à travailler efficacement en équipe distribuée
What You'll Do
- •Concevoir, construire et améliorer la plateforme de données du lac de données (modèles et pipelines réutilisables sur Snowflake + dbt, avec charges de travail Databricks intégrées)
- •Traduire les exigences produit et commerciales en modèles et pipelines de données en collaboration avec les chefs de produit, unités opérationnelles et ingénieurs
- •Migrer les processus ETL existants vers des pipelines de flux et incrémentaux modernes et performants
- •Utiliser et optimiser Snowflake pour maximiser la fiabilité et l’efficacité
- •Utiliser des outils de développement assistés par l’IA et des flux de travail basés sur des spécifications pour concevoir, automatiser et déployer les pipelines de données et la plateforme
- •Faciliter l’intégration des données et permettre aux ingénieurs des unités opérationnelles de créer leurs propres produits de données
- •Concevoir et faire évoluer les données alimentant les produits destinés aux clients
- •Garantir la qualité des données en déployant une gouvernance des données robuste, des tests automatisés, des techniques de validation et la traçabilité des données
- •Maintenir des métadonnées riches et détaillées dans Unity Catalog et Snowflake
- •Trouver des solutions à des problèmes complexes et élaborer des preuves de concept pour évaluer les technologies émergentes
- •Rédiger et maintenir une documentation de haute qualité pour faciliter le partage des connaissances
Nice to Have
- •Expérience pratique avec Databricks (espaces de travail, tâches/workflows, Spark SQL/PySpark, Delta Lake)
- •Connaissance de Fivetran ou connecteurs ELT similaires pour ingestion fiable des données
- •Maîtrise de Cube.dev ou couche sémantique/métrique similaire
- •Expérience dans la conception et maintenance de solutions de données en temps réel utilisant Apache Kafka
Benefits
- •Performance-based bonuses
- •Full range of benefits
About AppDirect
AppDirect is a cloud-based software company that provides a platform for businesses to sell and manage their software subscriptions.
New York, NY, US
1000 - 5000
eCommerce