Estamos a contratar | Data Engineer – Databricks & Python (Common Library)

Na Mootiva, estamos a recrutar um Data Engineer com forte experiência em Databricks e Python, para desempenhar um papel central na criação e evolução de uma biblioteca comum reutilizável, base de suporte a pipelines batch e streaming numa arquitetura Medallion (Bronze, Silver, Gold).

Esta função é ideal para quem gosta de construir frameworks, definir standards e criar fundações técnicas sólidas, que aumentem a produtividade, consistência e colaboração entre equipas de Data Engineering.

Responsabilidades:

• Desenhar e implementar uma biblioteca Python comum para Databricks, utilizada em pipelines batch e streaming
• Desenvolver módulos PySpark reutilizáveis e classes abstratas para as camadas Bronze, Silver e Gold
• Definir e promover boas práticas de código, documentação e testes
• Manter integração CI/CD com GitLab e Databricks Asset Bundles (DABs)
• Trabalhar em proximidade com DataOps, garantindo estabilidade e observabilidade em produção
• Integrar monitorização, logging e validação de qualidade de dados com Grafana e DQX

 

Plataforma & Stack
Azure Databricks · Azure ADLS Gen2 · Airflow (AKS) · Terraform · Python · PySpark · SQL · Grafana · Kafka (Aiven) · GitLab · Talend · Databricks Asset Bundles (DABs) · DQX (Data Quality Framework)

 

O que procuramos

• Experiência comprovada em Databricks, PySpark e desenho de bibliotecas Python
• Forte base de engenharia de software (OOP, testes, CI/CD, princípios de abstração)
• Conhecimento de processamento de dados batch e streaming
• Experiência com Medallion Architecture e boas práticas de ciclo de vida de dados
• Familiaridade com Airflow (AKS), Terraform e Azure ADLS Gen2

Na Mootiva, ligamos talento à inovação.