Engenheiro de Dados BBA

O Engenheiro de Dados Sênior será responsável por projetar, construir, otimizar e sustentar toda a plataforma de dados baseada em Azure Databricks, garantindo qualidade, governança, segurança, performance e escalabilidade.É um papel altamente técnico, com forte atuação em arquitetura, automação, governança e integração entre áreas.
Projetar, implementar e evoluir arquiteturas Lakehouse utilizando o padrão Medallion (Bronze, Silver, Gold) em produção.
Definir padrões de modelagem, versionamento e organização de tabelas no Unity Catalog, incluindo permissões, lineage e governança.
Documentar arquiteturas, fluxos, padrões e boas práticas de engenharia de dados.
Construir pipelines robustos de ingestão, transformação e disponibilização de dados em Python, PySpark e SQL avançado.
Desenvolver pipelines em batch e streaming utilizando Databricks Jobs, Workflows, Delta Live Tables / Lakeflow.
Implementar processos de reconciliação, checagem e qualidade de dados (DQX) com testes automatizados.
Otimizar performance de jobs Spark, particionamento, caching e estratégias de custo.
Administrar e operar recursos de dados no Azure Databricks, ADLS, Azure Data Factory, Azure DevOps, Azure Functions, Synapse Analytics, entre outros.
Abrir, acompanhar e detalhar incidentes na Azure (inglês intermediário).
Monitorar, observar e tratar falhas em pipelines, garantindo confiabilidade e SLA.
Configurar permissões, acessos e governança via Unity Catalog.
Garantir segurança, integridade e conformidade dos dados (incluindo LGPD).
Implementar padrões de auditoria, lineage e rastreabilidade.
Criar testes automatizados de qualidade, reconciliação e validação de dados.
Utilizar ferramentas como DQX Databricks para monitoramento contínuo.
Realizar data profiling, verificação de integridade e consistência.
Versionar código com Git e implementar pipelines de CI/CD em Azure DevOps.
Automatizar deploys de notebooks, workflows, bundles e artefatos Databricks.
Implementar Asset Bundles para empacotamento e promoção entre ambientes.
Trabalhar em conjunto com times de Analytics, Ciência de Dados, Engenharia de Software e Arquitetura.
Apoiar equipes menos experientes, promovendo boas práticas de engenharia.
Traduzir necessidades de negócio em soluções escaláveis e eficientes.
Obrigatórios: - Python - PySpark - Azure Databricks e Delta Lake: jobs, workflows e arquitetura medalhão (bronze, silver, gold) em produção; Delta Live Tables / Lakeflow, Unit Catalog (permissões) e Asset Bundles; - Microsoft Azure Cloud - SQL avançado - Git e CI/CD pipelines (Azure DevOps) - Inglês Intermediário (Abrir incidentes na Azure) - Qualidade e reconciliação de dados: testes automatizados, DQX Databricks.
Diferenciais/desejável: - Conhecimento em AWS - Azure Kubernetes Service (AKS) - Noções de IA na cloud - Certificações Databricks (Data Engineer Associate / Professional).

• Local de trabalho: Belo Horizonte, MG
• Regime de contratação de tipo: Efetivo – CLT
• Jornada: Período Integral
• Área e especialização profissional: Informática, TI, Telecomunicações - TI
• Nível hierárquico: Especialista

VALORIZADO

Tempo de experiência: Entre 5 e 10 anos

HABILIDADES

• Segurança
• Governança
• Qualidade
• Azure
• Dados
• Lakehouse
• TI
• Projetar arquiteturas