Arquiteto de dados

Arquiteto de dados

Responsabilidades

• Projetar e manter a arquitetura de cloud focada em dados (Data Lake, Lakehouse, DWH);
• Gerenciar e provisionar recursos de computação (clusters Spark, Databricks, VMs, containers, etc.);
• Automatizar o deploy e configuração de recursos via infraestrutura como código (IaC);
• Trabalhar com engenheiros de dados para garantir performance e disponibilidade dos pipelines;
• Atuar no controle de segurança e governança de dados (acesso, criptografia, compliance);
• Administrar ambientes com Unity Catalog, metastore, storage credentials e external locations;
• Monitorar e otimizar custos de cloud relacionados à área de dados;
• Colaborar com time de segurança, DevOps e arquitetura corporativa para garantir aderência a padrões.
• Experiência sólida com infraestrutura cloud (Azure, AWS ou GCP); Pré-requisitos
• Vivência com arquitetura de plataformas de dados em cloud (ex : Lakehouse, Delta Lake, Snowflake, BigQuery);
• Experiência com Databricks Administration : clusters, tokens, jobs, Unity Catalog, workspaces;
• Domínio de Infraestrutura como Código (ex : Terraform, Bicep, CloudFormation);
• Conhecimento em controle de acesso (IAM, RBAC, ABAC) e autenticação com AD / SAML / OAuth;
• Experiência em monitoramento e logging (ex : Azure Monitor, CloudWatch, Datadog);
• Familiaridade com conceitos de networking em cloud (VPC, subnets, peering, private endpoints);
• Capacidade de administrar storage accounts, external locations e data access policies para múltiplos ambientes. Desejáveis (diferenciais)
• Certificação em cloud (Azure Solutions Architect, AWS SA Pro, etc);
• Experiência com CI / CD pipelines voltados para deploy de ambientes de dados;
• Conhecimento em ferramentas como dbx, Airflow, GitHub Actions;
• Experiência com governança de dados em plataformas reguladas;
• Familiaridade com arquitetura orientada a dados e microsserviços.